# Spark - SparkSession

<span class="_4yxo">Spark session</span>: Đại diện cho khả năng tương tác với executors trong 1 chương trình. Spark session chính là entry point của mọi chương trình Spark. Từ SparkSession, có thể tạo RDD/ DataFrame/ DataSet, thực thi SQL… từ đó thực thi tính toán phân tán.

[![sparksession.jpeg](https://laptrinh.vn/uploads/images/gallery/2021-02/scaled-1680-/sparksession.jpeg)](https://laptrinh.vn/uploads/images/gallery/2021-02/sparksession.jpeg)

Spark Session bao gồm tất cả các API context có sẵn như:

- Spark Context
- SQL Context
- Streaming Context
- Hive Context

##### Khởi tạo SparkSession trong Spark-shell

Mặc định, Spark shell cung cấp một `spark` object, có thể sử dụng để khởi tạo các biến:

```Java
scala> val sqlcontext = spark.sqlContext
```

##### Khởi tạo SparkSession trong chương trình Scala

Để khởi tạo SparkSession trong Scala hoặc Python, bạn cần sử dụng phương thức builder() và getOrCreate():

```Java
val spark = SparkSession.builder()
      .master("local[1]")
      .appName("Laptrinh.vn")
      .getOrCreate();
```

`master()` - Nếu bạn đang chạy trên cluster, bạn cần sử dụng master name như một đối số của master(), thông thường nó là `yarn` hoặc `mesos`

- Sử dụng `local[x]` khi chạy ở chế độ standalone, x (số int &gt; 0) - là số partition được tạo khi sử dụng RDD, DataFrame, and Dataset. Lý tưởng nhất, x là số CPU core bạn có.

`appName()` - Tên của application.

`getOrCreate()` - Return a SparkSession object nếu đã tồn tại, ngược lại sẽ tạo mới.

##### SparkSesssion Method

<table border="1" id="bkmrk-stt-method-m%C3%B4-t%E1%BA%A3-1-v" style="border-collapse: collapse; width: 100%; height: 493px;"><tbody><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">**STT**</td><td style="width: 31.111111111111118%; height: 29px;">**Method**</td><td style="width: 61.358024691358025%; height: 29px;">**Mô tả**</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">1</td><td style="height: 29px; width: 31.111111111111118%;">version</td><td style="width: 61.358024691358025%; height: 29px;">Return Spark version</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">2</td><td style="height: 29px; width: 31.111111111111118%;">builder</td><td style="width: 61.358024691358025%; height: 29px;">Khởi tạo new SparkSession</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">3</td><td style="height: 29px; width: 31.111111111111118%;">createDataFrame</td><td style="width: 61.358024691358025%; height: 29px;">Khởi tạo DataFrame từ collection và RDD</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">4</td><td style="height: 29px; width: 31.111111111111118%;">createDataset</td><td style="width: 61.358024691358025%; height: 29px;">Khởi tạo Dataset từ DataFrame, Collection và RDD</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">5</td><td style="height: 29px; width: 31.111111111111118%;">emptyDataFrame</td><td style="width: 61.358024691358025%; height: 29px;">Khởi tạo một empty DataFrame</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">6</td><td style="height: 29px; width: 31.111111111111118%;">emptyDataset</td><td style="width: 61.358024691358025%; height: 29px;">Khởi tạo một empty Dataset</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">7</td><td style="height: 29px; width: 31.111111111111118%;">getActiveSession</td><td style="width: 61.358024691358025%; height: 29px;">Return một active SparkSession</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">8</td><td style="width: 31.111111111111118%; height: 29px;">implicits</td><td style="width: 61.358024691358025%; height: 29px;">Truy cập một nested Scala object</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">9</td><td style="width: 31.111111111111118%; height: 29px;">read</td><td style="width: 61.358024691358025%; height: 29px;">Trả về một thể hiện của lớp DataFrameReader, được sử dụng để đọc các bản ghi từ csv, parquet, avro và các định dạng tệp khác vào DataFrame.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">10</td><td style="width: 31.111111111111118%; height: 29px;">readStream</td><td style="width: 61.358024691358025%; height: 29px;">Trả về một thể hiện của lớp DataStreamReader, nó được sử dụng để đọc dữ liệu truyền trực tuyến, <span class="JLqJ4b ChMk0b" data-language-for-alternatives="vi" data-language-to-translate-into="en" data-phrase-index="5">có thể được sử dụng để đọc dữ liệu truyền trực tuyến vào DataFrame.</span></td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">11</td><td style="width: 31.111111111111118%; height: 29px;">sparkContext</td><td style="width: 61.358024691358025%; height: 29px;">Trả về một SparkContext.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">12</td><td style="width: 31.111111111111118%; height: 29px;">sql</td><td style="width: 61.358024691358025%; height: 29px;">Trả về DataFrame sau khi thực thi SQL được đề cập.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">13</td><td style="width: 31.111111111111118%; height: 29px;">sqlContext</td><td style="width: 61.358024691358025%; height: 29px;">Trả về SQLContext.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">14</td><td style="width: 31.111111111111118%; height: 29px;">stop</td><td style="width: 61.358024691358025%; height: 29px;">Dừng SparkContext hiện tại.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">15</td><td style="width: 31.111111111111118%; height: 29px;">table</td><td style="width: 61.358024691358025%; height: 29px;">Trả về DataFrame của một bảng hoặc dạng xem.</td></tr><tr style="height: 29px;"><td style="width: 7.530864197530868%; height: 29px;">16</td><td style="width: 31.111111111111118%; height: 29px;">udf</td><td style="width: 61.358024691358025%; height: 29px;">Tạo một UDF Spark để sử dụng nó trên DataFrame, Dataset và SQL.</td></tr></tbody></table>