Hướng dẫn cài đặt Apache Spark trên Ubuntu
Hướng dẫn cài đặt Apache Spark trên Ubuntu
-
Tải xuống Apache Spark từ trang web chính thức của Spark: https://spark.apache.org/downloads.html
-
Giải nén tệp tar bằng lệnh sau:
tar -xvf spark-3.1.2-bin-hadoop3.2.tgz
Trong đó,
spark-3.1.2-bin-hadoop3.2.tgz
là tên tệp bạn đã tải xuống. -
Di chuyển thư mục Spark vừa được giải nén bằng lệnh sau:
cd spark-3.1.2-bin-hadoop3.2
-
Tạo một biến môi trường cho Spark bằng cách thêm dòng sau vào tệp
~/.bashrc
:export SPARK_HOME=/path/to/spark-3.1.2-bin-hadoop3.2 export PATH=$PATH:$SPARK_HOME/bin
Trong đó,
path/to
là đường dẫn đến thư mục chứa tệp Spark. -
Tải xuống và cài đặt Java Development Kit (JDK) trên Ubuntu bằng lệnh sau:
sudo apt-get update sudo apt-get install default-jdk
-
Kiểm tra xem JDK đã được cài đặt chưa bằng lệnh sau:
java -version
Nếu JDK đã được cài đặt, bạn sẽ thấy thông tin về phiên bản JDK trên Ubuntu của bạn.
-
Kiểm tra xem Spark đã được cài đặt chưa bằng lệnh sau:
spark-shell
Nếu Spark đã được cài đặt thành công, bạn sẽ thấy giao diện dòng lệnh của Spark.
Đó là quá trình cài đặt Apache Spark trên Ubuntu. Bây giờ bạn đã sẵn sàng để bắt đầu sử dụng Spark để xử lý dữ liệu của mình.
No Comments