Ubuntu/Debian-da Apache Spark-y nädip gurmaly we gurnamaly

“Apache Spark” has çalt hasaplama netijelerini üpjün etmek üçin döredilen açyk çeşme paýlanan hasaplama çarçuwasydyr. Bu ýatda hasaplaýyş hereketlendirijisidir, ýagny maglumatlar ýatda işlener.

“Spark” akym, grafiki gaýtadan işlemek, SQL, MLLib üçin dürli API-leri goldaýar. Şeýle hem, Java, Python, Scala we R-i ileri tutulýan diller hökmünde goldaýar. “Spark” esasan Hadoop toparlarynda gurnalýar, ýöne uçguny özbaşdak tertipde gurup we sazlap bilersiňiz.

Bu makalada Debian we Ubuntu esasly paýlamalarda Apache Spark-y nädip gurmalydygyny göreris.

Ubuntu-da Java we Scala guruň

Ubuntu-da Apache Spark-y gurmak üçin enjamyňyzda Java we Scala gurlan bolmaly. Döwrebap paýlamalaryň köpüsi deslapky gurnalan Java bilen gelýär we aşakdaky buýrugy ulanyp barlap bilersiňiz.

$ java -version

Çykyş ýok bolsa, Java-ny Ubuntu-da nädip gurmalydygy baradaky makalamyzy ulanyp ýa-da Ubuntu we Debian esasly paýlamalarda Java gurmak üçin aşakdaky buýruklary işledip bilersiňiz.

$ sudo apt update
$ sudo apt install default-jre
$ java -version

Ondan soň, skalany gözlemek we gurmak üçin aşakdaky buýruklary işledip, amatly ammardan Scala gurup bilersiňiz.

$ sudo apt search scala  ⇒ Search for the package
$ sudo apt install scala ⇒ Install the package

Scala-nyň gurnalyşyny barlamak üçin aşakdaky buýrugy işlediň.

$ scala -version 

Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

Ubuntu-da Apache Spark guruň

Indi faýly gönüden-göni terminalda göçürip almak üçin resmi wget buýrugyna geçiň.

$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

Indi terminalyňyzy açyň we göçürilen faýlyňyzyň ýerleşýän ýerine geçiň we Apache Spark tar faýlyny çykarmak üçin aşakdaky buýrugy işlediň.

$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz

Ahyrynda, çykarylan Spark katalogyny/opt katalogyna geçiriň.

$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark

Uçgun üçin daşky gurşaw üýtgeýjilerini sazlaň

Indi uçgun başlamazdan ozal .profile faýlyňyzda birnäçe daşky gurşaw üýtgeýjisini bellemeli.

$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile
$ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile
$ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile

Bu täze daşky gurşaw üýtgeýjileriniň gabygyň içinde elýeterlidigine we Apache Spark-a elýeterlidigine göz ýetirmek üçin soňky üýtgeşmeleriň güýje girmegi üçin aşakdaky buýrugy işletmek hem hökmanydyr.

$ source ~/.profile

Hyzmatlary başlamak we duruzmak üçin uçgun bilen baglanyşykly ikilikler sbin bukjasynyň aşagyndadyr.

$ ls -l /opt/spark

Ubuntu-da Apache Spark-a başlaň

“Spark” esasy hyzmatyny we gul hyzmatyny başlamak üçin aşakdaky buýrugy işlediň.

$ start-master.sh
$ start-workers.sh spark://localhost:7077

Hyzmat başlansoň, brauzere giriň we aşakdaky URL giriş uçgun sahypasyny ýazyň. Sahypadan meniň hojaýynymyň we gul gullugymyň başlandygyny görüp bilersiňiz.

http://localhost:8080/
OR
http://127.0.0.1:8080

“Spark-shell” buýrugyny işe girizip, “spark-shell” -iň gowy işleýändigini ýa-da ýokdugyny barlap bilersiňiz.

$ spark-shell

Bu makala üçin. Soonakynda sizi başga bir gyzykly makala bilen gyzyklandyrarys.