CentOS 7-de Hadoop ýeke düwün klasterini (Pseudonode) nädip gurmaly
Hadoop, Bigdata bilen iş salyşmak üçin giňden ulanylýan açyk çeşme çarçuwasydyr. Bigdata/Data Analytics taslamalarynyň köpüsi Hadoop Eko-ulgamynyň üstünde gurulýar. Iki gatdan ybarat, biri maglumatlary saklamak üçin, beýlekisi maglumatlary gaýtadan işlemek üçin.
Saklamak, HDFS (Hadoop Distribution Filesystem) atly öz faýl ulgamy we gaýtadan işlemek YARN (Yetöne başga bir çeşme gepleşikçisi) tarapyndan alada ediler. “Mapreduce” “Hadoop Eco-System” -iň deslapky gaýtadan işleýän hereketlendirijisidir.
Bu makalada, ähli daemonlaryň (JVM) CentOS 7-de leeke düwün klasterini işleýän Hadoop-yň Pseudonode gurnamasyny gurmak prosesi beýan edilýär.
Bu, esasan, täze öwrenýänler üçin Hadoop öwrenmek üçin. Hakyky wagtda Hadoop köp kodly topar hökmünde gurlar, bu ýerde maglumatlar serwerleriň arasynda blok hökmünde paýlanar we iş paralel ýerine ýetiriler.
- CentOS 7 serweriniň minimal gurnamasy.
- Java v1.8 çykarylyşy.
- Hadoop 2.x durnukly çykarylyşy.
Bu sahypada
- CentOS 7-de Java nädip gurmaly
- CentOS 7-de parolsyz giriş guruň
- CentOS 7-de Hadoop ýeke düwünini nädip gurmaly
- CentOS 7-de Hadoop-y nädip sazlamaly
- HDFS faýl ulgamyny NameNode arkaly formatlamak
1. Hadoop, Java-dan düzülen eko-ulgam. Hadoop-y gurmak üçin hökmany ulgamymyzda Java gurulmaly.
# yum install java-1.8.0-openjdk
2. Ondan soň ulgamda Java-yň gurnalan wersiýasyny barlaň.
# java -version
Enjamymyzda ssh sazlamaly, Hadoop SSH ulanyp düwünleri dolandyrar. Master düwün gul düwünlerini birikdirmek we başlangyç we durmak ýaly amallary ýerine ýetirmek üçin SSH birikmesini ulanýar.
Ussat parlarsyz ssh ulanyp gullar bilen aragatnaşyk gurup biler ýaly parol az ssh gurmaly. Otherwiseogsam, her bir birikme gurmak üçin paroly girizmeli.
Bu ýeke düwünde Master hyzmatlary (Namenode, Ikinji Namenode we Resurs Dolandyryjysy) we Gul hyzmatlary (Datanode & Nodemanager) aýratyn JVM hökmünde işleýär. Singeke-täk düwün bolsa-da, Mugallymy gul bilen tassyklamazdan habarlaşmak üçin parol az ssh bolmaly.
3. Serwerdäki aşakdaky buýruklary ulanyp, paroly az SSH girişini düzüň.
# ssh-keygen # ssh-copy-id -i localhost
4. Parolsyz SSH girişini düzeniňizden soň, gaýtadan girmäge synanyşyň, parolyňyz bolmaz.
# ssh localhost
5. Apache Hadoop web sahypasyna giriň we aşakdaky wget buýrugyny ulanyp Hadoop-yň durnukly goýberilişini göçürip alyň.
# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz # tar xvpzf hadoop-2.10.1.tar.gz
6. Ondan soň, görkezilişi ýaly ~/.bashrc faýlyna Hadoop gurşaw üýtgeýjilerini goşuň.
HADOOP_PREFIX=/root/hadoop-2.10.1 PATH=$PATH:$HADOOP_PREFIX/bin export PATH JAVA_HOME HADOOP_PREFIX
7. Faýla ~/.bashrc daşky gurşaw üýtgeýjilerini goşanyňyzdan soň, faýly çeşme ediň we aşakdaky buýruklary işledip Hadoop-ny barlaň.
# source ~/.bashrc # cd $HADOOP_PREFIX # bin/hadoop version
Enjamyňyza gabat gelmek üçin aşakda Hadoop konfigurasiýa faýllaryny düzmeli. Hadoop-da her hyzmatyň öz port belgisi we maglumatlary saklamak üçin öz katalogy bar.
- Hadoop konfigurasiýa faýllary - ýadro-site.xml, hdfs-site.xml, mapred-site.xml & ýüplük-site.xml
8. Ilki bilen, görkezilişi ýaly hadoop-env.sh faýlynda JAVA_HOME we Hadoop ýoluny täzelemeli.
# cd $HADOOP_PREFIX/etc/hadoop # vi hadoop-env.sh
Faýlyň başynda aşakdaky setiri giriziň.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0/jre export HADOOP_PREFIX=/root/hadoop-2.10.1
9. Ondan soň, core-site.xml faýly üýtgediň.
# cd $HADOOP_PREFIX/etc/hadoop # vi core-site.xml
Aşakdaky görkezilişi ýaly <configuration> bellikleriniň arasynda goýuň.
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
10. NN we DN saklamak üçin ulanyljak tecmint ulanyjy öý bukjasynyň aşagynda aşakdaky kataloglary dörediň.
# mkdir -p /home/tecmint/hdata/ # mkdir -p /home/tecmint/hdata/data # mkdir -p /home/tecmint/hdata/name
10. Ondan soň, hdfs-site.xml faýly üýtgediň.
# cd $HADOOP_PREFIX/etc/hadoop # vi hdfs-site.xml
Aşakdaky görkezilişi ýaly <configuration> bellikleriniň arasynda goýuň.
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/tecmint/hdata/name</value>
</property>
<property>
<name>dfs .datanode.data.dir</name>
<value>home/tecmint/hdata/data</value>
</property>
</configuration>
11. cene-de mapred-site.xml faýly üýtgediň.
# cd $HADOOP_PREFIX/etc/hadoop # cp mapred-site.xml.template mapred-site.xml # vi mapred-site.xml
Aşakdaky görkezilişi ýaly <configuration> bellikleriniň arasynda goýuň.
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
12. Iň soňunda ýüplük-site.xml faýly üýtgediň.
# cd $HADOOP_PREFIX/etc/hadoop # vi yarn-site.xml
Aşakdaky görkezilişi ýaly <configuration> bellikleriniň arasynda goýuň.
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
13. Klaster başlamazdan ozal, Hadoop NN-i gurlan ýerli ulgamymyzda formatlamaly. Adatça, klaster ilkinji gezek başlamazdan ozal başlangyç etapda ediler.
NN-ni formatlamak, NN metastorynda maglumatlaryň ýitmegine sebäp bolar, şonuň üçin has seresap bolmaly, klaster bilgeşleýin talap edilmese, NN formatlamaly däldiris.
# cd $HADOOP_PREFIX # bin/hadoop namenode -format
14. NameNode daemon we DataNode daemon başlaň: (port 50070).
# cd $HADOOP_PREFIX # sbin/start-dfs.sh
15. ResursManager daemonyny we NodeManager daemonyny başlaň: (port 8088).
# sbin/start-yarn.sh
16. thehli hyzmatlary duruzmak.
# sbin/stop-dfs.sh # sbin/stop-dfs.sh
Gysgaça mazmun
Bu makalada Hadoop Pseudonode (leeke düwün) klasterini döretmek üçin ädimme-ädim geçdik. Linux hakda esasy bilimiňiz bar bolsa we şu ädimleri ýerine ýetirseňiz, klaster 40 minutdan UP bolar.
Bu täze öwreniji üçin Hadoop-y öwrenip başlamak üçin gaty peýdaly bolup biler ýa-da Hadoop-yň bu vanil görnüşi Ösüş maksatlary üçin ulanylyp bilner. Hakyky wagtlaýyn klaster bolmak isleýän bolsak, elimizde azyndan 3 fiziki serwer gerek ýa-da birnäçe serwer bolmagy üçin “Cloud” -y üpjün etmeli.