CentOS 7-de ýekeje düwünde Apache Hadoop-y nädip gurmaly we sazlamaly

Apache Hadoop, paýlanan Uly maglumatlary saklamak we kompýuter toparlarynda maglumatlary gaýtadan işlemek üçin açyk çeşme çarçuwasydyr. Taslama aşakdaky böleklere esaslanýar:

Hadoop Common - bu Java kitaphanalaryny we beýleki Hadoop modullary üçin zerur hyzmatlary öz içine alýar.
HDFS - Hadoop paýlanan faýl ulgamy - birnäçe düwünlere paýlanan Java esasly ulaldylan faýl ulgamy.
MapReduce - paralel uly maglumatlary gaýtadan işlemek üçin YARN çarçuwasy.
Hadoop ARARN: Klaster çeşmelerini dolandyrmagyň çarçuwasy.

Bu makala, Apache Hadoop-y CentOS 7-de bir düwün toparyna nädip gurnap boljakdygyňyzy görkezer (RHEL 7 we Fedora 23+ wersiýalarynda hem işleýär). Bu konfigurasiýa görnüşine Hadoop Pseudo-Distribution Mode diýilýär.

1-nji ädim: CentOS 7-de Java guruň

1. Java gurnamaga başlamazdan ozal kök ulanyjy ýa-da kök aýratynlyklary bolan ulanyjy bilen giriň, enjamyňyzyň adyny aşakdaky buýruk bilen guruň.

# hostnamectl set-hostname master

Şeýle hem, ulgam IP adresiňizi görkezmek üçin öz enjamyňyz FQDN bilen host faýlynda täze ýazgy goşuň.

# vi /etc/hosts

Aşakdaky setiri goşuň:

192.168.1.41 master.hadoop.lan

Aboveokardaky host adyny we FQDN ýazgylaryny öz sazlamalaryňyz bilen çalyşyň.

2. Ondan soň, Oracle Java göçürip almak sahypasyna giriň we curl buýrugynyň kömegi bilen ulgamyňyzdaky Java SE Development Kit 8-iň iň soňky wersiýasyny alyň:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. Java ikili göçürip almak gutaransoň, aşakdaky buýrugy berip bukjany guruň:

# rpm -Uvh jdk-8u92-linux-x64.rpm

2-nji ädim: CentOS 7-de Hadoop çarçuwasyny guruň

4. Ondan soň, ulgamyňyzda kök güýji bolmazdan täze ulanyjy hasaby dörediň, ony Hadoop gurmak ýoly we iş gurşawy üçin ulanarys. Täze hasap öý bukjasy /opt/hadoop katalogynda ýerleşer.

# useradd -d /opt/hadoop hadoop
# passwd hadoop

5. Indiki ädimde iň soňky durnukly wersiýa üçin baglanyşyk almak we ulgamyňyzdaky arhiwi göçürip almak üçin Apache Hadoop sahypasyna giriň.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

6. Arhiwden göçürme bukjasynyň mazmunyny hasoop hasaby öý ýoluna göçüriň. Şeýle hem, göçürilen faýllaryň rugsatlaryny şoňa görä üýtgedýändigiňize göz ýetiriň.

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/

7. Ondan soň, hadoop ulanyjysy bilen giriň we .bash_profile faýly redaktirläp ulgamyňyzda Hadoop we Java Daşky gurşaw üýtgeýjilerini düzüň.

# su - hadoop
$ vi .bash_profile

Faýlyň soňuna aşakdaky setirleri goşuň:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. Indi, daşky gurşaw üýtgeýjilerini işe giriziň we aşakdaky buýruklary çykaryp olaryň ýagdaýyny barlaň:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME

9. Netijede, aşakdaky buýruklary işledip, hasoop hasaby üçin ssh açary esasly tassyklamany düzüň (şoňa görä ssh-copy-id buýrugyna garşy host adyny ýa-da FQDN çalyşyň).

Şeýle hem, ssh arkaly awtomatiki girmek üçin berlen parol sözüni boş goýuň.

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan