CentOS/RHEL 7-de Hadoop serwerini ýerleşdirmegiň iň oňat tejribeleri - 1-nji bölüm

Makalalaryň bu tapgyrynda, “Cloudera Hadoop Cluster Building” binasynyň hemmesini Satyjy we Senagat tarapyndan maslahat berlen iň oňat tejribe bilen gurşap alarys.

OS gurmak we OS derejesini ýerine ýetirmek Öňünden talaplar Hadoop Klasterini gurmak üçin ilkinji ädimlerdir. “Hadoop” Linux platformasynyň dürli tagamlarynda işläp biler: CentOS, RedHat, Ubuntu, Debian, SUSE we ş.m. okuw sapaklarynyň bu tapgyrynda.

Bir guramada, OS gurnamak kickstart ulanyp bolýar. 3-den 4-e çenli düwün topary bolsa, el bilen gurnamak mümkin, ýöne 10-dan gowrak düwünli uly topar gursak, OS-y birin-birin gurmak ýadaw. Bu ssenariýada, Kickstart usuly surata düşýär, kickstart ulanyp köpçülikleýin gurnamagy dowam etdirip bileris.

Hadoop gurşawyndan gowy öndürijilik gazanmak, enjam we programma üpjünçiliginiň dogry üpjün edilmegine baglydyr. Şeýlelik bilen, önümçilik Hadoop toparyny gurmak, enjam we programma üpjünçiligi barada köp oýlanmagy öz içine alýar.

Bu makalada, OS gurmak we ClOSdera Hadoop Klaster Serwerini CentOS/RHEL 7-de ýerleşdirmek üçin iň oňat tejribeleri öwreneris.

Hadoop serwerini ýerleşdirmek üçin möhüm pikir we iň oňat tejribe

“CentOS/RHEL 7” -de “Cloudera Hadoop Cluster Server” -i ýerleşdirmek üçin iň oňat tejribe.

  • Hadoop serwerleri, bir topar gurmak üçin kärhana standart serwerlerini talap etmeýär, haryt enjamlaryny talap edýär.
  • Önümçilik toparynda 8-12 maglumat diskiniň bolmagy maslahat berilýär. Iş ýüküniň häsiýetine görä, bu barada karar bermeli. Klaster hasaplaýjy programmalar üçin niýetlenen bolsa, 4-6 sürüjiniň bolmagy I/O meselelerinden gaça durmak üçin iň oňat tejribe.
  • Maglumat diskleri aýratyn bölünmeli, mysal üçin -/data01-den/data10-a çenli.
  • RAID konfigurasiýasy işçi düwünleri üçin maslahat berilmeýär, sebäbi Hadoop-yň özi bloklary 3-e köpeltmek arkaly maglumatlarda näsazlyga çydamlylygy üpjün edýär. Şonuň üçin JBOD işçi düwünleri üçin iň gowusydyr.
  • Master Serwerler üçin RAID 1 iň oňat tejribe.
  • CentOS/RHEL 7.x-de deslapky faýl ulgamy XFS. Hadoop XFS, ext3 we ext4-i goldaýar. Maslahat berilýän faýl ulgamy ext3 bolup, gowy öndürijilik üçin synag edilýär.
  • thehli serwerleriň birmeňzeş OS wersiýasy bolmaly, iň bolmanda şol bir kiçijik goýberiş bolmaly.
  • Birmeňzeş enjamlara eýe bolmak iň oňat tejribe (ähli işçi düwünleri birmeňzeş enjam aýratynlyklaryna eýe bolmaly (RAM, disk meýdançasy we ýadro we ş.m.).
  • Klaster iş ýüküne (Balansly iş ýüki, hasaplaýyş intensiw, I/O intensiw) we göwrümi, serwer üçin meýilnama (RAM, CPU) tapawutlanýar.

24TB ammar serwerleriniň Disk bölmek üçin aşakdaky mysaly tapyň.

Hadoop serwerini ýerleşdirmek üçin CentOS 7 gurmak

Hadoop Server üçin CentOS 7 serwerini gurmazdan ozal bilmeli zatlaryňyz.

  • Hadoop Serwerleri (işçi düwünleri) üçin minimal gurnama ýeterlikdir, käbir ýagdaýlarda GUI diňe Master serwerleri ýa-da Dolandyryş serwerleri üçin gurnalyp bilner, bu ýerde Dolandyryş gurallarynyň Web UI-lerinde brauzerleri ulanyp bileris.
  • Torlary, host adyny we OS bilen baglanyşykly beýleki sazlamalary OS gurnandan soň edip bolýar.
  • Hakyky wagtda serwer satyjylary, serwerleri dolandyrmak we dolandyrmak üçin öz konsolyna eýe bolarlar, mysal üçin - Dell serwerlerinde serwerler bilen enjamlaşdyrylan enjam bolan iDRAC bar. Şol iDRAC interfeýsini ulanyp, ýerli ulgamymyzda OS şekili bolan OS gurup bileris.

Bu makalada VMware wirtual maşynda OS (CentOS 7) gurduk. Bu ýerde bölümleri ýerine ýetirmek üçin birnäçe diskimiz bolmaz. CentOS RHEL-e meňzeýär (şol bir işleýiş), şonuň üçin CentOS-ny gurmagyň ädimlerini göreris.

1. Windowserli Windows ulgamyňyzda CentOS 7.x ISO şekilini göçürip alyp başlaň we wirtual maşyny açanyňyzda saýlaň. Görkezilişi ýaly “CentOS 7 gurmak” saýlaň.

2. Dil saýlaň, iňlisçe bolar we dowamyny basyň.

3. Programma üpjünçiligini saýlamak - Minimal gurnama -ny saýlaň we oneerine ýetir düwmesine basyň.

4. Kök parolyny belläň, sebäbi ol bize bellemäge itergi berer.

5. Gurmak maksady - Bu seresap bolmak üçin möhüm ädimdir. OS gurulmaly diski saýlamaly, OS üçin ýörite disk saýlanmaly. Gurmak üçin niýetlenen ýere basyň we Diski saýlaň, hakyky wagtda birnäçe disk şol ýerde bolar, has gowusy sda saýlamaly.

6. Beýleki Saklaýyş Görnüşleri - OS bilen baglanyşykly bölünişigi/var,/var/log,/home,/tmp,/opt,/swap ýaly ikinji opsiýany saýlaň (bölünişi düzerin).

7. Bir gezek gutaransoň, gurnamaga başlaň.

8. Gurmak gutaransoň, serweri täzeden açyň.

9. Serwere giriň we host adyny düzüň.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Bu makalada, OS gurmak ädimlerini we faýl ulgamyny bölmek üçin iň oňat tejribeleri geçdik. Bularyň hemmesi umumy görkezmeler, iş ýüküniň häsiýetine görä, toparyň iň gowy öndürijiligini gazanmak üçin has köp nuanslara üns bermeli bolmagymyz mümkin. Klaster meýilnamasy Hadoop dolandyryjysy üçin sungatdyr. Indiki makalada OS derejesindäki deslapky talaplar we howpsuzlyk gatylaşmagy bilen içgin gyzyklanarys.