CDH-ni nädip gurmaly we CentOS/RHEL 7-de hyzmat ýerlerini sazlamaly - 4-nji bölüm
Öňki bir makalamyzda, “Cloudera Manager” -iň gurulmagyny düşündiripdik, bu makalada RHEL/CentOS 7-de CDH (Cloudera Distribution Hadoop) -y nädip gurmalydygyny we sazlamalydygyny öwrenersiňiz.
CDH bukjasyny guranymyzda, “Cloudera Manager” we “CDH” sazlaşyklylygyny üpjün etmeli. “Cloudera” wersiýasynda 3 bölek bar -
Mysal üçin, “Cloudera Manager 6.3.1” we “CDH 6.3.2” ulanýarys. Bu ýerde 6 esasy, 3-i kiçi wersiýa. Utgaşyklyk meselelerinden gaça durmak üçin uly we kiçi bir bolmaly.
- CentOS/RHEL 7-de Hadoop serwerini ýerleşdirmegiň iň oňat tejribeleri - 1-nji bölüm
- “Hadoop” -y deslapky talaplary düzmek we Howpsuzlygy berkitmek - 2-nji bölüm
- CentOS/RHEL 7 - 3-nji bölümde “Cloudera” dolandyryjysyny nädip gurmaly we sazlamaly
CDH gurmak üçin aşakdaky 2 düwün alarys. “Cloudera Manager” -ni eýýäm “master1” -de gurduk, “master1” -ni repo serwer hökmünde ulanýarys.
master1.linux-console.net worker1.linux-console.net
1-nji ädim: Master Server-de CDH posylkalaryny göçürip alyň
1. Ilki bilen master1 serwerine birikdiriň we/var/www/html/clouddera-repos/cdh katalogyna CDH Parcels faýllaryny göçürip alyň. Aşakda RHEL/CentOS 7 bilen gabat gelýän 3 faýly göçürip almaly.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Bu faýllary göçürip almazdan ozal/var/www/html/clouddera-repos/location astynda cdh katalogyny döretmegi unutmaň.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Ondan soň, aşakdaky wget buýrugyny ulanyp, ýokarda agzalan 3 faýly göçürip alyň.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2-nji ädim: “Cloudera Manager Repo” -ny işçi müşderilerine gurmak
4. Indi işçi serwerlerine birikdiriň we repo faýlyny (clouddera-manager.repo) repo serwerinden (master1) galan işçi serwerine göçüriň. Bu repo faýly, gurulýan mahaly ähli zerur posylkalaryň we RPM-leriň repo serwerinden göçürilmegini üpjün edýär.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Repo goşulandan soň, “clouddera-manager” reposynyň açykdygyna göz ýetirmek üçin açyk ammarlary sanaň.
$ yum repolist
3-nji ädim: “Cloudera Manager Daemons” we “Worker” serwerlerine agent guruň
6. Indi, galan serwerleriň hemmesine “clouddera-manager-daemons” we “clouddera-manager-agent” gurmaly.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Ondan soň, “Cloudera Manager” serwerini habar bermek üçin “Cloudera Manager” agentini sazlamaly.
$ sudo vi /etc/cloudera-scm-agent/config.ini
“Localhost” -y “Cloudera Manager” serweriniň IP adresi bilen çalyşyň.
8. “Cloudera Manager Agent” -i işe giriziň we ýagdaýyny barlaň.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
4-nji ädim: CDH guruň we guruň
Master1 - repo serwerinde CDH posylkalarymyz bar. “Cloudera Manager” -i ulanyp awtomatiki gurnamagy yzarlasaňyz, ähli serwerleriň /etc/yum.repos.d/ sahypasynda “Cloudera Manager” repo faýlynyň bardygyna göz ýetiriň.
9. 7180 portdaky aşakdaky URL ulanyp, “Cloudera Manager” -e giriň we “Cloudera Manager” -iň deslapky ulanyjy adyny we parolyny ulanyň.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Gireniňizden soň, Hoş geldiňiz sahypasy bilen garşylanarsyňyz. Bu ýerde goýberiş belliklerini, “Cloudera Manager” -iň täze aýratynlyklaryny tapyp bilersiňiz.
11. Ygtyýarnamany kabul ediň we dowam ediň.
12. Neşir saýlaň. Synag wersiýasy öňünden saýlandy, biz muny dowam etdirip bileris.
13. Indi, Klaster gurmak ädimlerini ýerine ýetiriň. Hoş geldiňiz sahypasyny dowam etdiriň.
14. Klasteriň adyny tutuň we dowam ediň, biz\tecmint diýip at goýduk. Siziň kesgitläp biljek 2 sany klasteriňiz bar. Adaty klaster bilen dowam edýäris.
- Adaty klaster: Saklaýyş düwünlerinden, hasaplaýyş düwünlerinden we beýleki zerur hyzmatlardan ybarat bolar.
- Hasaplaýyş topary: Diňe hasaplaýyş düwünlerinden ybarat bolar. Daşarky ammar maglumatlary saklamak üçin ulanylyp bilner.
15. Biz eýýäm ähli serwerlerde “Cloudera Manager Agents” -i gurduk. Şol serwerleri\Häzirki wagtda dolandyrylýan hostlar -da tapyp bilersiňiz. Awtomatiki gurnamak üçin, Täze öý eýeleri opsiýasyna serwerleriň FQDN ýa-da IP-ni girizip gözlemeli. “Cloudera Manager” CDH gurnamaly öý eýelerimizi awtomatiki tapar.
Bu ýerde\Häzirki wagtda dolandyrylýan öý eýelerine basyň, Hostname -ni saýlap, ähli öý eýelerini saýlaň we dowam ediň.
16. Ammary saýlaň - “Parcel” -i ulanmak maslahat berilýär. Ammary düzmek üçin Has köp opsiýa -a basyň.
17. Aşakda görkezilişi ýaly ýerli ammar URL-ni giriziň. Web (Cloudera ammarlary) görkezýän galan köpçülikleýin ammarlary aýyryň.
Bu, master1-de bar bolan CDH ýerli ammar URL.
http://104.211.95.96/cloudera-repos/cdh/
18. Ammar URL girizilenden soň, bu sahypa diňe elýeterli posylkalary görkezer. Bu ädimi dowam etdiriň.
19. Indi posylkalar ähli serwerlerde göçürilýär, paýlanýar, gaplanýar we işjeňleşdirilýär.
20. CDH posylkalary işjeňleşdirilenden soň, Klasteri gözden geçiriň. Bu ädim, toparyň saglygyny barlar. Ine, bökýäris we dowam edýäris.
5-nji ädim: Klaster konfigurasiýasy
21. Bu ýerde Klasterde guruljak Hyzmatlary saýlamaly. Käbir gaplanan kombinasiýalar adaty ýagdaýda elýeterli bolar, biz Custom Services bilen gidýäris.
22. omörite hyzmatlarda, bu demo maksady üçin diňe esasy komponentleri (HDFS we YARN) gurýarys.
23. Rollary serwere belläň. Talaplarymyza görä düzüp bileris. Highokary elýeterliligi bolan 5-den 20 düwünli esasy kiçi topar üçin maslahat berilýän rol paýlanyşyny beýan edýän aşakdaky diagrammany tapyň.
24. Maglumat bazasynyň görnüşini, host adyny, DB adyny, ulanyjy adyny we paroly saýlaň. Embedded PostgreSQL ulanýandygymyz üçin, adaty ýagdaýda saýlanar. Baglanyşygy synap görüň, üstünlikli bolmaly.
25. Bu sahypa, maglumat kataloglaryny goşmak bilen HDFS we ýüplügiň deslapky konfigurasiýa parametrlerini görkezer. Thehli konfigurasiýa jikme-jikliklerini gözden geçiriň we zerur bolsa üýtgeşmeler girizip bilersiňiz. Soňra muny dowam etdiriň.
26. Bu sahypa Ilkinji ylga buýrugynyň jikme-jikliklerini görkezer. Işleýän buýruklaryň jikme-jikliklerini görmek üçin ony giňeldip bilersiňiz. Toparda haýsydyr bir tor ýa-da rugsat meselesi bar bolsa, bu ädim şowsuz bolar. Adatça, bu ädim Klaster binasynyň göwnejaý gurulmagyny çözýär.
27. aboveokardaky ädim gutaransoň, gurnamany tamamlamak üçin Finish düwmesine basyň. Bu CDH gurandan soň “Cloudera Manager” -iň dolandyryş paneli.
http://104.211.95.96:7180/cmf/home
“Cloudera Manager” we CDH gurnamasyny üstünlikli tamamladyk. “Cloudera Manager” dolandyryş panelinde, öňünden kesgitlenen diagrammalar toplumyny tapyp bilersiňiz, bu ýerde Klaster CPU, Disk IO we ş.m. gözegçilik edip bilersiňiz. Administrativehli administratiw amallary indiki makalalarda göreris.