Mengatur Lingkungan Hadoop dengan Apache Bigtop - dummies

Jika Anda merasa nyaman bekerja dengan VM dan Linux, silakan instal Bigtop di VM yang berbeda dari yang disarankan. Jika Anda benar-benar berani dan memiliki perangkat kerasnya, teruskan dan coba pasang Bigtop di sekumpulan mesin dalam mode terdistribusi sepenuhnya!

Langkah 1: Mengunduh VM

Hadoop berjalan di semua distribusi Linux yang populer, jadi Anda memerlukan VM Linux. Tersedia gambar CentOS 6 yang tersedia secara gratis (dan legal!).

Anda memerlukan sistem operasi 64-bit di laptop Anda untuk menjalankan VM ini. Hadoop membutuhkan lingkungan 64-bit.

Setelah mendownload VM, ekstrak dari file Zip yang telah didownload ke direktori tujuan. Pastikan Anda memiliki sekitar 50GB ruang yang tersedia sebagai Hadoop dan data sampel Anda akan memerlukannya.

Jika Anda belum memiliki pemutar VM, Anda bisa mendownloadnya secara gratis.

Setelah Anda menyiapkan VM player Anda, buka pemutarnya, masuk ke File → Open, lalu masuk ke direktori tempat Anda mengekstrak VM Linux Anda. Cari file yang disebut dan pilih. Anda akan melihat informasi tentang berapa banyak prosesor dan berapa banyak memori yang akan digunakannya. Cari tahu berapa banyak memori komputer Anda miliki, dan mengalokasikan setengah dari itu untuk VM untuk digunakan. Hadoop membutuhkan banyak memori.

Setelah Anda siap, klik tombol Play, dan contoh Linux Anda akan dimulai. Anda akan melihat banyak pesan yang diluncurkan oleh Linux saat boot dan Anda akan masuk ke layar masuk. Nama pengguna sudah disetel ke "Tom. "Tentukan kata kunci sebagai" tomtom "dan masuk.

Langkah 2: Download Bigtop

Dari dalam VM Linux Anda, klik kanan pada layar dan pilih Open in Terminal dari menu kontekstual yang muncul. Ini membuka terminal Linux, di mana Anda bisa menjalankan perintah. Klik di dalam terminal sehingga Anda bisa melihat kursor berkedip dan masukkan perintah berikut: su -

Anda akan dimintai kata sandi Anda, jadi ketik "tomtom" seperti yang Anda lakukan sebelumnya. Perintah ini akan mengalihkan pengguna ke root, yang merupakan master account untuk komputer Linux - Anda memerlukan ini untuk menginstal Hadoop.

Dengan akses root Anda (jangan biarkan power sampai ke kepala Anda), jalankan perintah berikut:

wget -O / etc / yum. repo d / bigtop repo 

// www. apache org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Perintah dasarnya adalah permintaan web, yang meminta file tertentu di URL yang dapat Anda lihat dan tuliskan ke jalur tertentu - dalam kasus ini, yaitu /.

Langkah 3: Menginstal Bigtop

Orang-orang jenius di belakang Linux telah membuat hidup cukup mudah bagi orang-orang yang perlu menginstal paket perangkat lunak besar seperti Hadoop.Apa yang Anda download pada langkah terakhir bukanlah keseluruhan paket Bigtop dan semua dependensinya. Itu hanya file repositori (dengan ekstensi), yang menginformasikan sebuah program installer dimana paket perangkat lunak dibutuhkan untuk instalasi Bigtop.

Seperti produk perangkat lunak besar lainnya, Hadoop memiliki banyak prasyarat, tapi Anda tidak perlu khawatir. File yang dirancang dengan baik akan menunjuk ke dependensi apapun, dan installer cukup cerdas untuk melihat apakah komputer Anda hilang di komputer Anda dan kemudian mendownload dan menginstalnya.

Installer yang Anda gunakan di sini disebut yum, yang bisa Anda lihat dalam tindakan sekarang:

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

Perhatikan bahwa Anda memilih dan memilih komponen Hadoop untuk dipasang. Ada sejumlah komponen lain yang tersedia di Bigtop, tapi hanya itu yang akan Anda gunakan di sini. Karena VM adalah instalasi Linux yang baru, Anda memerlukan banyak dependensi, jadi Anda harus menunggu sebentar.

Installer yum cukup verbose, sehingga Anda dapat melihat dengan tepat apa yang sedang didownload dan diinstal untuk melewatkan waktu. Saat proses instalasi selesai, Anda harus melihat pesan yang berbunyi "Complete! "

Langkah 4: Memulai Hadoop

Sebelum menjalankan aplikasi di Hadoop, ada beberapa konfigurasi dasar dan penyiapan hal-hal yang perlu dilakukan. Di sini mereka beres:

1. Download dan install Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Format NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Jalankan layanan Hadoop untuk cluster pseudodistributed Anda:

   untuk saya di hadoop-hdfs-namenode hadoop-hdfs-datanode; lakukan layanan sudo $ i start; done
   

4. Buat struktur sub-direktori di HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Jalankan daemon YARN:

layanan sudo hadoop-benang-resourcemanager layanan startudo hadoop-yarn-nodemanager mulai

Dan dengan itu, Anda sudah selesai. Selamat! Anda telah menginstal penyebaran Hadoop yang bekerja!

Langkah 5: Mendownload kumpulan data sampel

Untuk mendownload kumpulan data sampel, buka browser Firefox dari dalam VM, dan buka halaman dataexpo.

Anda tidak memerlukan keseluruhan kumpulan data, jadi mulailah dengan satu tahun, 1987. Saat Anda akan mendownload, pilih opsi Open with Archive Manager.

Setelah file anda didownload, ekstrak file tersebut ke dalam direktori home anda dimana anda akan dapat menemukannya dengan mudah. Klik pada tombol Extract, dan kemudian pilih direktori Desktop.

Langkah 6: Menyalin data sampel ke HDFS

Ingat bahwa program Hadoop Anda hanya dapat bekerja dengan data setelah disimpan di HDFS. Jadi, apa yang akan Anda lakukan sekarang adalah menyalin file data penerbangan untuk 1987 ke HDFS. Masukkan perintah berikut:

hdfs dfs -copyFromLocal 1987. csv / user / root