Video: Python Tutorial For Beginners | Python Full Course From Scratch | Python Programming | Edureka 2024
Bagian dari Lembar Cheat Hadoop For Dummies
Setiap administrator Hadoop yang layak mendapatkan garamnya harus menguasai satu set perintah yang komprehensif untuk administrasi klaster. Daftar berikut merangkum perintah yang paling penting, menunjukkan apa perintah yang dilakukan serta sintaks dan contohnya. Kenali mereka, dan Anda akan maju jauh di sepanjang jalan menuju kebijaksanaan Hadoop.
-
penyeimbang : Menjalankan utilitas penyeimbang cluster. Nilai ambang yang ditentukan, yang mewakili persentase kapasitas disk, digunakan untuk menimpa nilai ambang default (10 persen). Untuk menghentikan proses rebalancing, tekan Ctrl + C.
Sintaks: penyegelan hadoop [-threshold]
Contoh: hadoop balancer -threshold 20
-
daemonlog : Gets atau set tingkat log untuk setiap dasmon (juga dikenal sebagai layanan). Menghubungkan ke // host: port / logLevel? log = nama dan mencetak atau menetapkan tingkat log daemon yang berjalan di host: port. Daemon Hadoop menghasilkan file log yang membantu Anda menentukan apa yang terjadi pada sistem, dan Anda dapat menggunakan perintah daemonlog untuk sementara mengubah tingkat log komponen Hadoop saat Anda melakukan debug pada sistem. Perubahan menjadi efektif saat daemon di restart.
Sintaks: hadoop daemonlog - getlevel; hadoop daemonlog -setlevel
Contoh: hadoop daemonlog - baca 10. 250. 1. 15: 50030 org. apache hadoop mapred JobTracker; hadis daemonlog -setingkat 10. 250. 1. 15: 50030 org. apache hadoop mapred JobTracker DEBUG
-
datanode : Menjalankan layanan DataNode HDFS, yang mengkoordinasikan penyimpanan pada setiap node slave. Jika Anda menentukan -rollback, DataNode akan digulung kembali ke versi sebelumnya. Hentikan DataNode dan distribusikan versi Hadoop sebelumnya sebelum menggunakan opsi ini.
Sintaks: hadoop datanode [-rollback]
Contoh: hadoop datanode --rollback
-
dfsadmin : Menjalankan sejumlah file terdistribusi Hadoop Sistem (HDFS) operasi administratif. Gunakan opsi -help untuk melihat daftar semua opsi yang didukung. Pilihan generik adalah seperangkat pilihan umum yang didukung oleh beberapa perintah.
Sintaks: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | tinggalkan dapatkan tunggu] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | rincian | force] [-metasave filename] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]
-
mradmin : Menjalankan sejumlah administrasi MapReduce operasi. Gunakan opsi -help untuk melihat daftar semua opsi yang didukung.Sekali lagi, opsi generik adalah seperangkat pilihan umum yang didukung oleh beberapa perintah. Jika Anda menentukan -refreshServiceAcl, muat ulang file kebijakan otorisasi tingkat layanan (JobTracker memuat ulang file kebijakan otorisasi); -refreshQueues memuat ulang daftar kontrol akses antrian (ACL) dan negara (JobTracker memuat ulang mapred-queues. xml file); -refreshNodes menyegarkan informasi host di JobTracker; -refreshUserToGroupsMappings menyegarkan pemetaan pengguna-ke-kelompok; -refreshSuperUserGroupsConfiguration menyegarkan pemetaan kelompok pengguna superuser; dan - help [cmd] menampilkan bantuan untuk perintah yang diberikan atau untuk semua perintah jika tidak ada yang ditentukan.
Sintaks: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]
Contoh: hadoop mradmin -help -refreshNodes
-
jobtracker : Jalankan node MapReduce JobTracker, yang mengkoordinasikan sistem pengolahan data untuk Hadoop. Jika Anda menentukan -dumpConfiguration, konfigurasi yang digunakan oleh JobTracker dan konfigurasi antrian dalam format JSON ditulis ke keluaran standar.
Sintaks: hadoop jobtracker [-dumpConfiguration]
Contoh: hadoop jobtracker -dumpConfiguration
-
namenode : Menjalankan NameNode, yang mengkoordinasikan penyimpanan untuk seluruh cluster Hadoop. Jika Anda menentukan -format, NameNode dimulai, diformat, dan kemudian dihentikan; dengan -upgrade, NameNode dimulai dengan opsi upgrade setelah versi Hadoop baru didistribusikan; dengan -rollback, NameNode diluncurkan kembali ke versi sebelumnya (ingat untuk menghentikan cluster dan mendistribusikan versi Hadoop sebelumnya sebelum menggunakan opsi ini); dengan-selesainya, keadaan sistem berkas sebelumnya dihapus, upgrade terbaru menjadi permanen, rollback tidak lagi tersedia, dan NameNode dihentikan; Akhirnya, dengan -importCheckpoint, sebuah gambar diambil dari direktori pos pemeriksaan (seperti yang ditentukan oleh pos pemeriksaan fs. dir) dan disimpan ke dalam direktori saat ini.
Sintaks: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
Contoh: hadoop namenode -finalize
-
namenode sekunder : Menjalankan NameNode sekunder. Jika Anda menentukan -checkpoint, sebuah pos pemeriksaan pada NameNode sekunder dilakukan jika ukuran EditLog (log transaksi yang mencatat setiap perubahan yang terjadi pada metadata sistem file) lebih besar dari atau sama dengan fs. pos pemeriksaan. ukuran; tentukan -kekuatan dan pos pemeriksaan dilakukan terlepas dari ukuran EditLog; tentukan -geteditsize dan ukuran EditLog dicetak.
Sintaks: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
Contoh: hadoop secondarynamenode -geteditsize
-
tasktracker : Menjalankan node TaskTracker MapReduce.
Sintaks: hadoop tasktracker
Contoh: hadoop tasktracker
