Rumah Keuangan Pribadi Arus Aplikasi Babi di Hadoop - dummies

Arus Aplikasi Babi di Hadoop - dummies

Video: Beruang kutub memakan anjing di Kanada - Tomonews 2025

Video: Beruang kutub memakan anjing di Kanada - Tomonews 2025
Anonim

Pada intinya, bahasa Latin Babi adalah bahasa dataflow , di mana Anda mendefinisikan aliran data dan serangkaian transformasi yang diterapkan pada data saat mengalir melalui aplikasi anda Ini berbeda dengan bahasa flow control (seperti C atau Java), di mana Anda menulis serangkaian instruksi.

Dalam bahasa aliran kontrol, Anda menggunakan konstruksi seperti loop dan logika kondisional (seperti pernyataan if). Anda tidak akan menemukan loop dan jika pernyataan dalam bahasa Latin Babi.

Jika Anda memerlukan beberapa meyakinkan bahwa bekerja dengan Babi adalah baris yang lebih mudah untuk cangkul daripada harus menulis Map and Reduce programs, mulailah dengan melihat beberapa sintaks Babi nyata:

A = LOAD 'data_file. txt';. B = GROUP …; … C = FILTER …;. DUMP B;. STORE C KE 'Hasil';

Beberapa teks dalam contoh ini benar-benar terlihat seperti bahasa Inggris, bukan? Tidak terlalu menakutkan, setidaknya pada saat ini. Melihat setiap baris pada gilirannya, Anda dapat melihat aliran dasar program Babi. (Perhatikan bahwa kode ini bisa menjadi bagian dari naskah atau dikeluarkan pada shell interaktif yang disebut Grunt.)

  1. Load: Anda pertama kali memuat (LOAD) data yang ingin Anda manipulasi.

    Seperti pada pekerjaan MapReduce yang khas, data tersebut tersimpan dalam HDFS. Agar program Babi mengakses data, pertama-tama beri tahu babi file atau file apa yang akan digunakan. Untuk tugas itu, Anda menggunakan perintah LOAD 'data_file'.

    Di sini, 'data_file' dapat menentukan file HDFS atau direktori. Jika sebuah direktori ditentukan, semua file dalam direktori tersebut dimasukkan ke dalam program.

    Jika data disimpan dalam format file yang tidak dapat diakses secara native oleh Babi, Anda dapat menambahkan fungsi PENGGUNAAN ke pernyataan LOAD untuk menentukan fungsi yang ditentukan pengguna yang dapat dibaca (dan interpretasikan) data.

  2. Transform: Anda menjalankan data melalui serangkaian transformasi yang, jauh di bawah tenda dan jauh dari apapun yang harus Anda pedulikan, diterjemahkan ke dalam satu set Map and Reduce tasks.

    Logika transformasi adalah tempat semua manipulasi data terjadi. Di sini, Anda dapat FILTER keluar baris yang tidak menarik, BERGABUNG dua set file data, data GROUP untuk membangun agregasi, hasil ORDER, dan banyak lagi.

  3. Dump: Akhirnya, Anda membuang (DUMP) hasilnya ke layar

    atau

    Store (STORE) hasil dalam file di suatu tempat.

    Anda biasanya menggunakan perintah DUMP untuk mengirim output ke layar saat Anda men-debug program Anda. Ketika program Anda masuk ke produksi, Anda cukup mengubah panggilan DUMP ke panggilan STORE sehingga setiap hasil dari menjalankan program Anda disimpan dalam file untuk pemrosesan atau analisis lebih lanjut.

Arus Aplikasi Babi di Hadoop - dummies

Pilihan Editor

Kantor 2011 untuk Mac: Membuat Tabel dengan Kotak Dialog atau Teks - dummies

Kantor 2011 untuk Mac: Membuat Tabel dengan Kotak Dialog atau Teks - dummies

Sementara ada cara baru untuk membuat tabel di Office 2011 untuk Mac, Anda masih bisa menggunakan teknik stand-by. Menu yang familiar masih bekerja di Office 2011 untuk Mac, dan inilah buktinya. Dialog meja semuanya masih ada di sana: Di Word, pilih Table → Insert → Table; Sebagai alternatif, pada tab Tabel Ribbon, di Tabel Pilihan ...

Kantor 2011 untuk Mac: Melepaskan Command Toolbar - dummies

Kantor 2011 untuk Mac: Melepaskan Command Toolbar - dummies

Apakah Anda menggunakan Office 2011 untuk Mac atau Produk Microsoft Office lainnya, toolbar Anda bisa sangat berantakan. Setiap kali Anda merasa perlu untuk men-tweak antarmuka aplikasi Microsoft Office, Anda perlu memanggil dialog Customize Toolbars and Menus. Ini adalah dialog super kuat di Word, Excel, dan PowerPoint yang memungkinkan Anda ...

Kantor 2011 untuk Mac: Berbagi Toolbar dan Menu - dummies

Kantor 2011 untuk Mac: Berbagi Toolbar dan Menu - dummies

Setelah Anda menyesuaikan Office 2011 Anda bilah alat dan antarmuka, Anda dapat berbagi penyesuaian dengan orang lain. Namun, pastikan bahwa Anda menasihati orang-orang yang telah Anda lakukan sebelum membagikan dokumen Anda dengannya; Jika tidak, mereka mungkin akan terkejut saat mereka membuka dokumen Anda dan melihat susunan toolbar atau menu yang berbeda dari pada apa ...

Pilihan Editor

Penting Office 2007 Commands - dummies

Penting Office 2007 Commands - dummies

Anda dapat membuat program Office 2007 lebih mudah jika Anda menggunakan pintasan sederhana ini. Perintah-perintah ini, seperti mengurungkan kesalahan dan memperbesar dan memperkecil akan membantu Anda menghemat waktu. Memasuki simbol: Untuk memasukkan simbol atau karakter asing yang tidak ada pada keyboard Anda, masuk ke tab Insert dan klik Symbol ...

Menyesuaikan Perintah Menu di Office 2003 - dummies

Menyesuaikan Perintah Menu di Office 2003 - dummies

Office 2003 menyediakan dua teknik untuk menyesuaikan menu dan perintah menu. Anda bisa memulai dari kotak dialog Rearrange Commands atau menggunakan metode drag-and-drop. Teruslah membaca. Menangani perintah menu di kotak dialog Rearrange Commands Teknik tombol Options Toolbar untuk menangani tombol toolbar bagus dan keren, tapi bagaimana jika Anda ingin ...

Pilihan Editor

Bagaimana memecahkan kesalahan logis dalam analisis argumen Pertanyaan GRE - dummies

Bagaimana memecahkan kesalahan logis dalam analisis argumen Pertanyaan GRE - dummies

Ketika Anda menjawab Argument Analysis Pertanyaan di GRE, argumen mungkin tampak logis dan adil di permukaan tapi sebenarnya keliru (keliru, cacat). Alasan melingkar, penalaran sebab-akibat yang keliru, dan generalisasi sweeping adalah tiga tanda argumen lemah. Dengan melihat beberapa kesalahan logis yang lebih umum, Anda dapat mengidentifikasi kelemahan dalam argumen dan ...

Pilihan ganda, Beberapa Jawaban tentang Tes Matematika GRE - Pertanyaan Praktik - dummies

Pilihan ganda, Beberapa Jawaban tentang Tes Matematika GRE - Pertanyaan Praktik - dummies

Meskipun pertanyaan matematika biasanya hanya memiliki satu jawaban yang benar, ini tidak selalu terjadi. Akibatnya, beberapa pertanyaan pilihan ganda pada tes GRE Math akan memberi Anda daftar jawaban dan meminta Anda untuk memilih lebih dari satu. Pertanyaan praktik berikut meminta Anda untuk menemukan nilai kemungkinan yang berbeda secara berurutan dan ...

Pilihan ganda, Beberapa Jawaban tentang Tes Verbal GRE - Pertanyaan Praktik - dummies

Pilihan ganda, Beberapa Jawaban tentang Tes Verbal GRE - Pertanyaan Praktik - dummies

Pada tes GRE Verbal, beberapa pertanyaan pilihan ganda akan memiliki lebih dari satu jawaban yang benar. Untuk pertanyaan ini, Anda akan diminta untuk melihat-lihat pilihan jawaban dan memilih semua yang menurut Anda benar. Dalam pertanyaan praktik berikut, Anda diminta untuk membaca bagian yang disertakan, dan kemudian ...