Apa sebenarnya SQL Access Sebenarnya Berarti - dummies

Sejumlah perusahaan banyak berinvestasi untuk menggerakkan proyek open source dan solusi proprietary untuk akses SQL ke data Hadoop. Ketika Anda mendengar istilah akses SQL, Anda harus mengetahui bahwa Anda mengandalkan beberapa asumsi dasar:

• Standar bahasa: Standar yang paling penting, tentu saja, memerlukan bahasa itu sendiri. Banyak solusi "SQL-like" ada, meskipun biasanya tidak sesuai dengan cara mendasar tertentu - cara yang mencegah pernyataan SQL biasa sekalipun.

  Driver:

• Komponen kunci lainnya dalam solusi akses SQL adalah driver - antarmuka untuk aplikasi untuk menghubungkan dan bertukar data dengan penyimpanan data. Tanpa driver, tidak ada antarmuka SQL untuk aplikasi klien atau alat untuk terhubung ke pengajuan query SQL.

  Dengan demikian, solusi SQL pada Hadoop harus memiliki driver JDBC dan ODBC paling sedikit, karena ini adalah teknologi antarmuka database yang paling umum digunakan.

  Akses real-time:

• Sampai Hadoop 2, eksekusi berbasis MapReduce adalah satu-satunya opsi yang tersedia untuk analisis terhadap data yang tersimpan di Hadoop. Untuk query yang relatif sederhana yang melibatkan pemindaian data secara penuh dalam sebuah tabel, Hadoop cukup cepat dibandingkan dengan database relasional tradisional.

  Ingatlah bahwa ini adalah kasus penggunaan analisis batch, di mana cepat dapat berarti jam, tergantung pada seberapa banyak data yang terlibat. Tapi ketika sampai pada pertanyaan yang lebih kompleks, melibatkan himpunan bagian data, Hadoop tidak melakukannya dengan baik. MapReduce adalah kerangka kerja batch, sehingga mencapai kinerja tinggi untuk query real-time sebelum Hadoop 2 secara arsitektural tidak mungkin dilakukan. Salah satu motivator awal untuk YARN, sistem pengelolaan dan penjadwalan sumber daya baru di blok ini, apakah ini memerlukan dukungan kerangka kerja pemrosesan lainnya untuk memungkinkan beban kerja real-time, seperti query SQL interaktif. Memang, solusi SQL yang tepat seharusnya tidak membiarkan orang menunggu permintaan yang masuk akal.

  Data yang tidak sesuai:

• Pertanyaan umum dalam banyak diskusi seputar dukungan SQL terhadap Hadoop adalah "Bisakah kita menggunakan, dan pernyataan, seperti yang dapat kita lakukan di database relasional yang khas? "Untuk saat ini, jawabannya tidak, yang mencerminkan sifat HDFS - ini terfokus pada file besar dan tidak berubah.Teknologi seperti Hive menawarkan akses hanya-baca ke file-file ini. Apapun, pekerjaan sedang berlangsung di proyek Apache Sarang.