Mündəricat:

Sqoop məlumatları idxal və ixrac etmək üçün nədən istifadə edir?
Sqoop məlumatları idxal və ixrac etmək üçün nədən istifadə edir?

Video: Sqoop məlumatları idxal və ixrac etmək üçün nədən istifadə edir?

Video: Sqoop məlumatları idxal və ixrac etmək üçün nədən istifadə edir?
Video: SQL on Hadoop: The Secret 2024, Noyabr
Anonim

Sqoop edir köçürmək üçün nəzərdə tutulmuş alətdir data Hadoop və əlaqəli verilənlər bazaları arasında. Sqoop əsaslanaraq bu prosesin əksəriyyətini avtomatlaşdırır verilənlər bazası üçün sxemi təsvir etmək data olmaq idxal edilib . Sqoop istifadə edir MapReduce üçün məlumatları idxal və ixrac edin , bu, paralel işləmə ilə yanaşı, nasazlığa dözümlülük təmin edir.

Budur, mən sqoop-dan məlumatları necə ixrac edə bilərəm?

Başlanır

  1. Addım 1: MySQL instansiyasında yeni verilənlər bazası yaradın. MƏLUMAT BAZASI YARADIN db1;
  2. akad adlı cədvəl yaradın.
  3. Addım 3: input.txt və input2.txt faylını HDFS-dən MySQL-ə ixrac edin. sqoop export –connect jdbc:mysql://localhost/db1 –username sqoop –parol kökü –table acad –export-dir /sqoop_msql/ -m 1.

Həmçinin, sqoop ixracı necə işləyir? Sqoop - Sqoop ixracını ixrac edin komanda giriş verilənləri dəsti ilə INSERT ifadələrini hazırlayır, sonra verilənlər bazasına daxil olur. üçündür ixrac edir yeni qeydlər, Cədvəlin əsas açarla unikal dəyər sabiti varsa, ixrac insert ifadəsi uğursuz olduğu üçün iş uğursuz olur. Yeniləmələriniz varsa, --update-key seçimindən istifadə edə bilərsiniz.

Eynilə, insanlar soruşurlar ki, məlumatları sqoop-a necə idxal edə bilərəm?

Hər bir fərdi Sqoop əmr seçimi nə deməkdir:

  1. connect – jdbc sətirini təmin edir.
  2. istifadəçi adı – Verilənlər bazasının istifadəçi adı.
  3. -P - Konsolda parol istəyəcək.
  4. cədvəl – Kompüterə MySQL-dən hansı cədvəli idxal etmək istədiyinizi bildirir.
  5. split-by - bölmə sütununuzu təyin edir.
  6. target-dir – HDFS təyinat kataloqu.

Sqoop idxalı nədir?

Sqoop alət ' idxal ' üçün istifadə olunur idxal cədvəl məlumatlarını mətn faylı və ya ikili fayl kimi Hadoop fayl sisteminə cədvəldən köçürün. Aşağıdakı əmr üçün istifadə olunur idxal emp cədvəlini MySQL verilənlər bazası serverindən HDFS-ə.

Tövsiyə: