Mündəricat:

Sqoop performansımı necə təkmilləşdirə bilərəm?
Sqoop performansımı necə təkmilləşdirə bilərəm?

Video: Sqoop performansımı necə təkmilləşdirə bilərəm?

Video: Sqoop performansımı necə təkmilləşdirə bilərəm?
Video: Apache SQOOP Data Migration POC 2024, Bilər
Anonim

Optimallaşdırmaq üçün performans , təyin edin the -dən aşağı olan bir dəyərə qədər xəritə tapşırıqlarının sayı the bağlantıların maksimum sayı the verilənlər bazası dəstəkləyir. Nəzarət etmək the ki, paralellik miqdarı Sqoop məlumat ötürmək üçün istifadə edəcək the nəzarət etməyin əsas yolu the yükləyin sənin verilənlər bazası.

Müvafiq olaraq, proses arasında sqoop uğursuz olarsa nə baş verir?

Tipik Sqoop mənbə verilənlər bazasından məlumatları HDFS-ə daxil edən iş məlumatları hədəf kataloqa köçürür. Kopyalanan fayl silinəcək sqoop uğursuz olarsa tamamlamadan.

Bir də soruşa bilərsiniz ki, sqoop-da paralelliyə necə nail olursunuz? Nəzarət etmək Paralellik . Sqoop verilənlər bazası mənbələrinin əksəriyyətindən paralel olaraq məlumatları idxal edir. Siz -m və ya --num-mappers arqumentindən istifadə edərək idxalı yerinə yetirmək üçün istifadə ediləcək xəritə tapşırıqlarının (paralel proseslər) sayını təyin edə bilərsiniz. Bu arqumentlərin hər biri dərəcəsinə uyğun olan tam dəyər alır paralellik işlə təmin etmək

Nəticə etibarilə, Hive sorğusunun performansını necə təkmilləşdirə bilərəm?

Aşağıda Hive Sorğularını optimallaşdırmaq üçün izləyə biləcəyimiz təcrübələrin siyahısı verilmişdir

  1. Hive-də sıxılmanı aktivləşdirin.
  2. Qoşulmaları optimallaşdırın.
  3. Pətəkdə Qlobal Çeşidləmədən çəkinin.
  4. Tez İcra Mühərrikini aktivləşdirin.
  5. LIMIT operatorunu optimallaşdırın.
  6. Paralel icranı aktivləşdirin.
  7. Mapreduce Strict Mode-u aktivləşdirin.
  8. Çox Qrup BY üçün Tək Azaldılması.

Sqoop split necə işləyir?

Daha çox paralelliyə nail olmaqla idxal performansını artırmaq üçün istifadə edilə bilər. Sqoop yaradır parçalayır -- tərəfindən müəyyən edilmiş cədvəlin xüsusi sütununda olan qiymətlərə əsaslanır. bölün - idxal əmri vasitəsilə istifadəçi tərəfindən. Əgər mövcud deyilsə, giriş cədvəlinin əsas açarı yaratmaq üçün istifadə olunur parçalayır.

Tövsiyə: