Hadoop-da kiçik fayllarla bağlı problem nədir?
Hadoop-da kiçik fayllarla bağlı problem nədir?

Video: Hadoop-da kiçik fayllarla bağlı problem nədir?

Video: Hadoop-da kiçik fayllarla bağlı problem nədir?
Video: Ошибка 3E, 3C, ЕА (стиральная машина Samsung) 2024, Bilər
Anonim

1) Kiçik Fayl problemi in HDFS : Çoxlu saxlama kiçik fayllar olan son dərəcə daha kiçik blok ölçüsü ilə səmərəli idarə edilə bilməz HDFS . Oxumaq kiçik fayllar məlumat qovşağından məlumat qovşağına çoxlu axtarışlar və çoxlu atlamalar daxildir ki, bu da məlumatların səmərəsiz işlənməsinə səbəb olur.

Bundan əlavə, Hadoop-da hansı fayllar kiçik fayl problemləri ilə məşğul olur?

1) HAR ( Hadoop Arxiv) Fayllar ilə tanış olmuşdur kiçik fayl problemi ilə məşğul olun . HAR üstünə bir təbəqə təqdim etdi HDFS üçün interfeys təmin edən fayl daxil olmaq. İstifadə Hadoop arxiv əmri, HAR fayllar yaradılmışdır, hansı a işləyir MapReduce qablaşdırma işi fayllar arxivində saxlanılır daha kiçik sayı HDFS faylları.

Bundan əlavə, HDFS-də müxtəlif blok ölçülərindən istifadə edən birdən çox fayla sahib ola bilərəmmi? Defolt ölçüsü of blok 64 MB təşkil edir. Sən bacarmaq tələbinizdən asılı olaraq dəyişdirin. Sualınıza gəlincə bəli birdən çox fayl yarada bilər dəyişməklə blok ölçüləri lakin Real-Time bu olacaq istehsalına üstünlük vermir.

Üstəlik, niyə HDFS kiçik faylları optimal şəkildə idarə etmir?

ilə bağlı problemlər kiçik fayllar və HDFS Hər fayl , kataloq və blok daxil edin HDFS-dir ad node yaddaşında obyekt kimi təqdim olunur, hər biri 150 bayt tutur, bir qayda olaraq. Bundan başqa, HDFS deyil səmərəli daxil olmaq üçün hazırlanmışdır kiçik fayllar : o edir ilk növbədə böyüklərin axın çıxışı üçün nəzərdə tutulmuşdur fayllar.

Hadoop niyə yavaşdır?

Yavaş Emal sürəti Bu diskin axtarışı vaxt tələb edir və bununla da bütün prosesi çox edir yavaş . Əgər Hadoop məlumatları kiçik həcmdə emal edir yavaş nisbətən. Böyük məlumat dəstləri üçün idealdır. kimi Hadoop əsasda toplu emal mühərrikinə malikdir, onun real vaxt rejimində işləmə sürəti daha azdır.

Tövsiyə: