Mündəricat:

Hadoop-da müxtəlif fayl formatları hansılardır?
Hadoop-da müxtəlif fayl formatları hansılardır?

Video: Hadoop-da müxtəlif fayl formatları hansılardır?

Video: Hadoop-da müxtəlif fayl formatları hansılardır?
Video: Video və Səs fayllarının həcminin hesablanması #1ciQrup 2024, Dekabr
Anonim

Xoşbəxtlikdən sizin üçün, böyük məlumat icması əsasən üç optimallaşdırılmış üzərində qərarlaşıb fayl formatları istifadə üçün Hadoop klasterlər: Optimallaşdırılmış Sıra Sütunlu (ORC), Avro və Parket.

Sonradan soruşula bilər ki, müxtəlif məlumat formatları hansılardır?

Üç var məlumat növləri Xəritəçəkmə və GIS məlumat formatları . Hər biri növü fərqli şəkildə idarə olunur.

Məlumat formatının növləri

  • Fayl əsaslı - Shapefiles, Microstation Design Files (DGN), GeoTIFF şəkilləri.
  • Directory-based - ESRI ArcInfo Coverages, US Census PIGER.
  • Verilənlər bazası əlaqələri - PostGIS, ESRI ArcSDE, MySQL.

Bundan əlavə, Hive-də hansı fayl formatı ən yaxşısıdır? RCFile sütunlu cərgədir fayl formatı . Bu başqa bir formasıdır Hive fayl formatı yüksək sıra səviyyəli sıxılma dərəcələri təklif edir. Bir anda birdən çox sıra yerinə yetirmək tələbiniz varsa, RCFile istifadə edə bilərsiniz format.

Bunu nəzərə alaraq, Hadoop-da ümumi giriş formatları hansılardır?

InputFormat Inputsplit yaradır

  • Ən çox yayılmış InputFormat bunlardır:
  • FileInputFormat- Bu, bütün fayl-basedInputFormat üçün əsas sinifdir.
  • TextInputFormat- Bu, MapReduce-un standart InputFormatıdır.
  • KeyValueTextInputFormat- TextInputFormat-a bənzəyir.
  • Hadoop-da InputFormat haqqında daha çox öyrənmək üçün linki izləyin.

Hadoop-da orc fayl formatı nədir?

ORC fayl formatı Optimallaşdırılmış Sıra Sütun ( ORC ) fayl formatı Hive məlumatlarını saxlamaq üçün yüksək effektiv üsul təqdim edir. Digər Hive-in məhdudiyyətlərini aradan qaldırmaq üçün nəzərdə tutulmuşdur fayl formatları . İstifadə ORC faylları Hiveis məlumatları oxuyarkən, yazarkən və emal edərkən performansını yaxşılaşdırır.

Tövsiyə: