Hadoop-un hansı fayl formatı sütunlu məlumat saxlama formatına icazə verir?
Hadoop-un hansı fayl formatı sütunlu məlumat saxlama formatına icazə verir?

Video: Hadoop-un hansı fayl formatı sütunlu məlumat saxlama formatına icazə verir?

Video: Hadoop-un hansı fayl formatı sütunlu məlumat saxlama formatına icazə verir?
Video: Hadoop Processing Frameworks 2024, Noyabr
Anonim

Sütunlu Fayl Formatları (Parket, RCFile )

Hadoop üçün fayl formatlarında ən son istilik sütunlu fayl yaddaşıdır. Əsasən bu o deməkdir ki, bir-birinizə bitişik məlumat sətirlərini saxlamaq əvəzinə, sütun dəyərlərini də bir-birinizə bitişik saxlayırsınız. Beləliklə, verilənlər bazası həm üfüqi, həm də şaquli olaraq bölünür.

Bundan əlavə, Hadoop məlumatları hansı formatda idarə edir?

Bir neçə var Hadoop - xüsusi fayl formatlar MapReduce ilə yaxşı işləmək üçün xüsusi olaraq yaradılmışdır. Bunlar Hadoop - xüsusi fayl formatlar fayl əsaslı daxildir data ardıcıllıq faylları, seriallaşdırma kimi strukturlar formatlar Avro və sütunlu kimi formatlar RCFile və Parket kimi.

Bir də soruşa bilərsiniz, sütunlu fayl formatı nədir? Sıra və Sütunlu Hive üçün saxlama. ORC a sütunlu saxlama format Hivetables üçün Hadoop-da istifadə olunur. Effektivdir fayl formatı qeydlərdə çoxlu sütun olan məlumatların saxlanması üçün. Nümunə olaraq veb saytın fəaliyyətini və performansını təhlil etmək üçün Clickstream (veb) məlumatlarını göstərmək olar.

Eynilə, soruşulur ki, Hadoop-da fayl formatı nədir?

Əsas fayl formatları bunlardır: mətn format , Açar-Dəyər format , Ardıcıllıq format . Digər formatlar istifadə olunan və yaxşı bilinənlər bunlardır: Avro, Parket, RC və ya Row-Columnar format , ORC və ya Optimallaşdırılmış Sıra Sütunlu format.

Nə üçün sütunlu fayl formatları verilənlər anbarında istifadə olunur?

ORC sıra saxlayır data in sütunlu format . Bu sıra- sütunlu format sıxılma üçün yüksək səmərəlidir və saxlama . Bu, klaster və digərləri arasında paralel emal etməyə imkan verir sütunlu format daha sürətli emal və dekompressiya üçün lazımsız sütunları atlamağa imkan verir.

Tövsiyə: