S3 HDFS-ə əsaslanır?
S3 HDFS-ə əsaslanır?

Video: S3 HDFS-ə əsaslanır?

Video: S3 HDFS-ə əsaslanır?
Video: Евгений Борисов — Мифы о Spark, или Может ли пользоваться Spark обычный Java-разработчик 2024, Aprel
Anonim

S3 əslində buludda sonsuz bir yaddaşdır, lakin HDFS deyil. HDFS fiziki maşınlarda yerləşdirilir, ona görə də orada istənilən proqramı icra edə bilərsiniz. Heç bir şey icra edə bilməzsiniz S3 FS deyil, sadəcə Obyekt Mağazası kimi.

O zaman s3 paylanmış fayl sistemidirmi?

S3 a deyil paylanmış fayl sistemi . Bu, məlumatları açar-dəyər cütlərində saxlayan ikili obyekt anbarıdır. Bu, əslində NoSQL verilənlər bazası növüdür. Hər bir vedrə yeni bir “verilənlər bazasıdır”, açarlar sizin “qovluq yolunuz” və dəyərlər ikili obyektlərdir ( fayllar ).

Biri də soruşa bilər ki, AWS Hadoop-a əsaslanırmı? Hadoop çoxsaylı kompüterlər arasında böyük məlumat dəstlərinin emalına kömək edən çərçivədir. Buraya Map/Reduce (paralel emal) və daxildir HDFS (paylanmış fayl sistemi). AWS məlumat anbarıdır tikilmişdir əvvəlcə ParAccel tərəfindən hazırlanmış xüsusi texnologiyanın üstündə.

Bundan əlavə, faylları s3-dən HDFS-ə necə ötürə bilərəm?

Cavab verin. Birbaşa yoxdur faylları S3-dən HDFS-ə köçürməyin yolu yerli keçmədən fayllar . Bununla belə, yerli işə zəng etmək üçün standart İşdə tSystem komponentindən istifadə edə bilərsiniz Hadoop adətən istifadə etdiyiniz əmr faylları kopyalayın , misal üçün, s3 -dist-cp.

s3 verilənlər bazası nədir?

Amazon S3 və ya Amazon Sadə Saxlama Xidməti Amazon Web Services (AWS) tərəfindən təklif olunan və veb xidməti interfeysi vasitəsilə obyektin saxlanmasını təmin edən xidmətdir. Amazon S3 Amazon.com-un qlobal e-ticarət şəbəkəsini idarə etmək üçün istifadə etdiyi eyni ölçülə bilən saxlama infrastrukturundan istifadə edir.

Tövsiyə: