Amazon Elastic MapReduce-un arxasında olan məlumat emal mühərriki nədir?
Amazon Elastic MapReduce-un arxasında olan məlumat emal mühərriki nədir?

Video: Amazon Elastic MapReduce-un arxasında olan məlumat emal mühərriki nədir?

Video: Amazon Elastic MapReduce-un arxasında olan məlumat emal mühərriki nədir?
Video: Introduction to Amazon Web Services by Leo Zhadanovsky 2024, Aprel
Anonim

Amazon EMR paylanmış kimi Apache Hadoop istifadə edir məlumat emal mühərriki . Hadoop, dəstəkləyən açıq mənbəli, Java proqram təminatı çərçivəsidir data -böyük klasterlərdə işləyən intensiv paylanmış proqramlar of əmtəə avadanlıqları.

Üstəlik, Amazon Elastic MapReduce nədir?

Amazon Elastic MapReduce ( EMR ) bir Amazon Veb Xidmətləri ( AWS ) böyük verilənlərin emalı və təhlili üçün alət. Amazon EMR virtual serverlərin Hadoop klasterində böyük məlumatları emal edir Amazon Elastik Hesablama Buludu ( EC2 ) və Amazon Sadə Saxlama Xidməti ( S3 ).

Bundan əlavə, Amazon EMR tam idarə olunurmu? Bu tam idarə olunur məlumat saxlanmasını hesablama resurslarından ayıra bilən və əvəzində hesablama klasterlərini miqyaslana bilən, tələb üzrə istifadə oluna bilən və birdən çox klasterin eyni verilənlər toplusuna eyni vaxtda daxil olması imkanını özündə birləşdirən məlumat gölü xidməti.

Biri də soruşa bilər ki, AWS EMR necə işləyir?

Ümumiyyətlə, məlumatları emal etdiyiniz zaman Amazon EMR , giriş kimi seçdiyiniz əsas fayl sistemində fayllar kimi saxlanılan məlumatdır Amazon S3 və ya HDFS. Bu məlumatlar emal ardıcıllığında bir addımdan digərinə keçir. Son addım çıxış məlumatlarını müəyyən bir yerə yazır, məsələn Amazon S3 vedrə.

ec2 və EMR arasındakı fərq nədir?

Fərqli EMR , EC2 qul qovşaqlarını əsas və tapşırıq qovşaqlarına təsnif etmir. Bu, qovşağın silinməsi/itirilməsi halında HDFS məlumatlarının itirilməsi riskini artırır. EC2 s3-də məlumatlara daxil olmaq üçün Apache kitabxanalarından (s3a) istifadə edir. Digər tərəfdən, EMR s3-ə daha sürətli daxil olmaq üçün AWS mülkiyyət kodundan istifadə edir.

Tövsiyə: