Video: Hadoop-da mapper və reduktor nədir?
2024 Müəllif: Lynn Donovan | [email protected]. Son dəyişdirildi: 2023-12-15 23:43
Əsas üstünlüyü MapReduce çox hesablama qovşaqları üzərində verilənlərin emalının miqyasını asanlaşdırmaqdır. Altında MapReduce modelində verilənləri emal edən primitivlərə mappers və deyilir reduktorlar . Məlumat emal tətbiqinin xəritəçilərə parçalanması və reduktorlar bəzən qeyri-trivial olur.
Bunu nəzərə alaraq, mapper və reduktor nədir?
MapReduce iki əsas funksiyadan ibarətdir: Mapper və Reduktor . Xəritəçi daxil olan məlumatları emal edən funksiyadır. The xəritəçi məlumatları emal edir və bir neçə kiçik məlumat parçası yaradır.
xəritəçi nədir? A xəritəçi verilənləri təsvir edə bilər xəritəçi eləcə də coğrafi xəritələr yaradan şəxs. Coğrafiyanın vəzifələri xəritəçi və ya xəritəçəkmə texnikinə ərazinin xəritəsini yaratmaq üçün coğrafi məlumatların toplanması və işlənməsi daxildir.
Bu şəkildə Hadoop-da mapper və reduktorun istifadəsi nədir?
Apache Software Foundation-a görə, əsas məqsədi Xəritə / Azaltmaq giriş məlumat dəstini tamamilə paralel şəkildə işlənən müstəqil hissələrə bölməkdir. The Hadoop MapReduce Çərçivə xəritələrin çıxışlarını çeşidləyir, daha sonra bunlar da daxil edilir azaltmaq tapşırıqlar.
Hadoop-da xəritəçinin istifadəsi nədir?
Qaçışda Hadoop iş, proqramlar adətən həyata keçirir Xəritəçi və Xəritəni təmin etmək üçün Reducer interfeysləri (giriş qeydlərini aralıq qeydlərə çevirən fərdi tapşırıqlar) və açarı daha kiçik dəyərlər dəstinə paylaşan aralıq dəyərlər toplusunu azaltmaq üçün üsulları azaltmaq.
Tövsiyə:
Hadoop iş planlaması nədir?
İşin Planlaşdırılması. Siz MapR klasterinizdə işləyən MapReduce işlərinə və YARN proqramlarına üstünlük vermək üçün işin planlaşdırılmasından istifadə edə bilərsiniz. Defolt iş planlayıcısı klaster resursları üçün rəqabət aparan çoxsaylı istifadəçi və ya qrupların olduğu istehsal mühiti üçün nəzərdə tutulmuş Ədalətli Planlayıcıdır
Apache Hadoop-da ikinci dərəcəli Namenode nədir?
Hadoop-da ikinci dərəcəli NameNode HDFS klasterində xüsusi ayrılmış qovşaqdır, onun əsas funksiyası ad node-də mövcud olan fayl sistemi metadatasının yoxlama nöqtələrini götürməkdir. Bu ehtiyat ad node deyil. O, sadəcə namenode fayl sisteminin ad məkanını yoxlayır
Hadoop-da HDP nədir?
Hortonworks Data Platform (HDP) mərkəzləşdirilmiş arxitekturaya (YARN) əsaslanan təhlükəsizlik baxımından zəngin, müəssisə üçün hazır, açıq mənbəli Apache Hadoop paylanmasıdır. HDP istirahət zamanı məlumat ehtiyaclarını qarşılayır, real vaxt rejimində müştəri tətbiqlərini gücləndirir və qərar qəbulunu və innovasiyanı sürətləndirməyə kömək edən güclü analitika təqdim edir
Reaksiya JS-də reduktor nədir?
Reduktor əvvəlki vəziyyəti və hərəkəti qəbul edən və növbəti vəziyyəti qaytaran təmiz funksiyadır. (əvvəlki vəziyyət, fəaliyyət) => sonrakı vəziyyət. Array-a ötürəcəyiniz funksiya növü olduğundan ona reduktor deyilir
Reduktor nədir?
Reduktor proqramın vəziyyətində dəyişiklikləri təyin edən funksiyadır. Bu dəyişikliyi müəyyən etmək üçün aldığı hərəkətdən istifadə edir. Redux kimi alətlərimiz var ki, onlar tək mağazada tətbiqin vəziyyətindəki dəyişiklikləri idarə etməyə kömək edir ki, onlar ardıcıl davransınlar