Açarla azaltmaq nədir?
Açarla azaltmaq nədir?

Video: Açarla azaltmaq nədir?

Video: Açarla azaltmaq nədir?
Video: Chevrolet cruze 1.4 coxlarinin gormek istediyi ve gore bilmediyi yanacaq serfiyyati 2024, Noyabr
Anonim

Spark RDD reduceByKey funksiyası hər biri üçün dəyərləri birləşdirir açar assosiativdən istifadə etməklə azaltmaq funksiyası. Bu, intuitiv olaraq o deməkdir ki, bu funksiya elementin sırasından asılı olmayaraq, bir neçə bölmə ilə eyni RDD məlumat dəstinə təkrar tətbiq edildikdə eyni nəticə verir.

O zaman groupByKey və reduceByKey arasındakı fərq nədir?

groupByKey () yalnız məlumat dəstinizi açar əsasında qruplaşdırmaqdır. azaltmaqByKey () qruplaşdırma + toplama kimi bir şeydir. azaltmaqByKey böyük verilənlər toplusunda işlədiyimiz zaman istifadə edilə bilər. aggregateByKey() məntiqi olaraq eynidir azaltmaqByKey () ancaq nəticəni geri qaytarmağa imkan verir fərqli növü.

Həmçinin bilin, niyə azaltmaq qığılcımda hərəkət edir? Qığılcım azaldır əməliyyatdır hərəkət əməliyyat növüdür və bütün düzülmüş tənbəl təlimatlar üçün tam DAG icrasını tetikler. Qığılcım RDD azaltmaq funksiya müəyyən edilmiş kommutativ və assosiativ ikili operatordan istifadə edərək bu RDD-nin elementlərini azaldır. Qığılcım azaldır kimi əməliyyat demək olar ki, oxşardır azaltmaq Scala metodu.

Yuxarıdakıların yanında Pairrdd nədir?

Spark açar/dəyər cütlərini ehtiva edən RDD-lərdə xüsusi əməliyyatlar təmin edir. Bu RDD-lər cüt RDD adlanır. Cüt RDD-lər bir çox proqramda faydalı tikinti blokudur, çünki onlar sizə paralel olaraq hər bir düymədə hərəkət etməyə və ya şəbəkə üzrə məlumatları yenidən qruplaşdırmağa imkan verən əməliyyatları ifşa edir. PairRDDs KEY/VALUE cütləridir.

ReduceByKey bir hərəkətdirmi?

azaltmaq () yönəldilmiş asiklik qrafikə (DAG) əlavə etməyən bir kolleksiya çıxarır, beləliklə hərəkət . Bununla belə, azaltmaqByKey () DAG-da sadəcə başqa səviyyə/vəziyyət olan RDD-ni qaytarır, buna görə də transformasiyadır.

Tövsiyə: