Spark yayımı nədir?
Spark yayımı nədir?

Video: Spark yayımı nədir?

Video: Spark yayımı nədir?
Video: Instagram Yeni Filtreler | Spark AR nedir ? 2024, Bilər
Anonim

Yayım Apache-də dəyişənlər Qığılcım yalnız oxumaq üçün nəzərdə tutulmuş icraçılar arasında dəyişənlərin bölüşdürülməsi mexanizmidir. olmadan yayım dəyişənlər, bu dəyişənlər hər bir transformasiya və hərəkət üçün hər icraçıya göndəriləcək və bu, şəbəkə yükünə səbəb ola bilər.

Eləcə də insanlar soruşur ki, mən nə vaxt qığılcım yaymalıyam?

Yayım Dəyişənlər əsasən bir neçə mərhələdəki tapşırıqlar eyni verilənləri tələb etdikdə və ya verilənlərin seriyasız formada keşləşdirilməsi tələb olunduqda istifadə olunur. Yayım dəyişənlər SparkContext-ə zəng etməklə v dəyişənindən istifadə etməklə yaradılır.

Həmçinin, qığılcımda akkumulyatorlar və yayım dəyişənləri nədir? Qığılcım iki növ paylaşmanı dəstəkləyir dəyişənlər : yayım dəyişənləri , bütün qovşaqlarda yaddaşda bir dəyəri keş etmək üçün istifadə edilə bilər və akkumulyatorlar , olanlar dəyişənlər sayğaclar və məbləğlər kimi yalnız onlara "əlavə olunur".

Bunu nəzərə alsaq, qığılcım akkumulyatoru nədir?

Akkumulyatorlar yalnız assosiativ əməliyyat vasitəsilə “əlavə olunan” dəyişənlərdir və buna görə də paralel olaraq effektiv şəkildə dəstəklənə bilər. Onlar sayğacları (MapReduce-də olduğu kimi) və ya məbləğləri həyata keçirmək üçün istifadə edilə bilər. Qığılcım yerli olaraq dəstəkləyir akkumulyatorlar ədədi növlərdən ibarətdir və proqramçılar yeni növlər üçün dəstək əlavə edə bilərlər.

Spark-da yayım dəyişənimi necə yeniləyə bilərəm?

  1. İstinad məlumat axtarışını forEachPartition və ya forEachRdd-ə köçürün ki, o, tamamilə işçilərin üzərində olsun.
  2. Yeni Yayım Dəyişənliyi ilə refdata hər dəfə dəyişdikdə Spark Kontekstini yenidən başladın.

Tövsiyə: