Scala-da RDD nədir?

2024 Müəllif: Lynn Donovan | [email protected]. Son dəyişdirildi: 2023-12-15 23:43

Dayanıqlı Paylanmış Məlumat Kütlələri ( RDD ) Spark-ın əsas məlumat strukturudur. O, obyektlərin dəyişməz paylanmış toplusudur. RDD-lər istənilən növ Python, Java və ya ola bilər Scala obyektlər, o cümlədən istifadəçi tərəfindən müəyyən edilmiş siniflər. Formal olaraq, bir RDD yalnız oxuna bilən, bölmələrə ayrılmış qeydlər toplusudur.

Həmçinin sual yaranır ki, RDD ilə DataFrame arasındakı fərq nədir?

RDD – RDD bir çox maşında yayılmış məlumat elementlərinin paylanmış toplusudur içində klaster. RDD-lər verilənləri təmsil edən Java və ya Scala obyektləri toplusudur. DataFrame – Ə DataFrame adlandırılmış sütunlarda təşkil edilmiş məlumatların paylanmış toplusudur. Konseptual olaraq cədvələ bərabərdir bir əlaqəli verilənlər bazası.

Bundan əlavə, RDD necə paylanır? Davamlı Paylanmış Datasets ( RDD-lər ) Onlar a paylanmışdır klasterin müxtəlif maşınlarının yaddaşında və ya disklərində saxlanılan obyektlərin toplusu. Bir tək RDD bir çox məntiqi bölmələrə bölünə bilər ki, bu bölmələr klasterin müxtəlif maşınlarında saxlanıla və işlənə bilsin.

qığılcım RDD necə işləyir?

RDD-lər in Qığılcım bölmələri ehtiva edən qeydlər toplusuna malikdir. RDD-lər in Qığılcım kiçik məntiqi məlumat hissələrinə bölünür - bölmələr kimi tanınır, hərəkət yerinə yetirildikdə, hər bölmə üçün tapşırıq işə salınacaq. arakəsmələr RDD-lər paralelliyin əsas vahidləridir.

Hansı daha sürətli RDD və ya DataFrame?

RDD - Sadə qruplaşdırma və toplama əməliyyatlarını yerinə yetirərkən RDD API daha yavaşdır. DataFrame - Kəşfiyyat xarakterli təhlillərin aparılmasında, məlumatlar üzrə ümumi statistikanın yaradılmasında, məlumat çərçivələri var Daha sürətli . RDD - Aşağı səviyyəli transformasiya və hərəkətlər istədiyiniz zaman istifadə edirik RDD-lər . Həmçinin, yüksək səviyyəli abstraksiyalara ehtiyacımız olduqda istifadə edirik RDD-lər.