Услуга

Механизам за чишћење Спарк Стреаминг података
(И) ДСтреам и РДД
Као што знамо, рачунање Спарк Стреаминг-а је засновано на Спарк Цоре-у, а језгро Спарк Цоре-а је РДД, тако да Спарк Стреаминг мора бити повезан и са РДД-ом.Међутим, Спарк Стреаминг не дозвољава корисницима да директно користе РДД, већ апстрахује скуп ДСтреам концепата, ДСтреам и РДД су инклузивни односи, то можете разумети као шаблон декорације у Јави, односно, ДСтреам је побољшање РДД, али понашање је слично РДД.
ДСтреам и РДД имају неколико услова.
(1) имају сличне радње трансформације, као што су мапа, редуцирањеБиКеи, итд., али и неке јединствене, као што су Виндов, мапВитхСтатед, итд.
(2) сви имају акције акције, као што су фореацхРДД, цоунт, итд.
Програмски модел је конзистентан.
(Б) Увођење ДСтреам-а у Спарк Стреаминг
ДСтреам садржи неколико класа.
(1) Класе извора података, као што је ИнпутДСтреам, специфичне као ДирецтКафкаИнпутСтреам, итд.
(2) Класе конверзије, обично МаппедДСтреам, СхуффледДСтреам
(3) излазне класе, обично као што је ФорЕацхДСтреам
Из наведеног, податке од почетка (уноса) до краја (излаза) врши ДСтреам систем, што значи да корисник нормално не може директно да генерише и манипулише РДД-овима, што значи да ДСтреам има могућност и обавезу да буде одговоран за животни циклус РДД-а.
Другим речима, Спарк Стреаминг имааутоматско чишћењефункција.
(иии) Процес генерисања РДД-а у Спарк Стреаминг-у
Животни ток РДД-ова у Спарк Стреаминг-у је груб на следећи начин.
(1) У ИнпутДСтреам-у, примљени подаци се трансформишу у РДД, као што је ДирецтКафкаИнпутСтреам, који генерише КафкаРДД.
(2) затим кроз МаппедДСтреам и друге конверзије података, овај пут се директно назива РДД што одговара методу мапе за конверзију
(3) У операцији излазне класе, само када је РДД изложен, можете дозволити кориснику да изврши одговарајуће складиштење, друге прорачуне и друге операције.