مۇلازىمەت

ئۇچقۇن ئېقىمى سانلىق مەلۇمات تازىلاش مېخانىزمى
(I) DStream and RDD
بىلگىنىمىزدەك ، ئۇچقۇن ئېقىمى ھېسابلاش ئۇچقۇن مەركىزىنى ئاساس قىلغان ، ئۇچقۇن مەركىزىنىڭ يادروسى RDD ، شۇڭا ئۇچقۇن ئېقىمى چوقۇم RDD بىلەنمۇ مۇناسىۋەتلىك بولۇشى كېرەك.قانداقلا بولمىسۇن ، ئۇچقۇن ئېقىمى ئابونتلارنىڭ RDD نى بىۋاسىتە ئىشلىتىشىگە يول قويمايدۇ ، ئەمما بىر يۈرۈش DStream ئۇقۇمى ، DStream ۋە RDD سىغدۇرۇشچان مۇناسىۋەت ، سىز ئۇنى Java دىكى زىننەتلەش ئەندىزىسى دەپ چۈشىنىۋالالايسىز ، يەنى DStream RDD نىڭ كۈچەيتىلىشى ، ئەمما بۇ ھەرىكەت RDD غا ئوخشايدۇ.
DStream ۋە RDD ھەر ئىككىسىنىڭ بىر قانچە شەرتى بار.
.
(2) ھەممىسىنىڭ ھەرىكەت ھەرىكەتلىرى بار ، مەسىلەن foreachRDD ، ساناش قاتارلىقلار.
پروگرامما تۈزۈش ئەندىزىسى بىردەك.
(2) ئۇچقۇن ئېقىمىدا DStream نى تونۇشتۇرۇش
DStream بىر نەچچە دەرسنى ئۆز ئىچىگە ئالىدۇ.
(1) سانلىق مەلۇمات مەنبە سىنىپلىرى ، مەسىلەن InputDStream ، DirectKafkaInputStream غا ئوخشاش.
(2) ئايلاندۇرۇش سىنىپى ، ئادەتتە MappedDStream ، ShuffledDStream
(3) چىقىرىش سىنىپى ، ئادەتتە ForEachDStream غا ئوخشاش
يۇقىرىقىلاردىن باشلاپ ، باشتىن-ئاخىر (كىرگۈزۈش) ئاخىرىغىچە (چىقىرىش) سانلىق مەلۇماتلار DStream سىستېمىسى تەرىپىدىن ئېلىپ بېرىلىدۇ ، يەنى ئىشلەتكۈچى ئادەتتە RDD لارنى بىۋاسىتە ھاسىل قىلالمايدۇ ۋە كونترول قىلالمايدۇ ، بۇ DStream نىڭ پۇرسەت ۋە مەجبۇرىيىتى بارلىقىنى بىلدۈرىدۇ. RDD نىڭ ھايات دەۋرىگە مەسئۇل.
باشقىچە ئېيتقاندا ، ئۇچقۇن ئېقىمىنىڭ an بارئاپتوماتىك تازىلاشfunction.
(3) ئۇچقۇن ئېقىمىدىكى RDD ئەۋلاد جەريانى
ئۇچقۇن ئېقىمىدىكى RDD لارنىڭ ھاياتلىق ئېقىمى تۆۋەندىكىدەك قوپال.
(1) InputDStream دا ، قوبۇل قىلىنغان سانلىق مەلۇماتلار RDD غا ئۆزگىرىدۇ ، مەسىلەن KafkaRDD ھاسىل قىلىدىغان DirectKafkaInputStream غا ئوخشاش.
(2) ئاندىن MappedDStream ۋە باشقا سانلىق مەلۇماتلارنى ئايلاندۇرۇش ئارقىلىق ، بۇ قېتىم بىۋاسىتە خەرىتە ئۇسۇلىغا ماس كېلىدىغان RDD دەپ ئاتىلىدۇ.
(3) چىقىرىش سىنىپى مەشغۇلاتىدا ، پەقەت RDD ئاشكارلانغاندىلا ، ئىشلەتكۈچىگە مۇناسىپ ساقلاش ، باشقا ھېسابلاش ۋە باشقا مەشغۇلاتلارنى قىلالايسىز.