مۇلازىمەت

ئۇچقۇن ئېقىمى سانلىق مەلۇمات تازىلاش مېخانىزمى
(I) DStream and RDD
بىلگىنىمىزدەك ، ئۇچقۇن ئېقىمى ھېسابلاش ئۇچقۇن مەركىزىنى ئاساس قىلغان ، ئۇچقۇن مەركىزىنىڭ يادروسى RDD ، شۇڭا ئۇچقۇن ئېقىمى چوقۇم RDD بىلەنمۇ مۇناسىۋەتلىك بولۇشى كېرەك. قانداقلا بولمىسۇن ، ئۇچقۇن ئېقىمى ئابونتلارنىڭ RDD نى بىۋاسىتە ئىشلىتىشىگە يول قويمايدۇ ، ئەمما بىر يۈرۈش DStream ئۇقۇمى ، DStream ۋە RDD سىغدۇرۇشچان مۇناسىۋەت ، سىز ئۇنى Java دىكى زىننەتلەش ئەندىزىسى دەپ چۈشىنىسىز ، يەنى DStream RDD نىڭ كۈچەيتىلىشى ، ئەمما بۇ ھەرىكەت RDD بىلەن ئوخشاش.
DStream ۋە RDD ھەر ئىككىسىنىڭ بىر قانچە شەرتى بار.
.
(2) ھەممىسىنىڭ ھەرىكەت ھەرىكەتلىرى بار ، مەسىلەن foreachRDD ، ساناش قاتارلىقلار.
پروگرامما تۈزۈش ئەندىزىسى بىردەك.
(2) ئۇچقۇن ئېقىمىدا DStream نى تونۇشتۇرۇش
DStream بىر نەچچە دەرسنى ئۆز ئىچىگە ئالىدۇ.
(1) سانلىق مەلۇمات مەنبە سىنىپلىرى ، مەسىلەن InputDStream ، DirectKafkaInputStream غا ئوخشاش.
(2) ئايلاندۇرۇش سىنىپى ، ئادەتتە MappedDStream ، ShuffledDStream
(3) چىقىرىش سىنىپى ، ئادەتتە ForEachDStream غا ئوخشاش
يۇقىرىقىلاردىن باشلاپ ، باشلىنىش (كىرگۈزۈش) دىن ئاخىرىغىچە (چىقىرىش) سانلىق مەلۇماتلار DStream سىستېمىسى تەرىپىدىن ئېلىپ بېرىلىدۇ ، يەنى ئىشلەتكۈچى ئادەتتە RDD نى بىۋاسىتە ھاسىل قىلالمايدۇ ۋە كونترول قىلالمايدۇ ، بۇ DStream نىڭ RDD نىڭ ھاياتلىق دەۋرىگە مەسئۇل بولۇش پۇرسىتى ۋە مەجبۇرىيىتى بارلىقىنى كۆرسىتىدۇ.
باشقىچە ئېيتقاندا ، ئۇچقۇن ئېقىمىنىڭ an بارئاپتوماتىك تازىلاشfunction.
(3) ئۇچقۇن ئېقىمىدىكى RDD ئەۋلاد جەريانى
ئۇچقۇن ئېقىمىدىكى RDD لارنىڭ ھاياتلىق ئېقىمى تۆۋەندىكىدەك قوپال.
(1) InputDStream دا ، قوبۇل قىلىنغان سانلىق مەلۇماتلار RDD غا ئۆزگىرىدۇ ، مەسىلەن KafkaRDD ھاسىل قىلىدىغان DirectKafkaInputStream غا ئوخشاش.
(2) ئاندىن MappedDStream ۋە باشقا سانلىق مەلۇماتلارنى ئايلاندۇرۇش ئارقىلىق ، بۇ قېتىم بىۋاسىتە خەرىتە ئۇسۇلىغا ماس كېلىدىغان RDD دەپ ئاتىلىدۇ.
(3) چىقىرىش سىنىپى مەشغۇلاتىدا ، پەقەت RDD ئاشكارلانغاندىلا ، ئىشلەتكۈچىگە مۇناسىپ ساقلاش ، باشقا ھېسابلاش ۋە باشقا مەشغۇلاتلارنى قىلالايسىز.