JavaEE
鸿蒙应用开发
HTML&JS+前端
Python+大数据开发
人工智能开发
电商视觉设计
软件测试
新媒体+短视频
集成电路应用开发
C/C++
狂野架构师
IP短视频
大数据离散流是什么？
更新时间:2021年01月05日16时10分 来源:传智教育 浏览次数:
Spark Streaming提供了一个高级抽象的流，即DStream（离散流）。DStream表示连续的数据流，可以通过Kafka、Flume和Kinesis等数据源创建，也可以通过现有DStream的高级操作来创建。DStream的内部结构如图1所示。
图1 DStream流的内部结构
从图1可以看出，DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段时间分隔开来的数据集。实际上，对DStream的任何操作，最终都会转变成对底层RDDs的操作。
猜你喜欢：
最新资讯
0
分享到：
江苏传智播客教育科技股份有限公司 版权所有Copyright 2006-2024 All Rights Reserved 苏ICP备16007882号营业执照增值电信业务经营许可证出版物经营许可证
苏公网安备 32132202001156号