Flink
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。
极简应用
完美用户体验
实时数据分析
秒级同步
数据分析核心产品
Flink
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。
Spark
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右。
Kafka Stream
作为大数据必不可少的组件之一,支持了流式处理,让流处理变更轻量级
Rocketmq Stream
阿里出品,里面很多思路与Flink和Blink极为相似,功能丰富,应用简单,易上手。
流计算的核心要素
Stateful
实时计算增量计算的核心组建,保证了算子任务的正确执行和状态持久化
Connector
支持多组建的输入输出是非常重要的核心功能,如File、Socket、消息队列、Elasticsearch等
Time & Window
支持多类型的时间窗口,为不同类型的统计计算提供了保障
容错保证
如何保证异常退出数据不丢失,恢复中断后能继续处理,是流计算引擎必须支持的核心功能