数据分析核心产品

Flink

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。

Spark

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右。

Kafka Stream

作为大数据必不可少的组件之一,支持了流式处理,让流处理变更轻量级

Rocketmq Stream

阿里出品,里面很多思路与Flink和Blink极为相似,功能丰富,应用简单,易上手。

流计算的核心要素

Stateful

实时计算增量计算的核心组建,保证了算子任务的正确执行和状态持久化

Connector

支持多组建的输入输出是非常重要的核心功能,如File、Socket、消息队列、Elasticsearch等

Time & Window

支持多类型的时间窗口,为不同类型的统计计算提供了保障

容错保证

如何保证异常退出数据不丢失,恢复中断后能继续处理,是流计算引擎必须支持的核心功能