arroyo 基于rust开发的流处理引擎
包含的特性
- sql 以及rust pipelines
- 可以直接每秒百万级别的事件
- 支持windows 以及joins 的状态处理
- 基于状态checkpointing 的支持容错以及恢复的pipelines
- 通过dataflow 模型的及时流处理
使用场景
- 安全以及欺诈事件捕捉
- 实时产品分析
- 数据仓库，数据湖实时数据进入
- 实时机器学习特性生成
参考架构
状态处理
说明
arroyo 从架构上以及介绍上看着还是比较方便的，而且看着很强大， 值得学习研究
参考资料
https://github.com/ArroyoSystems/arroyo
https://doc.arroyo.dev/introduction