arroyo
arroyo 0.3.0 新特性
arroyo 0.3.0 提供了不少新特性，比如更好的sql 支持，以及最小系统的udf 之一，ddl 支持，自定义事件事件，以及水印支持 说明 arroyo 0.4.0规划了不少新特性，比如支持debezium 的cdc 支持mysql 以及pg 的连接，同时还有支持delta lake 集成，值 ......
arroyo sql 处理
我在arroyo docker 镜像处理的时候简单说过一个arroyo 的编译服务，在看了官方介绍之后发现官方是有说明的 参考处理 基于datafusion解析查询以及计划生成 查询计划编译为arroyo 逻辑dataflow 计划 dataflow 逻辑计划，生成rust 代码 rust 代码编译 ......
arroyo single docker 镜像说明
arroyo single docker 镜像使用了ubuntu 作为基础镜像，里边包含了不少服务，同时基于supervisord 进行服务管理 具体dockerfile 参考github 我简单介绍一些其他服务 supervisord配置 /opt/arroyo/src/docker/single ......
arroyo 开发说明
因为arroyo 基于rust 开发，了解开发流程有助于学习源码（注意当前主要是ubuntu，其他环境官方暂时没说明，应该也是可以的） pg arroyo 需要一个pg 数据库，对于数据库是通过环境变量处理的对于迁移基于了refinery，同时基于了 cornucopia 对于sql 查询生成安全可 ......
arroyo集群部署简单说明
arroyo 推荐的调度是基于nomad 当然也可以基于内置的 运行配置 pg arroyo 基于了refinery 管理迁移 s3 进行checkpoints 存储，通过controller 以及worker 进行的状态写入 运行服务 arroyo 集群 包含了多特api server 以及一个c ......
arroyo 组件简单说明
arroyo 架构上与k8s 的架构特别类似，包含了控制面板:api server 、controler、存储（k8s 是etcd，arroyo 是pg）、web ui （类似dashboard）数据面板: scheduler 以及worker（serverless 具体执行的地方），对于状态存储基 ......
arroyo+redpanda 集成试用
arroyo 对于kafka 有着很不错的集成支持（目前版本可以说是优先支持的），使用原生kafka 是一个选择，但是部署以及管理感觉比较费事 以前简单介绍过redpanda，所以尝试下集成 环境准备 docker-compose 包含了redpandadata console，connect，以及 ......
arroyo 基于rust开发的流处理引擎
arroyo 基于rust开发的流处理引擎 包含的特性 sql 以及rust pipelines 可以直接每秒百万级别的事件 支持windows 以及joins 的状态处理 基于状态checkpointing 的支持容错以及恢复的pipelines 通过dataflow 模型的及时流处理 使用场景 ......