研究课题 课题research problem

本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......

本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......

本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......

这个东西是我接触的第一个非2D方面的算法，到目前为止其实也没有完全搞定，不过可能短时间内也无法突破。先把能搞定的搞定吧。 这个东西也有一大堆参考资料，不过呢，搜来搜去其实也就那些同样的东西，个人觉得就属这个文章最经典，既有说明，也有图片，还有代码： Photometric Stereo Chaman ......