基于ZYNQ的DVS(Event-based) Camera项目

发布时间 2023-10-30 23:13:18作者: 工大鸣猪

一、项目简介

本项目以zynq100为主体,使用索尼IMX646(1280×720)Event-based光传感器芯片,事件相机,也叫动态视觉相机。项目从设计芯片外围电路到使用FPGA采集数据,再到用以太网传输数据,最后到对数据处理可视化,本人独立负责整个架构设计与实现。

二、项目架构

以数据流向展示整体架构,具体细节不作赘述:

graph LR A(Chip) B(MIPI CSI-2) C(FIFO) D(DMA) E(Ethenet) F(Processing) A-->B-->C-->D-->E-->F

Chip上的RAW数据经过MIPI接口写入PL端FIFO,ARM核通过DMA读取数据并经以太网口将数据传输到上位机上,在上位机上对采集的数据进行解析和可视化。芯片通过PS端IIC进行配置。

三、项目展示

1、图片
image

2、视频
压缩文件包含三个简单演示视频,涉及手部动作、手环、条纹、笔、盒子、文字等元素(视频压缩较多,建议小尺寸播放)。
https://files.cnblogs.com/files/blogs/683126/相机演示视频.zip?t=1698674915&download=true

四、不足与展望

1、根据芯片原理可知外界光源闪烁会导致噪点,本项目并未配置光源同步,也没有做图像处理,图像噪点较多。我的任务已经完成,不负责该项目的后续打磨。
2、设备性能冗余太多,不推荐用ZYNQ做产品。建议使用Contex-A系列STM32进行设计,可以大大减小体积,大大节省成本。
3、一方面,DVS相机具有超低延时和高动态范围等优点,可以弥补传统视觉相机的不足,为业界带来新的解决方案;另一方面,针对DVS相机的图像处理算法算法也给学术界带来新的研究方向。最后,我很期待DVS相机在准确识别、高速追踪和快速决策等方面的应用。