ISP图像处理Pipeline

发布时间 2023-11-12 20:07:02作者: 楚千羽

参考:
1. 键盘摄影(七)——深入理解图像信号处理器 ISP
2. Understanding ISP Pipeline
3. ISP图像处理流程介绍
4. ISP系统综述
5. ISP(图像信号处理)之——图像处理概述
6. ISP 框架
7. ISP(图像信号处理)算法概述、工作原理、架构、处理流程
8. ISP全流程简介
9. ISP流程介绍(Raw格式阶段)

ISP Pipeline流程如下:

image

ISP处于整个成像系统的中心地位。

image

ISP功能

器件控制

  • 控制Sensor的Shutter(快门)、Gain(增益)
  • 控制镜头变焦、聚焦
  • 控控制镜头的光圈
  • 控制滤光片的切换
  • 补光灯控制

格式转换

  • RAG转RGB
  • RGB转YUV
  • YUV转HSI
  • YUV444转YUV420等

画质优化

  • 原始图像修正(光通量不均匀、有畸变)
  • 颜色管理
  • 降噪
  • 动态范围控制
  • 清晰度、锐度提升
  • 后处理
  • 数字去抖
    下面左图是没有画质优化的,右图是经过ISP画质优化的。

image

ISP算法流程
image

  • Horizontal Flip:做水平翻转

  • Test Pattern:ISP内部产生测试图像,ISP内部调试使用

  • Black Level Correction:黑电平矫正,黑电平是指图像数据为0时对应的信号电平,进行黑电平矫正的目的;一是由于sensor本身会存在暗电流,导致在没有光照进来的条件下pixel也有电压输出,不过这部分一般在sensor端就已经处理掉了,还有一个原因是因为sensor进行模数转换时精度不够,以8bit为例,每个pixel有效范围是0-255,sensor可能无法将接近于0的信息转化出来,由于人眼特性(对暗处细节比较敏感,)所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5(非固定值)—255之间,然后传输在ISP端再做一个减法,将5(非固定值)变为0

  • Bad Pixel Correction:坏点消除

  • Lens Shadow Correction:镜头阴影矫正(镜头缺陷、光通量不均匀)

  • AF Statistics in Raw:AF统计信息

  • CFA Interpolation:去马赛克,将RAW转成RGB

  • D65 White Balance:做标定,使得在D65下面,使得白色的物体呈现白色

  • AWB Statistics:做完D65 White Balance后可以做AWB 统计信息

  • AWB:AWB算法根据色温值做白平衡矫正

  • CCM:3×3的颜色矩阵,目的是让成像系统颜色符合人眼睛看到的颜色。AWB已经将白色校准了,CCM就是用来校准白色除白色以外其他颜色的准确度的,用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考

  • Gamma:Gamma矫正,原因是人眼睛的非线性特性,亮度发生变化时,人眼感受到的不是成倍的关系

  • CSC:RGB到YUV色彩空间转换

  • AE Statistics:AE统计信息

  • 2DNR:空间域降噪

  • 3DNR:时间域降噪

  • AF Statistics in YUV:AF 统计信息

  • Local Tone Mapping:图像每一个局部区域都足够清晰

  • Sharpness:锐化让图像变得更清晰

  • WDR:宽动态算法让图像的动态范围变得更大

  • Post-Process:后处理

  • LDC:镜头畸变矫正

  • De-shaking:防抖

下期将逐模块详细介绍各个模块的功能,加油↖(ω)↗