526互联

《光电图像处理》-小结记录

发布时间 2023-12-28 20:18:34作者: nanozy

目录

一、绪论

1.人眼视觉

光电图像处理框架
image-20231001140710772
image-20231001141145411 ------>人类对亮暗感知程度高于颜色
image-20231001141932863 人眼的明暗感觉是相对的，并不由绝对亮度来决定在这里插入图片描述

在这里插入图片描述 image-20231001142501346

视觉暂留效应：是光对视网膜所产生的视觉，在光停止作用后，仍然保留一段时间的现象，原因是由视神经的反应速度造成的，其时值约是1/16秒，一般常说的延续时间为：0.1-0.4秒。

例子：

1.日常使用的日光灯每秒大约熄灭100余次，但我们基本感觉不到日光灯的闪动

2.对应电影影片，把静止的图片按照一定的频率显示，就可以达到所谓视频的效果。要达成最基本的视觉暂留效果至少需要10fps（参考影片的帧率）

3.结合自己设计FPGA驱动vga显示480x680x60hz，那么一幅图像的中每个像素的刷新频率为:480x680x60=19584000hz

视觉错觉：

img

这种视觉错觉由12个淡紫色的点组成，就像时钟上的数字一样，中间有一个黑色的十字符号。每一个点都被简单地模糊处理，持续0.1秒，顺时针旋转。如果你盯着十字架看，圆盘的上每一个运动的点都会变成绿色，而且整个紫色的圆都会消失。

解释：连续运动是因为人眼暂留效应，消失后看见绿色点是因为淡紫色的补色为绿色，至于盯着十字架看运动的圆都消失：人眼的防抖【大脑感受到外界变化后，反射性地引起眼球发生相应的变化，保证人看物体的清晰度，避免重影。并且由于人眼黄斑的存在，光线聚集在此结构附近时才能形成清晰的物像，而在其周围，虽然也能产生一定的视力，但却不甚清晰，这就是为什么我们注视一个物体时，其周围的物体会显得比较模糊。】

image-20231001151905289

当你盯着图片看时，“叶子”似乎在波动。神奇的是，如果你停下来盯着图像上的一个点来看，这时树叶是静止不动的。运动的错觉来自于色彩的强烈对比。

参考：https://www.zhihu.com/tardis/zm/art/274571602?source_id=1003

2.数字图像

image-20231001152534574

一般卫星上会使用超波段的各种相机去拍摄，因为毕竟去卫星拍摄不容易，就多各种能用的相机以获取更多的信息。

image-20231001152833398

image-20231001152845722
在这里插入图片描述
在这里插入图片描述

3. 彩色图像

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

对应256的伪彩色图像，比如markdown中不同背景的底色；以及比如VGA驱动中设置rgb颜色的配置引脚

image-20231001154527553 image-20231001154821258

二、光电图像处理系统

在这里插入图片描述

在这里插入图片描述

image-20231001160852285 image-20231001160902047

图像获取中IR滤光片的作用

image-20231001161401541 image-20231001161448504
image-20231001162539581 image-20231001162551219

说明:拜尔阵列因为每个像素只过滤并记录RGB三种颜色的一种，这些从单个像素获取的信息并不能完整表现红、绿、蓝各色的组成数值。为了得到全色彩影像，可用不同的去马赛克算法来插值得到每个像素的红、绿、蓝色的组成数值。

简单的去马赛克方法：对相邻同色的像素数值进内联插

eg:当芯片曝光得到一张影像后，每个像素就可以读取出来。绿色过滤器的像素精确测量了绿色成分，而该像素红色和蓝色的成分则是从邻区获取。一个绿色像素的红色数值可由相邻两个红色像素内插计算出来；同样的，内插相邻两个蓝色像素也能计算出蓝色数值。

三、图像傅里叶变换

image-20231001163357686

image-20231001163547419 image-20231001163608714
image-20231001163845511 image-20231001163856193

此处省略傅里叶变换的相关公式

image-20231001165230470

image-20231001165343167

四、图像增强

image-20231001170338631

image-20231001230425993

1.灰度变换

灰度变换：通过调整图像直方图到一个预定形状实现
灰度变换（线性变换） image-20231001231227656
灰度变换（幂次变换） 图像获取、打印和显示的各种装置一般根据幂次规律进行响应
用于修正幂次响应的过程称为幂次变换（伽马校正）
灰度变换（对数变换） image-20231001231652840

在这里插入图片描述

2.直方图处理

image-20231001232148246 image-20231001232226592
image-20231001232900553 image-20231001232908725
image-20231001233019878 image-20231001233030522

3.图像平滑和锐化

1)空域平滑

光电成像系统在图像获取和传输过程中易受干扰，因此图像存在噪声，图像平滑可减小噪声，使图像模糊。

image-20231001233429884

image-20231001233629119 image-20231001233706402
image-20231001233857317 image-20231001234030615
找到合适的数学模型后，我们再根据实际的设计原则进行考虑。 image-20231001234301306

各类滤波器介绍：

  1. 均值滤波器

image-20231001235257584

  • 图像边缘处如何滤波？

1）先补图像边缘，滤波后再去除
2）在图像边缘处，部分掩模处理
3）不处理图像边缘

  1. 中值滤波器

image-20231001235616519

  • 如何既能保持边界，又能进行滤波处理？

image-20231001235800434

  1. KNN平滑滤波器

image-20231002000427572

  1. 双边平滑滤波器— （Bilateral Filter）

image-20231002000531309

2)空域锐化

平滑和锐化的对比：

平滑：抑制噪声，尽量保留边界
锐化：增强边界，尽量抑制噪声

图像中目标可识别的主要原因--------->目标与背景的边界--------->增强边界可突出目标

image-20231002001139419

image-20231002162553984 image-20231002162642091

锐化算子介绍：

  1. Roberts算子

Robert算子是用于求解对角线方向的梯度，因为根据算子GX和GY的元素设置可以看到，只有对角线上的元素非零，其本质就是以对角线作为差分的方向来检测。

image-20231002170602012

  1. Sobel算子

Sobel算子是主要用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导，用于计算图像灰度函数的近似梯度。因为Sobel算子结合了高斯平滑和分化，因此结果会具有更多的抗噪性。

image-20231002171511053

  1. Prewitt算子（精度定位不如Sobel）

Prewitt算子利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用 。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的。

这两个方向模板一个检测水平边缘，一个检测垂直边缘。

image-20231002171639198

  1. Laplacian算子(二阶微分锐化)

image-20231002172356946

  • 一阶与二阶锐化比较

image-20231002172627716

  • 平滑与锐化模板的关系

image-20231002172937291

部分参考：

opencv——边缘检测算法（总结）

3)频域平滑

  • 频域滤波的基本模型

image-20231002193400161

  • 频域滤波的基本模型

image-20231002193436691

  1. 理想低通滤波器

image-20231002193637738

image-20231002193708605

  1. 巴特沃斯低通滤波器

image-20231002194353595

实际运用不同参数对比的效果：

image-20231002194506956

4)频域锐化

  1. 理想高通滤波器

image-20231002194715349

  1. 巴特沃斯高通滤波器

image-20231002194820901

  1. 频域拉普拉斯算子

image-20231002195041311

五、形态学处理

image-20231002195329332

image-20231002195349939

1.腐蚀

image-20231002200142272

image-20231002200234671

2.膨胀

image-20231002200323361

image-20231002200506463

  • 腐蚀和膨胀互为对偶，即X被B腐蚀后的补集等于X的补集被B膨胀

3.开Open

image-20231002201055244

4.闭Close

image-20231002201123955

  • 开运算和闭运算互为对偶，即X开运算的补集等于X补集的闭运算

应用例子

轮廓提取：

image-20231002201439784

轮廓跟踪：

image-20231002201711114

目前对应连通域提取不太清楚。

image-20231002202021428 image-20231002202029300 image-20231002202037778

六、图像分割

1.图像分割概述

分割定义：使图像内容分为“目标”及“非目标”两类，是识别的基础

分割策略：不连续性—— 边缘提取；相似性—— 阈值分割

image-20231002202454678

image-20231002202554968

神经网络—— 模拟人脑的物理架构
深度学习—— 模拟人的后天学习过程

学会：立体感知；识别物体、人

图像处理及相关数学知识，提供了基础思想和方法

2.图像分割的方法

1)阈值分割法

image-20231002203421934

  1. 直接阈值法
image-20231002203516803 image-20231002203549115
  1. 最佳阈值法
image-20231002203824732 image-20231002203854375

2)边缘检测分割法

对图像空域或频域锐化，形态学。

image-20231002204125320

根据边缘检测有效性和定位可靠性，Canny给出评价边缘检测性能三指标：

① 好的检测能力：即误判边缘点和非边缘点的概率都要低
② 好的定位能力：即检测出的边缘点要尽可能在真实边缘的中心位置
③ 好的响应能力：即单一边缘仅有唯一响应，且噪声不应标识为边缘

image-20231002205635442

在这里插入图片描述

image-20231002205834283

image-20231002205957823

image-20231002210100184

5.最后输出二值化图像

3.图像分割后的问题

image-20231002210255210

若目标边缘或图像细节是直线/圆等规范形状---->Hough变换做断点连接

  • 霍夫（Hough）变换

image-20231002212905565

image-20231002213139146

image-20231002213200698

4.区域生长法

image-20231002213247203

主要参考

[1]陈晓冬著，2019.08机械工业出版社.
[2]Gonzale Z. 著，2013.10电子工业出版社.
[3]OpenCV-Python 中文教程 OpenCV官方教程中文版（For Python）