相机成像的四个坐标系

Write By Champrin On 2022-11-3
GUET Evolution Team Visual Group

三维重建第三课：相机标定原理步骤(一）坐标系变换
 三维重建第四课：相机标定原理步骤（二）世界坐标系到相机坐标系与畸变
 相机标定——四个坐标系
 MATLAB有关相机模型
 《Learning OpenCV3》ch18：相机模型与标定

相机镜头-凸透镜

焦距 \(f\)
- 是光学系统中衡量光的聚集或发散的度量方式，指从透镜的光心到光聚集之焦点的距离
- 亦是相机中，从镜片中心到底片或图像传感器等成像平面的距离
- 一般用凸透镜做相机的镜头时，它成的最清晰的像一般不会正好落在焦点上，或者说，最清晰的像到光心的距离（像距）一般不等于焦距，而是略大于焦距。具体的距离与被照的物体与镜头的距离（物距）有关，物距越大，像距越小，（但实际上总是大于焦距）
光心：凸透镜的中心近似看作是光心，可理解为相机透镜的几何中心

相机 CCD/CMOS 图像传感器

相机 CCD/CMOS 图像传感器是用于成像的，具体原理就不去了解了……
我们用的华睿（大华）工业相机的图像传感器类型是 CMOS。

四个坐标系总览

针孔相机模型，建立了四个坐标系：世界坐标系、相机坐标系、图像物理坐标系到和图像像素坐标系。

世界坐标系(World Coordinate)

由于摄像机与被摄物体可以放置在环境中任意位置，这样就需要在环境中建立一个坐标系，来表示摄像机和被摄物体的位置，这个坐标系就称为 世界坐标系。

在相机模型中，世界坐标系为 右手坐标系；对于别处模型的世界坐标系可能有所不同。

一般而言，世界坐标系原点是设立在识别到的物体上的；
如对于装甲板，是以其中心为原点，\(x\) 轴水平向右，\(y\) 轴竖直向下建立世界坐标系；
如对于棋盘图标定板，是以最左上角的角点为原点，\(x\) 轴水平向右，\(y\) 轴竖直向下建立世界坐标系。

总览中 \(O-X_WY_WZ_W\) 就是世界坐标系，上图为对于棋盘图标定板建立世界坐标系各个轴的朝向示例。

相机坐标系(Camera Coordinate)

相机坐标系 原点位于镜头光心处，\(x,y\) 轴分别与像平面的两边平行，\(z\) 轴为镜头光轴，与像平面垂直。

在相机模型中，相机坐标系为右手坐标系。

相机右手坐标系

总览中 \(O-X_CY_CZ_C\) 就是相机坐标系，右图为相机坐标系各个轴的朝向示例。

世界坐标系到相机坐标系

刚体变换不会改变形状，只改变朝向和位置，可用两个变量来描述：正交矩阵-旋转矩阵 \(R\)，三维平移向量 \(t\)；
这两系的转换就是是刚体变换。

\(R\) 为世界坐标系到相机坐标系的旋转矩阵；
\(t\) 为世界坐标系到相机坐标系的平移矩阵。

世界坐标系上一点 \((X_W, Y_W, Z_W)\)，转换为相机坐标系上一点的坐标为 \((X_C, Y_C, Z_C)\)；

那么世界坐标系到相机坐标系转换表达式就可以得出：

\[\begin{bmatrix} X_C \\ Y_C \\ Z_C \end{bmatrix} = R \begin{bmatrix} X_W \\ Y_W \\ Z_W \end{bmatrix} + t \]

转换为齐次形式：

\[\begin{bmatrix} X_C \\ Y_C \\ Z_C \\ 1 \end{bmatrix} = \begin{bmatrix} R & t \\ 0_{1 \times 3} & 1 \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \tag{1} \]

图像像素坐标系

表示三维空间物体在图像平面上的投影，坐标系反应了相机CCD/CMOS芯片中像素的排列情况；
其上的点称为像素，是离散化的。

其坐标系为二维，原点在图像传感器所成图像平面的左上角，\(u\) 轴水平向右，\(v\) 轴竖直向下；
图像像素坐标系中的坐标轴单位是像素 \(px\)（整数）。

总览中 \(O_0-uv\) 就是图像像素坐标系

图像物理坐标系

图像像素坐标系不利于坐标变换，因此需要建立图像物理坐标系。

坐标原点在图像传感器所成图像平面的中心，也是相机光轴与像平面的交点(称为主点)，即图像的中心点，\(x,y\) 轴分别平行于图像像素坐标系的 \(u,v\) 轴；
图像物理坐标系中的坐标轴单位通常为毫米 \(mm\) 。

总览中 \(O_1-xy\) 就是图像像素坐标系

图像物理坐标系到图像像素坐标系

很明显，这两个坐标系通过平移就可得到。

图像物理坐标系是以物理单位来描述一个点的位置的，轴上的数据单位为 \(mm\)；
图像像素坐标系是以像素单位来描述一个点的位置的，轴上的数据单位为 \(px\)；
也很显然，要使得这两个坐标系进行相互转换，同时需要解决单位一致的问题。

\(dx,dy\) 分别表示为像素在 \(x,y\) 轴方向上的物理尺寸，单位为毫米每像素 \(mm/px\)，其意义是 1 像素有多少毫米；
因此，图像物理坐标系上以 mm 为单位的一点 \((x, y)\)，转换为以 px 为单位就是 \((\cfrac{x}{dx}, \cfrac{y}{dy})\)。
图像物理坐标系原点 \(O_1\) 在图像像素坐标系上坐标为 \((u_0, v_0)\)。

图像物理坐标系上一点 \((x, y)\)，转换为图像像素坐标系上一点的坐标为 \((u, v)\)；

基于上述，有如下关系：

\[\begin{cases} u = \frac{x}{dx} + u_0 \\ v = \frac{y}{dy} + v_0 \end{cases} \]

转换为齐次坐标矩阵形式：

\[\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0 & \frac{1}{dy} & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} x \\ y \\ 1 \end{bmatrix} \tag{2} \]

孔成像原理

孔成像，成的是原像倒立的像；
建模时，为了使成的像是正立的，即不是倒立的像，会把成像平面前移；
因此，在一些资料中的相机成像模型，成像平面在光心的前面，而不是实际孔成像原理中，成像平面在光心的后面。

相机坐标系到图像物理坐标系

相机坐标系上一点 \((X_C, Y_C, Z_C)\)，转换为图像像素坐标系上一点的坐标为 \((u, v)\)；

根据孔成像原理，以及相似三角形，可以完成相机坐标系到图像物理坐标系的转换：

\[\begin{cases} \frac{x}{X_C} = \frac{f}{Z_C} \\ \frac{y}{Y_C} = \frac{f}{Z_C} \end{cases} \Rarr \begin{cases} Z_C \cdot x = f \cdot X_C \\ Z_C \cdot y = f \cdot Y_C \end{cases} \]

转换为齐次坐标矩阵形式：

\[Z_C \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} X_C \\ Y_C \\ Z_C \\ 1 \end{bmatrix} \tag{3} \]

世界坐标系到图像像素坐标系

世界坐标系上一点 \((X_W, Y_W, Z_W)\)，转换为图像像素坐标系上一点的坐标为 \((u, v)\)；

将式 \((2)(3)(1)\) 联立：

\[\begin{aligned} Z_C \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} & = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0 & \frac{1}{dy} & v_0 \\ 0 & 0 & 1 \end{bmatrix} Z_C \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} \\ & = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0 & \frac{1}{dy} & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} X_C \\ Y_C \\ Z_C \\ 1 \end{bmatrix} \\ & = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \\ 0 & \frac{1}{dy} & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} R & t \\ 0_{1 \times 3} & 1 \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \\ & = \begin{bmatrix} \frac{f}{dx} & 0 & u_0 & 0 \\ 0 & \frac{f}{dy} & v_0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} R & t \\ 0_{1 \times 3} & 1 \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \\ & = \begin{bmatrix} f_x & 0 & u_0 & 0 \\ 0 & f_y & v_0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}\begin{bmatrix} R & t \\ 0_{1 \times 3} & 1 \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \\ & = \begin{bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} R & t \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \\ & = K\begin{bmatrix} R & t \end{bmatrix}\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \\ & = P\begin{bmatrix} X_W \\ Y_W \\ Z_W \\ 1 \end{bmatrix} \end{aligned} \]

\(f_x = \frac{f}{dx},f_y = \frac{f}{dy}\) 称为 \(u,v\) 轴的尺度因子
\(K\) 称为相机的内部参数矩阵，简称相机内参
\(\begin{bmatrix}R & t\end{bmatrix}\) 称为相机的外部参数矩阵，简称相机外参
- \(R\) 为世界坐标系到相机坐标系的旋转矩阵
- \(t\) 为世界坐标系到相机坐标系的平移矩阵
\(P\) 为 \(3 \times 4\) 矩阵，称为投影矩阵

OpenCV中的相机内参矩阵有 4 个参数：\(f_x, f_y, u_0, v_0\)
MATLAB 标定时可选择标定参数为 5 个参数的结果，多了一个缩放因子 \(s\)；在一些资料中，内参矩阵会多出来一个 \(s\)

图像像素坐标系到相机坐标系

图像像素坐标系到相机坐标系，可以经图像物理坐标系进行转换；
即图像像素坐标系到图像物理坐标系，再由图像物理坐标系到相机坐标系。

图像像素坐标系上一点 \((u,v)\)，转换为图像物理坐标系上一点的坐标为 \((x,y)\)，转换为相机坐标系上一点的坐标为 \((x_C,y_C,z_C)\)；

根据式\((2)\)，可得：

\[\begin{cases} x = (u - u_0)dx \\ y = (v - v_0)dy \end{cases} \]

根据式\((3)\)，可得：

\[\begin{cases} z_C \cdot x = f \cdot x_C \\ z_C \cdot y = f \cdot y_C \end{cases} \]

设焦距为\(F\)，则\(z_C = F\)

联立两方程组可得：

\[\begin{cases} F \cdot (u - u_0)dx = f \cdot x_C \\ F \cdot (v - v_0)dy = f \cdot y_C \end{cases} \\ \Rarr \begin{cases} F \cdot (u - u_0) \frac{dx}{f} = x_C \\ F \cdot (v - v_0) \frac{dy}{f} = y_C \end{cases} \\ \Rarr \begin{cases} F \cdot (u - u_0) / \frac{f}{dx} = x_C \\ F \cdot (v - v_0) / \frac{f}{dy} = y_C \end{cases} \\ \Rarr \begin{cases} x_C = F \cdot (u - u_0) / f_x \\ y_C = F \cdot (v - v_0) / f_y \\ z_C = F \end{cases} \]