机器视觉系统有三大坐标系，分别是：1、世界坐标系，2、相机坐标系，3、像素坐标系。
Table of Contents
世界坐标系
世界坐标系（Xw，Yw，Zw）是目标物体位置的参考系，根据运算方便自由设置原点位置，如可以位于相机镜头中心或机械手的中轴，或AGV(Automated Guided Vehicle)的几何中心点等。其主要作用有：
（1）定义物体的三维坐标。
（2）标定的时候根据原点确定标定物的位置。
（3）给出相机坐标系相对于世界坐标系的位置，从而求出两个或多个相机之间的坐标关系。
相机坐标系
相机坐标系（Xc，Yc，Zc）是相机在自己角度上的坐标系，原点在相机的光心上，Z轴与相机光轴平行，即相机的镜头拍摄方向。
像素坐标系
像素坐标系（u，v）单位尺度为一个pixel，是离散图像坐标或像素坐标，原点在图片的左上角。
坐标系之间的关系
当我们在图片中确定了某个物体的位置，如何让机器手去到空间中的实际位置进行抓取呢？这就需要对坐标进行转换。而从像素点到空间点的转换与空间点到像素点的转换是相反的，我们先讲解后者的推导过程。
图像坐标系与像素坐标系
图像坐标系与像素坐标系的关系为：
其中：dx代表一个像素的宽度（x方向），与x同单位，x/dx表示x轴上有多少个像素，同理y/dy表示y轴上的像素个数，(u0，v0)是图像平面中心。如下图所示：
将上述关系转换为矩阵形式：
相机坐标系与像素坐标系
从相机坐标系到图像坐标系是一个三维坐标到二维坐标（3D->2D）的过程，称之为投影变换。为了求解它们之间的关系，将普通图像坐标（x，y）拓展为齐次坐标（x，y，1）。空间中的某点投影到图像平面上的点与相机的光心在一条直线上。以光心为原点建立相机坐标系：
根据相似三角形关系可以得到以下：
其中：f为相机焦距（相机光心到成像平面的距离）。
用矩阵形式表示为：
统一将成像平面上的点用(u，v)表示：
得到图像点与空间点的关系为：
世界坐标系与相机坐标系
世界坐标（Xw，Yw，Zw）与相机坐标（Xc，Yc，Zc）同为三维坐标（右手系，三轴互相垂直），两个坐标系的关系为刚体变换（刚体变换：当物体不发生形变时，对一个几何物体作旋转，平移的运动）。可以先凭空想象下，有两个坐标系A与B，如何将A坐标系下的坐标转换到B坐标系表示，首先将A坐标系以原点为基准任意旋转，使其x轴，y轴，z轴与B坐标轴平行且同方向，接着平移AB坐标系原点的直线距离，就可以将A坐标系下的坐标转换到B坐标系，这个旋转与平移就是需要求得的两个三维坐标之间的关系。
用以下等式表示两个坐标系之间的关系：
其中：旋转矩阵R可以看成空间坐标分别沿着X，Y，Z轴的三个旋转矩阵点乘得到的结果。
当绕Z轴旋转θ角度，新旧坐标的关系为：
用矩阵表示为：
同理，绕X轴，Y轴旋转φ和ω角度，可以得到：
于是，得到旋转矩阵R = R1xR2xR3，维度为3X3，T为平移矩阵，维度为3X1。
拓展为齐次坐标：
从世界坐标到像素坐标
综合上面推导的过程，世界坐标(Xw，Yw，Zw)—>相机坐标(Xc，Yc，Zc)—>图像坐标(x，y)—>像素坐标(u，v)，以上顺序用矩阵表示为不断左乘下一步，即：
等式右边的前两个矩阵称的乘积为相机内参，第三个矩阵称为相机外参，对相机标定，就是为了求解相机的内外参数。
相机内参和外参详解
相机内参参数
内参参数包括焦距、偏心系数和倾斜系数。
（1）焦距：焦距是镜头焦点与传感器之间的距离，它将RGB摄像机的3D点投影到摄像机中的2D图像平面上。
（2）偏心系数：是指在摄像机组装过程中由于镜头元件错位引起的偏移。
（3）倾斜系数：当2D图像平面倾斜，即x轴和y轴之间的角度不是90度时，需要另一种转换，即从矩形平面到倾斜平面的转换（在图像到像素坐标转换之前）。假设x轴和y轴之间的角度为θ，则点从矩形平面到倾斜平面的转换可以如下进行。
我们可以将内参矩阵分解为一系列缩放和平移的变换，分别对应于轴倾斜、焦距和偏心系数。
其中：fx, fy: 像素焦距；s: 倾斜系数；cx, cy: 偏心系数。
相机外参参数
外参表示ToF(Time-of-Flight) 相机和RGB相机之间的相对位置和方向，由3D旋转和3D平移组成。在ToF坐标系中表示为pToF(XToF, YToF, ZToF)的点，经过转换后在RGB坐标系中表示为PRGB(XRGB, YRGB, ZRGB)。
总的来说，对于ToF摄像机中的对象位置PToF(XToF, YToF, ZToF)，通过内参矩阵和外参矩阵可以计算出RGB摄像机中的位置p(x, y, z)。
深度图转换成点云图
点云转换矩阵是将深度图像中的每个像素点转换为三维空间中的点，形成点云的一种方法。点云转换需要用到相机内参，常见的点云转换矩阵公式如下:
其中：
(u，v)是深度图像中的像素坐标。
X，Y，Z 是三维空间中的点坐标。
cx, cy是相机光心(主点)坐标。
fx, fv是相机的焦距。
通过应用这个矩阵，每个像素点都可以被映射到三维空间中，形成一个完整的点云图。
