Vzense NYX系列ToF相机托盘识别场景测试

Table of Contents

背景介绍

随着技术的发展，3D ToF（Time-of-Flight）相机已广泛应用于各类AGV和自动叉车的托盘自动识别领域，并且3D ToF相机具有性价比高，实时性好，对系统算力要求低，且适合运动中的场景捕捉等特点。3D ToF相机可以通过采集托盘图像，结合相应图像处理算法，对叉车货物托盘进行识别，并得到其位置与姿态坐标，智能调整进叉方向，从而实现无人化智能托盘搬运，解决无人叉车对接托盘位置偏移角度较大的问题。
在实际应用场景中，托盘的材质和颜色多种多样，不同的材质、颜色对ToF相机的成像效果会有比较显著的影响。方便客户更直观看出它们的影响，我们选择了黑色塑料托盘、蓝色塑料托盘、木质托盘、镀锌金属托盘等几种比较常见且具有代表性的托盘类型，选择基于P-ToF(Pulse-indirect Time-of-Flight)工作原理并且具有动态范围宽特性的NYX系列相机进行测试，结合室内、室外不同环境光的场景，记录了NYX系列ToF相机的成像表现。

NYX系列产品

Vzense NYX系列包含NYX650，NYX660两款产品，采用脉冲ToF技术原理，具有信噪比高、抗光性强、动态范围宽，防止过周期，可多机共存等特点。其脉冲ToF技术搭配全局快门曝光镜头，更易捕捉快速运动物体轨迹，户外抗光性更强，室外场景适应性更好。相机采用工业级标准设计，可靠性、稳定性高。相机底部双向安装螺孔设计，便于结构集成固定。可选航空插头的防水设计，支持IP67高防护等级。

测试条件

目标物体：黑色塑料托盘、蓝色塑料托盘、木质托盘、镀锌金属托盘。
测试相机：随机选择1台已完成标定的NYX650相机，标定时，采用80cmx80cm 40%平面反射率的灰色标定板。NYX660的成像性能与NYX650是完全相同，因此NYX650的表现可以代表NYX660。
相机位置：相机用高度305mm的支架固定，放置在地面上，如下图所示：

相机设置：默认设置，相机预热20分钟。
成像环境：
1、室内环境温度22°C，光线强度约为200Lux。
2、室外环境温度22°C，光线强度约为64000Lux。

托盘识别场景测试数据

黑色塑料托盘

保存的数据和图像类型：RGB图，点云图。
测试目标：黑色塑料托盘。
测试环境：
1、室内，光强约200lux，距离相机1m。
2、室外，光强约64000lux，距离相机2m。
相机参数设置：如下图所示：

参数设置说明：
曝光时间：黑色物体的反射率较低，很容易出现反射回ToF镜头的光线强度不足，从而无法有效成像。通过增加曝光时间的方式，可以提高黑色物体的反射光强度，从而改善黑色物体的成像问题。
置信滤波阈值：黑色物体的反射率较低，会导致信噪比过低而无法测量物体距离。
不同距离的测试图像及测试结果显示：
1、室内距离目标物体1m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 indoor 1m black plastic pallet by Vzense on Sketchfab

2、室外距离目标物体2m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 outdoor 2m black plastic pallet by Vzense on Sketchfab

蓝色塑料托盘

保存的数据和图像类型：RGB图，点云图。
测试目标：蓝色塑料托盘。
测试环境：
1、室内，光强约200lux，距离相机1m。
2、室外，光强约64000lux，距离相机2m。
相机参数设置：如下图所示：

参数设置说明：
通常情况下，蓝色、黄色、绿色等颜色物体的反射率都在相机比较适宜的工作范围内。用户在使用时，可以采用相机的默认参数，也可以根据实际情况，适当调整曝光时间和滤波参数。调整时，可以结合点云图观察，选择用户认为较为满意的参数即可。
不同距离的测试图像及测试结果显示：
1、室内距离目标物体1m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 indoor 1m blue plastic pallet by Vzense on Sketchfab

2、室外距离目标物体2m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 outdoor 2m blue plastic pallet by Vzense on Sketchfab

木制托盘

保存的数据和图像类型：RGB图，点云图。
测试目标：木制托盘。
测试环境：
1、室内，光强约200lux，距离相机1m。
2、室外，光强约64000lux，距离相机2m、3m。
相机参数设置：如下图所示：

参数设置说明：
木质托盘对光线的反射率在ToF相机适宜的工作范围内。用户在使用时，可以采用相机的默认参数，也可以根据实际情况，适当调整曝光时间和滤波参数。调整时，可以结合点云图观察，选择用户认为较为满意的参数即可。
不同距离的测试图像及测试结果显示：
1、室内距离目标物体1m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 indoor 1m wooden pallet by Vzense on Sketchfab

2、室外距离目标物体2m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 outdoor 2m wooden pallet by Vzense on Sketchfab

3、室外距离目标物体3m处测试，RGB图像和点云图如下所示：

NYX650/NYX660 outdoor 3m wooden pallet by Vzense on Sketchfab

镀锌金属托盘

保存的数据和图像类型：RGB图，点云图。
测试目标：镀锌金属托盘。
测试环境：
1、室内，光强约200lux，距离相机1m。
2、室外，光强约64000lux，距离相机2m、3m。
相机参数设置：如下图所示：

参数设置说明：
镀锌金属托盘表面的反射率高，有近似镜面的反射效果，ToF相机的光线照射到托盘表面时，正对相机的部位反射光线较强，因此，在设置参数时，曝光时间不宜过长；而其他部位因入射角度大则容易将光线反射到远处，导致相机接收的光线强度不足，不能有效成像，降低置信度滤波、飞点滤波的阈值可获得更多的有效点云。
不同距离的测试图像及测试结果显示：
1、室内距离目标物体1m处测试，RGB图像和点云图如下所示：