Table of Contents
背景介绍
随着机器视觉技术的逐步发展,采用3D 相机进行物体识别、行为识别的相关应用越来越多,可以说3D相机就是终端和机器人的眼睛。3D相机又称之为深度相机,顾名思义,就是通过该相机能检测出拍摄空间的景深距离,这也是3D相机与普通摄像头最大的区别。
目前市面上常用的深度相机方案有以下三种。
(1)结构光(Structured-light),代表公司有Apple Prime Sense,奥比中光,梅卡曼德等。
结构光就是通过投射器投射到被测物体表面的主动结构信息,如激光条纹、格雷码、正弦条纹等;然后,通过单个或多个相机拍摄被测表面即得结构光图像;最后,基于三角测量原理经过图像三维解析计算从而实现三维重建。
(2)双目视觉(Stereo),代表公司有Intel RealSense,梅卡曼德,大疆;
(3)光飞行时间法(ToF),代表公司Vzense,Microsoft Kinect,Lucid,Basler等。
本文选择了Intel Realsense D435、Vzense DS86两款产品,并结合不同场景,对这两款3D相机的成像效果进行了评测。
产品介绍
Realsense D435是Intel公司出品的一款基于双目视觉技术的3D相机,具备高质量的深度感知能力,其设计小巧,产品长宽高仅为90 mm × 25 mm × 25 mm,测量范围为03.-3米。硬件要求低,成本也低,普通 CMOS 相机即可。室内外都适用。只要光线合适,不要太昏暗。RealSense D435的应用场景主要包括增强现实(AR)、虚拟现实(VR)、机器人导航、物体识别以及自动驾驶等领域。
DS86是由Vzense推出的DS系列相机中的一款,DS系列是基于SONY最新款连续波ToF芯片IMX570研发的RGBD相机,采用了940nm的红外光线,兼容室内和室外的场景。Vzense DS系列相机采用工业级标准设计,可靠性高,数据稳定性好,分辨率高,精度好;户外抗光性强,可适用于室外场景;具有双向安装螺孔,便于结构集成固定;可选航空插头的防水设计,支持IP67高防护等级;支持大广角镜头定制。DS系列相机适用的核心场景包括AGV/AMR 的托盘识别与避障,拆码垛、动态抓取与分拣,物流领域中的单件分离和仓库的货位检测,工业自动化领域的图形辅助、安全围栏,智慧农业领域的果蔬识别与摘取,客流统计与行为分析等。
产品参数对比
型号 | Vzense DS86 | Realsense D435 |
传感器/ISP | Sony DepthSense ToF CMOS | Intel® RealSenseTM Vision Processor D4 |
激光发射器 | 940nm VCSEL x 2 | 850nm VCSEL |
ToF /Depth 分辨率/帧率 | 640×480, Max.15fps | 1120×720,Max. 90fps |
ToF HDR 模式 | 支持最高 10fps | — |
ToF视场角 FoV | 67°(H)x50°(V) | 87°(H)x58°(V) |
RGB 传感器规格 | 1600×1200,全局曝光, 70°(H)50°(V) | 1920×1080,卷帘曝光, 69°(H)42°(V) |
数据输出格式 | 16bit (Depth) + 8bit (IR) + JPEG (RGB) | 16bit (Depth)+PNG(RGB) |
通信协议 | 以太网(1000M) | USB3 |
物理接口 | RJ45 | USB3 |
供电及功耗 | 12V~24V (DC),7W | 5V USB Type-C |
精度误差 | <1% | <2% at 2 m |
检测距离 | 0.15m ~ 5m | 0.3m ~ 3m |
工作温度 | -20°C ~ +50°C | 0°C ~ +35°C,外壳最高44℃ |
操作系统与平台 | Windows/Linux/Arm Linux/ROS | Linux \ Windows \ Mac OS \ Android \ Docker |
开发语言与 Wrapper 支持 | C/C++/C#/Python | C/C++/C#/.NET /Python / LabVIEW, OpenCV, PCL, Unity, Matlab, OpenNI, UnrealEngine4 |
IP 防护等级 | IP42(可选配IP67) | — |
认证和测试 | CE, FCC, FDA | FDA |
通过参数对比可以发现,D435在深度图像分辨率、帧率、视场角和支持的操作系统与平台、Wrapper支持等方面是优于DS86的。D435在操作系统、Wrapper等方面的优势,使用户在做具体应用方案时可以更自由地选择,有更多的发挥空间。但其在工作温度方面的要求极为严苛,尤其是工业生产领域的现场很多都不能满足0~35℃这样的要求。另外,对数据稳定性要求高的应用,也很难选择这款相机。
而DS86在精度、测量距离、防护等级、通讯协议、工作温度等方面则是优于D435的。DS86在工作温度、防护等级及千兆以太网的数据传输稳定性等方面的优势,使其可以在工业自动化等工况恶劣的领域得到广泛应用,如自动叉车的托盘识别、拆码垛、机械加工车间的工件识别和分选等场景
产品性能对比
Vzense DS86 | Realsense D435 | |
精度 | 高 | |
抗干扰 | 强 | |
抗光性 | 强 | |
功耗 | 低 | |
分辨率 | 高 | |
防护等级 | 高 | |
大广角定制 | 支持 | |
时效性 | 高 | |
算法复杂度 | 低 | |
测量范围 | 大 | |
FoV | 大 | |
操作系统与平台 | 多 | |
传输稳定性 | 强 |
通过性能对比可以发现,D435的深度传感器视场角(FoV)为87° × 58°,最大像素尺寸为1280×720,其宽视场非常适合机器人或增强现实和虚拟现实等应用,在这些应用中,尽可能扩大场景视角至关重要。D435的深度传感器还采用了全局曝光,最大帧率可达90fps,更有利于对快速运动物体的捕捉。
而DS86在精度、测量距离、防护等级、通讯协议、工作温度等方面则是优于D435的。ToF传感器测量精确快速,能够在短时间内准确地检测物体。ToF技术的精度稳定不随距离变化而变化,这一特性使得它在远距离测量中也能保持较高的精度。ToF技术抗干扰能力强不受表面灰度和特征的影响,并且不受湿度,气压和温度的影响,这意味着它在各种环境下都能保持较好的性能。ToF相机采用主动红外光源,环境光适应性强,在暗光或无光环境下可正常工作,并且具有良好的抗强光能力,使其适合于室内和室外使用。
对比测试
本文选择了多个场景对两款相机进行了测试,包括室内和室外环境,室内环境测试了近距离的白色雕塑、黑色纸盒,黑色和蓝色托盘,室外环境测试了蓝色塑料桶(带白色标签)。以上场景具有比较好的代表性,基本覆盖了3D相机常见的场景情况。
白色雕塑
测试环境:室内环境光,约200lux。
测试距离:0.5m。
测试目标:如下图所示:
图像对比:Realsense D435 VS. Vzense DS86
Realsense D435 | Vzense DS86 | |
深度图 | ||
点云图 |
测试说明:
在白色雕塑的轮廓边缘,D435的识别表现良好,能够与背景图像有比较清晰的分割,但在白色雕塑本身的深度信息方面,像素间的深度差异表现不理想。为使其表现能更好地呈现出来,这里选择了彩色点云图做比较。但即便是用彩色点云图,雕塑的图像仍显得较为模糊。DS86的表现则明显优于D435,无论是雕塑和背景的分割,还是雕塑自身都是非常清晰的。但DS86在桌面和背景板的夹角处,有非常明显的多径干扰,以至于桌面看起来是向下弯曲的。
黑色盒子
测试环境:室内环境光,约200lux。
测试距离:0.5m。
测试目标:如下图所示:
图像对比:Realsense D435 VS. Vzense DS86
Realsense D435 | Vzense DS86 | |
深度图 | ||
正向点云图 | ||
俯视点云图 |
测试说明:
在黑色物体的测试表现上,DS86的表现优于D435,尤其是从俯视点云图来看,D435的点云图变形非常明显,已经明显失真;而DS86则能够比较好地表现出黑色盒子的真实形状,包括盒子凹陷部分的表现也比较完整,没有明显的多径反射,这是因为黑色物体的光线折射率低,因而多径反射不明显。
尽管DS86的整体成像效果很好,但DS86得到的盒子表面深度值的波动较大,表现为俯视图的盒子表面厚度很厚,而DS435得到的盒子表面的深度值变化相对较小。此外,在桌面夹角处,DS86的多径干扰非常明显,桌面明显下凹,桌面背景板的两侧也略有向后弯曲。
蓝色托盘
测试环境:室内环境光,约200lux。
测试距离:1.5m
测试目标:如下图所示:
图像对比:Realsense D435 VS. Vzense DS86
Realsense D435 | Vzense DS86 | |
深度图 | ||
正向点云图 | ||
侧向点云图 |
测试说明:
从D435的侧向点云图可以明显地观察到,托盘的形状失真严重,深度图和正向点云图的表现也很一般,其图像质量对于托盘识别来说有不小的困难。而DS86则能很好地表现出托盘的特征信息,图像质量远高于D435。
但在托盘前方的地面上,可以观察到明显的多径干扰现象。这是因为一方面蓝色塑料托盘的表面非常光滑,对光线反射率高,另一方面地面也非常光滑,反射率也很高(从测试目标的图片可以明显观察到地面的高亮反光),从而造成了非常明显的多径现象。但这里的多径干扰在托盘识别过程中可以很容易地过滤掉,不会影响识别效率。
黑色托盘
测试环境:室内环境光,约200lux。
测试距离:1.5m。
测试目标:如下图所示:
图像对比:Realsense D435 VS. Vzense DS86
Realsense D435 | Vzense DS86 | |
Depth map | ||
正向点云图 | ||
侧向点云图 |
测试说明:
从深度图和正向点云图来看,D435对于黑色托盘的表现略优于蓝色托盘的表现,但从侧向点云图来看,黑色托盘的形状失真很严重,对于托盘识别来说,图像质量依然不足。 而DS86仍然能很好地表现出托盘的特征信息,图像质量远高于D435。而且,与蓝色托盘的测试相比,黑色托盘前方的地面,多径干扰现象明显减轻,这与黑色托盘的低反射率是相关的。
户外蓝色塑料桶
测试环境:室外阳光,约87000lux。
测试距离:1.5m。
测试目标:如下图所示:
图像对比:Realsense D435 VS. Vzense DS86
Realsense D435 | Vzense DS86 | |
深度图 | ||
正向点云图 | ||
侧向点云图 |
测试说明:
从D435的深度图和正向点云图来看,背景信息对蓝色塑料桶的深度值产生了明显的影响,尤其在接近地面处的影响更为严重,应该是投射到地面的树荫和塑料桶的阴影导致D435在寻找特征点上产生了困难。另外从侧向点云图可以看出,塑料桶的表面深度质量很差,深度值波动大,不能正确反应塑料桶表面的真实信息。
DS86的深度图,无论从点云密度和点云质量上,均优于D435,且基本不受环境光影响。但在塑料桶的表面,白色标签纸与蓝色桶的光线反射率差异大,造成标签纸和蓝色桶表面深度值的相对差异大于真实情况。
测试总结
两款相机相比,D435的设计小巧精致,功耗较低,DS86体积较大,功耗也相对较大,在与其他设备集成安装方面,D435会更友好一些。在上述测试环境条件下,Vzense DS86 ToF相机的三维图像质量表现均超过了Intel Realsense D435的表现。
随着技术的发展,ToF技术的表现越来越好,已经超过了双目视觉技术的表现。但测试中也反应出了ToF技术的多径干扰缺陷,即在待测物体有明显的凹形或对角时,ToF传感器可能会因多径干扰而使测量结果失真,待测物体的反射率越高,多径干扰会越明显。另一方面,如果被测物体存在光线反射率差异很大的不同表面时,DS86测得的深度值的相对误差会变大。在实际应用中,如果这种误差影响到目标的识别和判断,需要通过补偿算法加以修正。
此外,ToF技术的原理决定,在有很强的红外光线干扰的环境下,ToF相机是不适用的。例如在一些有高温物体的特殊场景中,如铸造、锻造等工业生产的现场,高温的铸造铁水或锻造钢坯会发出很强的红外光线,对ToF 3D相机造成的干扰过强,使其无法正常成像,这种环境下,双目相机可能会更适用一些。与双目视觉技术相比,ToF的成本相对较高,这也限制了ToF技术在一些场景中的应用。但随着产业链的不断发展,ToF技术的成本也在逐步降低。
综上所述,在虚拟现实、增强现实和机器人等消费市场领域,D435的优势会更多一些,而DS86则对于要求更严苛的工业领域的适应性更强,可以广泛应用于托盘识别与避障,拆码垛、动态抓取与分拣等场景,用户可以根据需要的场景进行选择产品。