超级干货！RoboView 技术篇之 3D 视觉

　　从手机解锁、支付消费到工厂的生产应用，3D 视觉已经深入到生活的方方面面。那到底什么是3D 视觉。它在仙工智能视觉 AI 解决方案中又扮演着什么角色?

　　今天零化身科普小达人

　　一文带你看懂 3D 视觉!

　　3D视觉与2D视觉的技术差异

　　3D 视觉与 2D视觉技术的最大区别在于处理的数据类型不同。在 3D 视觉领域，被处理的对象通常是依靠 3D 传感器采集到的三维点云数据，而 2D 视觉技术主要被用于处理平面图像里的信息。这决定了 3D 视觉不仅能够感知场景中物体的有无，还能够准确的感知到物体离我们距离远近、尺寸大小和位置朝向。

　　搭配上 RoboView Server 算法平台，AMR 就可以拥有像人眼一样能够真实感知物体的三维尺寸信息的视觉，更好地实现2D视觉无法实现或者不好实现的功能。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107641.png" align=center>

　　RoboView 如何通过 3D 视觉实现这些功能

　　虽然 3D 成像技术在不断发展，但目前依然没有具备抗环境光干扰能力强、成像距离远、测距精度高、分辨高和成本低等优点于一身的 3D 传感器。

　　因此，目前 3D 视觉的应用还是依据具体的使用场景和预算来选择相机，然后根据相机成像结果来定制性的进行算法开发。这种成本高、周期久的应用模式严重限制了 3D 视觉在实际场景中的使用。

　　本着以标准化产品支撑非标应用的思维，RoboView 的3D 视觉模块对过往3D视觉非标项目进行总结性分析，六大基本操作流程，就像生产线上的六道基本工序一样对 3D 视觉数据进行分解、处理和分析，最终得到我们想要的信息。

　　第一步-数据采集

　　3D 数据采集流程主要工作是获取场景的 3D 信息，该流程对外面对的是不同品牌和型号的 3D 传感器接口，对内是输出同一格式的 3D 视觉数据。实现了对外整合和对内的统一。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107901.png" align=center>

　　第二步-数据标定

　　数据标定主要工作是建立3D 传感器与真实场景之间的联系，将3D传感器看到的事物与真实场景中存在的事物建立一一对应关系。完成数据标定过程，我们就可以将3D视觉数据分析出来的结果反馈到到真实场景中。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107751.png" align=center>

　　第三步-数据滤波

　　数据滤波过程相当于对采集到的3D信息进行一次初略的清洗，去除与后续分析对象无关的信息，可以方便我们更加聚焦在需要处理的对象上。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107821.png" align=center>

　　第四步-场景分割

　　场景分割是对3D数据进行降维处理，将滤波后的3D视觉数据根据其结构特征及纹理差异分割成平面、连续曲面等一系列简单结构的3D视觉数据。通过将场景内的3D视觉数据分割成一块块简单结构特征，可以有效的避免两个不同对象干扰后期的目标识别结果。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107991.png" align=center>

　　第五步-目标识别

　　目标识别就是确定目标物体在场景中的位置和姿态，利用目标识别算法准确的识别场景中的货物所在位置为后续数据评估提供基础。识别出货物的位置与姿态也可以用来引导机器人对货物进行叉取转运。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107871.png" align=center>

　　第六步-数据评估

　　准确识别出场景中的货物后，数据评估流程就可以评估货物的长、宽、高等尺寸信息，进而分析出货物堆叠层高、货物类型等深层次信息。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107971.png" align=center>

　　RoboView 3D 视觉提供功能

　　1、障碍物检测

　　3D 视觉下，无惧阴影和视线遮挡等，有效减少误警问题，大幅提升应急通道障碍物检测功能的准确性。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107791.png" align=center>

　　2、库位管理

　　带有 3D 视觉的库位管理，不仅可以准确管理库位内货物有无信息，更高级的货物尺寸信息、堆叠层高和货物摆放位姿等信息。这些深层次的信息为后续的高层级应用如目标检测，AGV 调度等深层次的库位管理功能提供了可能。

nload="javascript:if(this.width>500)this.width=500" border=0 alt="" src="http://www.znzbw.cn/file/upload/202111/12/171107481.png" align=center>

　　除此之外，仙工智能视觉 AI 解决方案-RoboView 为客户提供覆盖生产、安全、管理等环节下众多应用的视觉 AI 解决方案。解决方案涵盖前期调研、中期研发、落地和后期的产品维护和升级，助力客户提高生产效率，加速完成智能化生产。