本发明专利技术公开一种三维定位方法、采集装置和系统，系统包括工业相机、深度相机和上位机；上位机获取工业相机检测得到的待测物体在所处场景中的平面坐标和相对角度信息，以及深度相机检测得到的待测物体在所处场景中的相对高度信息；根据获取到的信息，利用预先训练的三维信息分类模型，得到待测物体的物料类型以及在所处场景中的位置区域信息；其中，所述预先训练的三维信息分类模型的训练样本为对应多个物料类型的物体，在多个不同位置、转动角度下的三维坐标信息。本发明专利技术通过利用工业相机与深度相机结合，实现对待测物体的三维检测，提高检测实时性和准确性。高检测实时性和准确性。高检测实时性和准确性。
【技术实现步骤摘要】
一种工业相机与深度相机结合的三维定位方法、装置和系统
[0001]本专利技术涉及计算机视觉检测
，特别是一种工业相机与深度相机结合的三维定位方法、装置和系统。
技术介绍
[0002]无论在生产，运输，交通等领域，对于物体的三维定位都有一定的要求。现在使用的方法中，使用人工检测费时费力且检测效果并不理想，基于二维特征匹配的定位缺少三维信息的支持，需要人员或三维检测设备的配合才能进行。但三维信息采集中使用的线激光扫描方法即时性不佳；可见结构光容易受外界光照干扰，不适用于复杂的使用环境；点激光测距则需要将二维匹配与深度检测分为前后两个步骤进行，过程较繁琐，检测效率不高。
技术实现思路
[0003]本专利技术的目的是提供一种三维定位方法、采集装置和系统，利用工业相机与深度相机结合，实现对待测物体的三维检测，提高检测实时性和准确性。本专利技术采用的技术方案如下。
[0004]一方面，本专利技术提供一种三维定位方法，包括：获取工业相机检测得到的待测物体在所处场景中的平面坐标和相对角度信息；获取深度相机检测得到的待测物体在所处场景中的相对高度信息；根据所述平面坐标、相对角度信息和相对高度信息，确定预先训练的三维信息分类模型的输入数据，得到三维信息分类模型输出的待测物体的分类结果信息，所述分类结果信息包括待测物体的物料类型以及在所处场景中的位置区域信息；其中，所述预先训练的三维信息分类模型的训练样本为对应多个物料类型的物体，在多个不同位置、转动角度下的三维坐标信息。
[0005]可选的，方法还包括：将分类得到的位置区域信息与预先构建的物料类型对应的物料模板进行匹配，得到待测物体在所处场景中的相对角度和缩放因子信息。这些信息的获取能够便于外部控制环节的信息传输与流程处理。
[0006]可选的，工业相机检测得到待测物体在所处场景中的平面坐标和相对角度信息包括：工业相机采集待测物体所处场景的图像数据信息；工业相机基于所述图像数据信息，利用预先构建的对象模板进行模板匹配，得到匹配成功的待测物体在场景中的平面坐标和角度信息；其中，所述对象模板的构建方法包括：采集待测对象在多种光照、背景下的图像样本，对卷积神经网路进行训练，得到对象模板。
[0007]工业相机采集的图像数据信息主要为色彩信息以及外部环境光信息。
[0008]可选的，深度相机检测得到待测物体在所处场景中的相对高度信息包括：深度相机采集待测物体所处场景的三维形貌信息；
深度相机基于待检对象视场深度图与预先采集的背景视场深度图，通过差分计算得到高度变化差分图，即得到相对高度信息。
[0009]可选的，所述平面坐标和相对角度信息以及相对高度信息，为工业相机与深度相机之间光轴相互平行状态下检测得到。
[0010]可选的，所述根据所述平面坐标、相对角度信息和相对高度信息，确定预先训练的三维信息分类模型的输入数据为：根据预先对工业相机和深度相机进行标定得到的相对位姿内外参关系，将平面坐标、相对角度信息和相对高度信息，转换为RGB
‑
法向量数据，作为三维信息分类模型的输入。
[0011]具体即：将从工业相机和深度相机所得的信息，转化为配准的带色彩信息的点云数据，即RGB
‑
D数据（RGB和深度数据），将深度信息数据转化为法向量数据，从而转化数据至4元数形式。法向量数据的转换方式是对深度图计算梯度方向，得到的数据即为物体表面的法向量数据。
[0012]第二方面，本专利技术提供一种用于第一方面所述三维定位方法的采集装置，包括壳体以及安装于壳体内的工业相机和深度相机；所述工业相机和深度相机通过安装支架固定安装于壳体内，且工业相机与深度相机之间光轴相互平行；壳体上对应工业相机和深度相机的取景窗分别设有通孔。
[0013]第三方面，本专利技术提供一种三维定位系统，包括工业相机、深度相机和上位机；所述工业相机与深度相机在光轴相互平行的状态下分别采集待测物体所处场景的平面坐标、相对角度信息，和相对高度信息，传输至上位机；所述上位机执行第一方面所述的三维定位方法，对待测物体进行定位。
[0014]可选的，工业相机通过GigE接口与上位机连接通信，深度相机通过USB3.0接口与上位机连接通信；上位机主体采用具备千兆网口与USB3.0接口的工控机。
[0015]有益效果本专利技术利用工业相机与深度相机进行结合采集待测物体的三维信息，作为定位依据，利用预先训练的三维信息分类模型，得到三维信息分类模型输出的待测物体的物料类型以及在所处场景中的位置区域信息，不仅解决了现有技术中仅基于二维图像进行识别定位，受到环境光以及物体表面材质信息影响的问题，又通过二维图像信息解决了现有三维检测过程中由于深度信息对样本间分界线的不敏感，从而导致的无法对密集排列样本进行检测的问题，能够提高检测实时性和准确性。
附图说明
[0016]图1所示为工业相机与深度相机取景及处理原理流程示意图；图2所示为采集装置结构示意图；图3所示为三维定位系统原理架构示意图。
具体实施方式
[0017]以下结合附图和具体实施例进一步描述。
[0018]本专利技术的技术构思为：利用工业相机与深度相机的结合，对待测物体同时获取二
维图像信息以及深度信息，进而进行待测物体的定位检测，同时解决现有技术中仅基于二维图像进行识别定位，受到环境光以及物体表面材质信息影响的问题，以及现有三维检测过程中由于深度信息对样本间分界线的不敏感，从而导致的无法对密集排列样本进行检测的问题。
[0019]实施例1本实施例介绍一种三维定位系统，参考图3所示，系统包括工业相机、深度相机和上位机；工业相机与深度相机在光轴相互平行的状态下分别采集待测物体所处场景的平面坐标、相对角度信息，和相对高度信息，传输至上位机；上位机根据接收到的信息，对待测物体进行定位。
[0020]本实施例中，工业相机通过GigE接口4与上位机连接通信，深度相机通过USB3.0接口与上位机连接通信；上位机主体采用具备千兆网口与USB3.0接口的工控机。
[0021]如图2所示，本实施例中工业相机与深度相机组合而成的采集装置，包括壳体1以及安装于壳体内的工业相机3和深度相机5；工业相机和深度相机通过安装支架2固定安装于壳体1内，且工业相机与深度相机之间光轴相互平行；壳体上对应工业相机和深度相机的取景窗分别设有通孔。
[0022]壳体1与安装支架2之间采用M2.5螺栓螺母进行固定，固定表面为壳体1的正反面，安装支架2与工业相机3之间采用M2螺丝固定，工业相机表面包含螺孔，安装支架3下表面与工业相机背面固定。深度相机5与安装支架2之间采用M2螺丝固定，深度相机5的上表面与安装支架2的下表面贴合。
[0023]工业相机采集的图像数据信息主要为色彩信息以及外部环境光信息。工业相机检测待测物体在所处场景中的平面坐标和相对角度信息的方法包括：工业相机采集待测物体所处场景的图像数据信息；工业相机基于所述图像数据信息，利用预先构建的对象模板进行模板匹配，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维定位方法，其特征是，包括：获取工业相机检测得到的待测物体在所处场景中的平面坐标和相对角度信息；获取深度相机检测得到的待测物体在所处场景中的相对高度信息；根据所述平面坐标、相对角度信息和相对高度信息，确定预先训练的三维信息分类模型的输入数据，得到三维信息分类模型输出的待测物体的分类结果信息，所述分类结果信息包括待测物体的物料类型以及在所处场景中的位置区域信息；其中，所述预先训练的三维信息分类模型的训练样本为对应多个物料类型的物体，在多个不同位置、转动角度下的三维坐标信息。2.根据权利要求1所述的方法，其特征是，还包括：将分类得到的位置区域信息与预先构建的物料类型对应的物料模板进行匹配，得到待测物体在所处场景中的相对角度和缩放因子信息。3.根据权利要求1所述的方法，其特征是，工业相机检测得到待测物体在所处场景中的平面坐标和相对角度信息包括：工业相机采集待测物体所处场景的图像数据信息；工业相机基于所述图像数据信息，利用预先构建的对象模板进行模板匹配，得到匹配成功的待测物体在场景中的平面坐标和角度信息；其中，所述对象模板的构建方法包括：采集待测对象在多种光照、背景下的图像样本，对卷积神经网路进行训练，得到对象模板。4.根据权利要求1所述的方法，其特征是，深度相机检测得到待测物体在所处场景中的相对高度信息包括：深度相机采集待测物体所处场景的三维形貌信息；深度相机基于待检对象视场深度图与预先采集的背景视场深度图，通过差分计算得到高度变化差分图，即得到...
【专利技术属性】
技术研发人员：林斌，邓启寰，
申请(专利权)人：苏州江奥光电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。