复杂结构体的RGB-D视觉定位系统及方法技术方案

本发明专利技术公开复杂结构体的RGB‑D视觉定位系统及方法，其将目标图像与模板图像作归一化处理，实现数据降维，以使计算效率提高。归一化之后作相似性对比，选出k组（k为大于1的整数）得分最高的模板，再按其视点位置进行评估分组，以应对旋转对称物体的情况，最后在小角度范围内对目标点云做微调，最终找到最佳匹配角度，经过逆向运算，可得到物体的六座标位姿。本发明专利技术的有益效果在于：在不增加成本的情况下，通过算法的创新，使RGB‑D定位方法有了更好的鲁棒性、对物体形状及位姿也有了更广的适应性。

Rgb-d vision positioning system and method for complex structure

The invention discloses an RGB \u2011 D visual positioning system and method for complex structures, which normalizes the target image and the template image, realizes data dimensionality reduction, and improves the calculation efficiency. After normalization, make similarity comparison, select the template with the highest score in Group K (k is an integer greater than 1), then evaluate and group it according to its viewpoint position, so as to deal with the situation of rotationally symmetric objects. Finally, fine tune the target point cloud in a small angle range, and finally find the best matching angle. After reverse operation, the six coordinate pose of the object can be obtained. The invention has the advantages that: without increasing the cost, the RGB \u2011 D positioning method has better robustness and wider adaptability to the shape and pose of the object through the innovation of the algorithm.

【技术实现步骤摘要】
复杂结构体的RGB-D视觉定位系统及方法
本专利技术涉及机器视觉领域，特别是一种复杂结构体的RGB-D视觉定位系统及方法。
技术介绍
请参见图1，传统的3D视觉常使用单目相机及结构光，或使用双目、多目相机，通过图像计算获取深度信息；或使用RGB-D相机，直接获取彩色图像及深度图像。通常需对模板图像做特征提取，标定模板位姿，再对待侧物体图像跟模板进行特征匹配、计算，最终得到待测物体的有限位姿。缺点在于：1）标定操作复杂，容易出现标定失败，环境对使用效果的影响很大；在某些位姿下如果特征点被遮蔽，会造成定位失败；2）对复杂物体的识别及定位准确度不高；3）仅适用于稳定环境下的简单物体的有限位姿测定。
技术实现思路
本专利技术的目的在于解决现有技术中的问题，提供一种复杂结构体的RGB-D视觉定位系统及方法。为了克服上述情况，本专利技术的技术方案如下：复杂结构体的RGB-D视觉定位系统，由RGB-D一体式相机、PC机、物料台、相机支架、相机电源及电缆组件组成，其中，所述PC机的可读存储介质中建立有模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块，所述RGB-D一体式相机用于提供目标图像，所述模板生成模块用于提供模板图像，所述可比性转换模块用于将所述目标图像做比例归一和/或旋转归一处理以提供与所述模板图象具有可比性的目标图像，所述相似性度量模块用于比对来自所述可比性转换模块的所述具有可比性的目标图像与来自所述模板生成模块的所述模板图像以提供至少两组匹配度最好的模板图像，所述位姿评估模块用于对来自所述相似性度量模块的所述至少两组匹配度最好的模板图中进行位姿评估。作为复杂结构体的RGB-D视觉定位系统的优选方案，所述物料台上用于置放待测物体，所述相机支架布置于所述物料台的邻侧，所述RGB-D一体式相机固定在所述相机支架上且所述RGB-D一体式相机对准所述物料台，所述PC机通过所述电缆组件与所述RGB-D一体式相机连接，所述相机电源用于给所述RGB-D一体式相机供电。本专利技术还提供复杂结构体的RGB-D视觉定位方法，提供所述的RGB-D视觉定位系统。作为复杂结构体的RGB-D视觉定位方法的优选方案，所述模板生成模块的工作过程，包含有以下步骤：步骤S11，CAD三维虚拟物体建模：根据待测物体的CAD文件和/或实体模型拍照扫描建模，得到虚拟模板模型；步骤S12，全方位球面经纬格点视点规划：以所述虚拟模板模型为中心建立一个球面，并且在所述球面的各经纬交点处设置视点；步骤S13，渲染、虚拟相机拍摄：分别在各所述视点处对所述虚拟模板模型进行渲染，并配置虚拟相机进行拍照；步骤S14，可比性转换：对拍照得到的图像信息作分割、缩放归一处理和/或旋转归一处理；以及，步骤S15，得到模板图像：经过可比性转换处理后的模板图像与物体远近、相机z轴转角无关。作为复杂结构体的RGB-D视觉定位方法的优选方案，所述可比性转换模块的工作过程，包含有以下步骤：步骤S21，图像分割；步骤S22，比例归一；步骤S23，旋转归一；以及，步骤S24，生成与所述模板图象具有可比性的目标图像。作为复杂结构体的RGB-D视觉定位方法的优选方案，步骤S14或S22中的缩放归一的方法：提取分割后的图像的最小边界Ｉmaks。用Ｉmaks提取物体区域ROI。求出ROI平均深度dav。与半径r相比，获得缩放归一比例系数，并且利用该系数对图像作缩放归一转换。作为复杂结构体的RGB-D视觉定位方法的优选方案，步骤S14或S23中的旋转归一的方法：像素坐标下，对ROI区域作PCA分析，得到最大特征向量Pmax，并由此可确定方向转角x，将图像沿法向量方向旋转角度x，得到旋转归一化的图像。作为复杂结构体的RGB-D视觉定位方法的优选方案，所述相似性度量模块的工作过程，包含有以下步骤：步骤S31，对所述具有可比性的目标图像以及所述模板图像作快速粗略度量，以便排除模板图像中明显不匹配的部分；步骤S32，在步骤S31剩余的部分中，对其视点位置作分区评估，分成m个区，对具有旋转对称性的物体做出完备的位姿评估，m为大于等于1的整数；步骤S33，精细相似度度量；步骤S34，动态权重优化：对图像内各点的权重、GRB及D图像间的权重进行动态优化。采用动态权重优化的方法，可以得到更客观的相似度得分值；步骤S35，取得k组属于m个区的匹配度最好的模板，k为大于1的整数。作为复杂结构体的RGB-D视觉定位方法的优选方案，所述位姿评估模块的工作过程，包含有以下步骤：步骤S41，对所述具有可比性的目标图像的点云图PCs采用ICP方法作微量旋转；步骤S42，与所述模板图像的点云进行匹配，计算各点的差值绝对值之和，以该和的值最小为优化目标；步骤S43，进行迭代，获取最优旋转矩阵，使匹配最佳；步骤S44，通过逆向变换，可以得到目标位姿值；步骤S45，对剩余的k-1组模板作同样的迭代操作；步骤S46，得到k组目标位姿；步骤S47，对这些位姿进行区内评估，去除差异大的位姿，在区内作均值处理；以及，步骤S48，得到最终目标位姿。与现有技术相比，本专利技术的有益效果至少在于：在不增加成本的情况下，通过算法的创新，使RGB-D定位方法有了更好的鲁棒性、对物体形状及位姿也有了更广的适应性。附图说明图1为现有技术的方法流程图。图2为本专利技术一实施例的硬件结构示意图。图3为本专利技术一实施例的软件结构示意图。图4为本专利技术一实施例中模板生成模块的工作流程图。图5为本专利技术以实施例中模板生成模块的球面虚拟视点布局图。图6为本专利技术一实施例中可比性转换模块的工作流程图。图7为本专利技术一实施例中相似性度量模块的工作流程图。图8为本专利技术一实施例中位姿评估模块的工作流程图。具体实施方式下面通过具体的实施方式结合附图对本专利技术作进一步详细说明。请参见图2，图中示出的是RGB-D视觉定位系统的硬件结构。所述硬件结构主要由RGB-D一体式相机1、PC机2、物料台3、相机支架4、相机电源5及电缆组件6组成。所述物料台3上用于置放待测物体7。所述相机支架4布置于所述物料台3的邻侧。所述RGB-D一体式相机1固定在所述相机支架上且所述RGB-D一体式相机1对准所述物料台3。所述RGB-D一体式相机1用于拍摄待测物体7。所述PC机2通过所述电缆组件与所述RGB-D一体式相机1连接，实现两者的相互通讯。所述相机电源用于给所述RGB-D一体式相机1供电。请参见图3，图中示出的是RGB-D视觉定位系统的软件结构。所述软件结构主要由模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块组成。所述软件结构存储于所述PC机的可读存储介质中。所述PC机能够执行所述软件结构。所述软件结构的工作原理大致为：将目标图像（由所述RGB-D一体式相机获取）与模本文档来自技高网...

【技术保护点】
1.一种复杂结构体的RGB-D视觉定位系统，其特征在于，由RGB-D一体式相机、PC机、物料台、相机支架、相机电源及电缆组件组成，其中，所述PC机的可读存储介质中建立有模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块，所述RGB-D一体式相机用于提供目标图像，所述模板生成模块用于提供模板图像，所述可比性转换模块用于将所述目标图像做比例归一和/或旋转归一处理以提供与所述模板图象具有可比性的目标图像，所述相似性度量模块用于比对来自所述可比性转换模块的所述具有可比性的目标图像与来自所述模板生成模块的所述模板图像以提供至少两组匹配度最好的模板图像，所述位姿评估模块用于对来自所述相似性度量模块的所述至少两组匹配度最好的模板图中进行位姿评估。/n

【技术特征摘要】
1.一种复杂结构体的RGB-D视觉定位系统，其特征在于，由RGB-D一体式相机、PC机、物料台、相机支架、相机电源及电缆组件组成，其中，所述PC机的可读存储介质中建立有模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块，所述RGB-D一体式相机用于提供目标图像，所述模板生成模块用于提供模板图像，所述可比性转换模块用于将所述目标图像做比例归一和/或旋转归一处理以提供与所述模板图象具有可比性的目标图像，所述相似性度量模块用于比对来自所述可比性转换模块的所述具有可比性的目标图像与来自所述模板生成模块的所述模板图像以提供至少两组匹配度最好的模板图像，所述位姿评估模块用于对来自所述相似性度量模块的所述至少两组匹配度最好的模板图中进行位姿评估。


2.根据权利要求1所述的复杂结构体的RGB-D视觉定位系统，其特征在于，所述物料台上用于置放待测物体，所述相机支架布置于所述物料台的邻侧，所述RGB-D一体式相机固定在所述相机支架上且所述RGB-D一体式相机对准所述物料台，所述PC机通过所述电缆组件与所述RGB-D一体式相机连接，所述相机电源用于给所述RGB-D一体式相机供电。


3.一种复杂结构体的RGB-D视觉定位方法，其特征在于，提供权利要求1或2所述的RGB-D视觉定位系统。


4.根据权利要求3所述的复杂结构体的RGB-D视觉定位方法，其特征在于，所述模板生成模块的工作过程，包含有以下步骤：
步骤S11，CAD三维虚拟物体建模：根据待测物体的CAD文件和/或实体模型拍照扫描建模，得到虚拟模板模型；
步骤S12，全方位球面经纬格点视点规划：以所述虚拟模板模型为中心建立一个球面，并且在所述球面的各经纬交点处设置视点；
步骤S13，渲染、虚拟相机拍摄：分别在各所述视点处对所述虚拟模板模型进行渲染，并配置虚拟相机进行拍照；
步骤S14，可比性转换：对拍照得到的图像信息作分割、缩放归一处理和/或旋转归一处理；以及，
步骤S15，得到模板图像：经过可比性转换处理后的模板图像与物体远近、相机z轴转角无关。


5.根据权利要求3或4所述的复杂结构体的RGB-D视觉定位方法，其特征在于，所述可比性转换模块的工作过程，包含有以下步骤：
步骤S21，图像分割；
步骤S22...

【专利技术属性】
技术研发人员：高小嵩，覃江华，
申请(专利权)人：上海中车瑞伯德智能系统股份有限公司，
类型：发明
国别省市：上海;31