一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备，基于RGB

【技术实现步骤摘要】
一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种基于深度学习语义分割和点云配准的钢包视觉对位方法、装置及设备。

技术介绍

[0002]在汽车结构件、盖件、金属制品等的铸造过程中，钢包承接和运输一直是铸造工艺中最危险的环节，特别是在浇铸时，如果钢包姿势歪斜，很多铸造企业还是通过人工去控制调整钢包的位姿，这对于操作的工人来说是很危险的。如何准确识别钢包姿势和与承运小车距离并精准完美的将钢包放在承运小车上是实现浇铸自动化的关键。
[0003]传统的视觉定位方法有单目视觉定位、双目视觉定位、RGB
‑
D相机等。单目视觉定位通过一个相机来完成定位工作，主要原理是通过摄像机数学模型建立空间目标特征点与图像特征点之间的对应投影变换关系，从而确定目标特征点位置信息。双目视觉的定位是模仿人类双眼感知周围环境空间深度，利用两个相机从不同位置拍摄同一场景，对所拍摄的图像对进行匹配，并计算视差，然后利用三角测量原理实现距离测量。RGB
‑r/>D相机主要是通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习语义分割和点云配准的钢包视觉对位方法，其特征在于，包括以下步骤：步骤1，通过RGB
‑
D相机采集不同角度下的钢包彩色图和钢包深度图；步骤2，对钢包彩色图进行轮廓标注；步骤3，利用已进行轮廓标注的钢包彩色图，对SegNet网络进行训练，使得SegNet网络对钢包彩色图进行像素级的语义分割，获得钢包分割图；步骤4，将钢包分割图与对应同时采集的钢包深度图结合，提取钢包分割图点云；步骤5，将钢包分割图点云与RGB
‑
D相机采集的钢包原始点云通过半监督快速点云配准方法进行点云配准，并将配准后的钢包位置信息输出，得到钢包位置估计；步骤6，将钢包承运小车移动至钢包位置估计处，然后将钢包放置钢包承运小车上，完成钢包承运小车与钢包的对位。2.根据权利要求1所述的方法，其特征在于，利用SegNet网络对钢包彩色图进行像素级的语义分割，获得钢包分割图的具体过程如下：步骤3.1，对钢包彩色图进行图像缩放到指定尺寸；步骤3.2，采用正切函数对缩放后得钢包彩色图的像素值进行据归一化后，再对其进行随机翻转；步骤3.3，将经过步骤3.2得到的钢包彩色图像输入SegNet网络的编码器网络进行钢包彩色图像特征提取；步骤3.4，将经过步骤3.3得到的钢包彩色图像特征输入到SegNet网络的解码器网络，基于特征进行钢包彩色图像分类，再使用Softmax输出不同分类的最大值，得到最终分割图。3.根据权利要求1所述的方法，其特征在于，通过RGB
‑
D相机采集钢包RGB彩色图和钢包深度图时，选用的是Kinect V2 RGB
‑
D相机，RGB图片分辨率是1920*1080，深度图像分辨率为512*424，Kinect V2相机的检测范围是0.5米到4.5米。4.根据权利要求1所述的方法，其特征在于，对钢包彩色图进行轮廓标注是采用像素级标注方法对钢包彩色图进行标注，采用Labelme标注工具，对采集的钢包彩色图进行像素级标注，分割出钢包的形状，并获得标注标签。5.根据权利要求1所述的方法，其特征在于，将钢包分割图点云与RGB
‑
D相机采集的钢包原始点云通过半监督快速点云配准方法进行点云配准的具体过程如下：步骤5.1，以RGB
‑
D相机采集的钢包原始点云作为源点云P，以钢包分割图点云作为目标点云Q，将源点云P和目标点云Q作为输入数据，输入13层卷积层的编码器网络，提取源点云P和目标点云Q的特征：源点云特征FP和目标点云特征FQ；步骤5.2，将源点云特征FP和目标点云特征FQ输入到由4层全连接层组成的解码器网络，得到还原后的点云信息；步骤5.3，计算源点云特征FP和目标点云特征FQ之间的特征投影误差r，并根据误差的大小更新所述解码器网络参数；其中，g为刚性变换矩阵，F()是点云的全局特征，p表示源点云，Q表示目标点云；
步骤5.4，计算源点云特征FP的雅可比矩阵J
i
；步骤5.5，根据特征投影误差和雅可比矩阵J
i
计算增量Δθ，将增量...

【专利技术属性】
技术研发人员：王耀南，周显恩，朱青，毛建旭，王飞文，汪志城，周新城，刘世福，杨林，方江雄，
申请(专利权)人：江西省通讯终端产业技术研究院有限公司，
类型：发明
国别省市：