一种钢瓶充装口位姿检测方法及检测系统技术方案

本发明专利技术公开了一种钢瓶充装口位姿检测方法，将获取的钢瓶充装口不同位姿时的图像，进行初步处理；对预处理后的图像进行区块分割，对不同的区块进行编码，将物体坐标系上的坐标转换为编码图像的编码坐标，并得到各维度区块编号掩膜，然后建立钢瓶充装口位姿检测模型；将实时获取钢瓶充装口的图像进行初步处理，然后通过检测模型得到区块编号掩膜；解码得到真实的坐标特征图；提取出二维坐标与对应的三维坐标；通过EPnP算法将得到的二维坐标与三维坐标的对应关系转换为充装口的位姿信息。通过新式分区编码坐标的特征图给深度神经网络进行预测，能够成比例的减少特征图所有像素上的平均误差，其准确性得到了提升。其准确性得到了提升。其准确性得到了提升。

【技术实现步骤摘要】
一种钢瓶充装口位姿检测方法及检测系统


[0001]本专利技术涉及制冷剂自动化充装，具体是涉及一种钢瓶充装口位姿检测方法及检测系统。

技术介绍

[0002]制冷剂的生产过程由于充装操作较为简单、劳动重复性高、物料泄露对工人而言有一定的危险性，因此制冷剂充装是自动化较快的一个工业领域，目前制冷剂充装包括半自动化生产线和全自动化生产线，这些产品提升了生产效率节约了生产成本。其中，将螺帽拧下以灌注制冷剂并重新安装的拆装过程是重点难点之一。为了完成这一目的，需要通过视觉传感器获取单向阀充装口的位姿信息，即所设定的充装口上的物体坐标系到相机坐标系之间的转换关系，这是视觉引导机器人将拧枪执行器对准单向阀充装口的关键。
[0003]检测充装口的6D位姿属于近年来视觉方面的研究热点之一：基于深度神经网络的原理，通过不断学习各类先验的位姿数据，以在应用阶段能够仅从一张RGB图像读取三维信息并进行目标物体的位姿估计，一般这样的网络结构呈“U”型，分为编码器和解码器，编码器分析输入的RGB图像并进行信息提取，解码器负责生成所需要的输出。
[0004]一般来说，达成目标物体位姿检测目的的方法可以分为直接法和间接法，直接法可以直接回归得出物体的旋转矩阵和平移向量的信息，间接法则需要先回归得出各类基于物体坐标系上的坐标信息创造的特征图，再根据特征图分析得出像素二维坐标与物体坐标系上的三维坐标之间的对应关系，再通过EPnP等算法求得目标物体上的物体坐标系到相机坐标系的转换关系。
[0005]而有一种间接法，是以物体坐标系上三维坐标的特征图作为输出的，以Pix2Pose和CDPN为代表，以深度相机拍摄得到的深度图和检测ArUco角点得到的位姿信息得到图像逐个像素所对应的物体坐标系坐标，并将这些坐标归一化为[
‑
1,1]的区间进行预测，之后解码得到2D点与3D点之间的对应关系供EPnP处理，但其准确性仍存在欠缺。

技术实现思路

[0006]专利技术目的：针对以上缺点，本专利技术提供一种准确性高的钢瓶充装口位姿检测方法。
[0007]本专利技术还提供一种钢瓶充装口位姿检测系统。
[0008]技术方案：为解决上述问题，本专利技术采用一种钢瓶充装口位姿检测方法，包括以下步骤：
[0009](1)获取钢瓶充装口不同位姿时的图像，将获取的图像进行初步处理，得到预处理后的图像，同时获取钢瓶充装口的位姿信息；
[0010](2)对预处理后的图像进行区块分割，对不同的区块进行编码，将物体坐标系上的坐标转换为编码图像的编码坐标，得到分区编码坐标的特征图；
[0011](3)将分区编码坐标的特征图进行图像掩膜，得到各维度区块编号掩膜；
[0012](4)以预处理后的图像为输入，获取的分区编码坐标的特征图、掩膜图像、区块编
号掩膜为输出，建立钢瓶充装口位姿检测模型；
[0013](5)实时获取钢瓶充装口的图像，将获取的图像进行初步处理，得到预处理后的图像，根据预处理后的图像通过钢瓶充装口位姿检测模型得到各维度上的区块编号掩膜；
[0014](6)对区块编号掩膜进行解码得到真实的坐标特征图；提取出其中的像素在图像上的二维坐标与对应的三维物体坐标系上的三维坐标；
[0015](7)通过EPnP算法将得到的二维坐标与三维坐标的对应关系转换为充装口的位姿信息。
[0016]进一步的，所述步骤(1)中通过包围框检测算法得到获取的图像中的目标图像数据。
[0017]进一步的，所述步骤(1)中具体包括：
[0018](1.1)获取钢瓶充装口不同位姿时的RGB图像；
[0019](1.2)将获取的RGB图像进行灰度化；
[0020](1.3)将灰度化的图像进行自适应阈值二值化处理；
[0021](1.4)对处理后的图像进行直线检测、四边形检测与角点提取；
[0022](1.5)确定分析平面，计算处理后的图像的图像平面至分析平面的透视变换矩阵；
[0023](1.6)根据钢瓶样式确定分析平面包围框的四个顶点坐标(a
i
,b
i
)(i∈{1,2,3,4})；
[0024](1.7)将分析平面中确定的四个顶点(a
i
,b
i
)通过右乘透视变换矩阵投射到图像平面中得到(u
i
,v
i
)；
[0025](1.8)得到图像平面中包围框中心的像素坐标(c
x
,c
y
)为([max(u
i
)+min(u
i
)]/2,[max(v
i
)+min(v
i
)]/2)，包围框长宽(S
x
,S
y
)为([max(u
i
)
‑
min(u
i
),max(v
i
)
‑
min(v
i
)])；
[0026](1.9)得到包围框中的感兴趣图像；将感兴趣图像使用双线性插值法缩放至256
×
256的长宽。
[0027]进一步的，所述步骤(2)中对预处理后的图像的区块分割方式是分别在图像的xyz各维度上进行均分，设定分块数量为N，采用格雷码编码的思想将区块的编号n∈[0,N)转化为0和1组成的编码。
[0028]进一步的，所述编码坐标ZCC与物体坐标系上对应原坐标C的函数关系为：
[0029][0030]其中，i∈{0,1,2}对应于xyz三个维度，max
i
为钢瓶充装口图像在第i个维度上的跨度的一半，I
n
区间为
[0031]进一步的，采用ResNet
‑
34网络结构作为主干网络提取图像信息，输出层为64
×
64
×
3的分区编码坐标的特征图、64
×
64
×
1的掩膜图像和64
×
64
×
n
N
的各维度区块编号掩膜，n
N
为xyz所有维度上的所述区块编号掩膜的通道数。
[0032]进一步的，所述步骤(6)中解码过程为读取各维度上区块编号掩膜获得编码坐标对应点在物体坐标系上的区块编号，根据所述分区编码坐标的编码函数的逆函数求取物体坐标系上的三维点坐标。
[0033]本专利技术还采用一种钢瓶充装口位姿检测系统，包括获取钢瓶充装口位姿图像的相机、图像初步处理模块、图像再次处理模块、模型建立模块、计算模块；
[0034]所述图像初步处理模块用于将相机获取的图像进行初步处理，得到预处理后的图像；
[0035]所述图像再次处理模块用于对图像初步处理模块预处理后的图像进行区块分割，对不同的区块进行编码，将物体坐标系上的坐标转换为编码图像的编码坐标，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢瓶充装口位姿检测方法，其特征在于，包括以下步骤：(1)获取钢瓶充装口不同位姿时的图像，将获取的图像进行初步处理，得到预处理后的图像，同时获取钢瓶充装口的位姿信息；(2)对预处理后的图像进行区块分割，对不同的区块进行编码，将物体坐标系上的坐标转换为编码图像的编码坐标，得到分区编码坐标的特征图；(3)将分区编码坐标的特征图进行图像掩膜，得到各维度区块编号掩膜；(4)以预处理后的图像为输入，获取的分区编码坐标的特征图、掩膜图像、区块编号掩膜为输出，建立钢瓶充装口位姿检测模型；(5)实时获取钢瓶充装口的图像，将获取的图像进行初步处理，得到预处理后的图像，根据预处理后的图像通过钢瓶充装口位姿检测模型得到各维度上的区块编号掩膜；(6)对区块编号掩膜进行解码得到真实的坐标特征图；提取出其中的像素在图像上的二维坐标与对应的三维物体坐标系上的三维坐标；(7)通过EPnP算法将得到的二维坐标与三维坐标的对应关系转换为充装口的位姿信息。2.根据权利要求1所述的钢瓶充装口位姿检测方法，其特征在于，所述步骤(1)中通过包围框检测算法得到获取的图像中的目标图像数据。3.根据权利要求2所述的钢瓶充装口位姿检测方法，其特征在于，所述步骤(1)中具体包括：(1.1)获取钢瓶充装口不同位姿时的RGB图像；(1.2)将获取的RGB图像进行灰度化；(1.3)将灰度化的图像进行自适应阈值二值化处理；(1.4)对处理后的图像进行直线检测、四边形检测与角点提取；(1.5)确定分析平面，计算处理后的图像的图像平面至分析平面的透视变换矩阵；(1.6)根据钢瓶样式确定分析平面包围框的四个顶点坐标(a
i
,b
i
)(i∈{1,2,3,4})；(1.7)将分析平面中确定的四个顶点(a
i
,b
i
)通过右乘透视变换矩阵投射到图像平面中得到(u
i
,v
i
)；(1.8)得到图像平面中包围框中心的像素坐标(c
x
,c
y
)为([max(u
i
)+min(u
i
)]/2,[max(v
i
)+min(v
i
)]/2)，包围框长宽(S
x
,S
y
)为([max(u
i
)
‑
min(u
i
),max(v
i
)
‑
min(v<...

【专利技术属性】
技术研发人员：徐立云，张剑，付秀峰，马纵横，
申请(专利权)人：上海旻实智能科技有限公司，
类型：发明
国别省市：