目标物体的位姿确定方法技术

本申请提供一种目标物体的位姿确定方法

【技术实现步骤摘要】
目标物体的位姿确定方法、装置以及设备


[0001]本申请涉及图像处理技术，尤其涉及一种目标物体的位姿确定方法
、
装置以及设备
。

技术介绍

[0002]随着图像处理技术的发展，可以基于图像处理技术得到目标物体的位姿信息，进而利用目标物体的位姿信息完成任务
。
例如，基于目标物体的位姿信息，控制机器人自动化作业
、
实现增强现实
、
实现自动驾驶
、
实现智能物流等等
。
[0003]现有技术中，可以基于第一网络模型提取红绿蓝
(Red Green Blue
，简称
RGB)
图像中目标物体的颜色信息，同时，基于第二网络模型提取深度图像中目标物体的深度信息；然后基于目标物体的颜色信息和目标物体的深度信息，确定出目标物体的位姿信息
。
[0004]但是上述过程中，是分别提取的颜色信息和深度信息，导致特征提取的并不准确，进而导致不能准确的确定出目标物体的位姿信息
。/>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.
一种目标物体的位姿确定方法，其特征在于，所述方法包括：获取与目标物体对应的红绿蓝
RGB
图像和深度图像；其中，所述
RGB
图像中包括所述目标物体，所述深度图像中包括所述目标物体；对所述
RGB
图像进行处理，得到与所述
RGB
图像对应的颜色数据，其中，所述颜色数据包括
RGB
图像的每一像素点的颜色特征；并对所述深度图像进行转换处理，得到与所述深度图像对应的点云数据，其中，所述点云数据包括与所述深度图像对应的三维空间中的每一点的点云特征；重复执行以下步骤，直至达到第一预设条件：针对每一像素点的颜色特征，确定与该像素点对应的至少一个点，并将该至少一个点中每一点的点云特征与该像素点的颜色特征进行融合处理，得到该像素点的新的颜色特征；针对每一点的点云特征，确定与该点对应的至少一个像素点，并将该至少一个像素点中每一像素点的颜色特征与该点的点云特征进行融合处理，得到该点的新的点云特征；其中，达到所述第一预设条件时得到的像素点的颜色特征，为像素点的第一融合特征；达到所述第一预设条件时得到的点的点云特征，为点的第二融合特征；根据各所述像素点的第一融合特征和各所述点的第二融合特征，确定所述目标物体的位姿信息
。2.
根据权利要求1所述的方法，其特征在于，针对每一像素点的颜色特征，确定与该像素点对应的至少一个点，并将该至少一个点中每一点的点云特征与该像素点的颜色特征进行融合处理，得到该像素点的新的颜色特征，包括：针对每一像素点，基于该像素点的二维坐标信息和所述点云数据中点的三维坐标信息，确定与该像素点对应的至少一个点；其中，所述二维坐标信息为像素点在
RGB
图像上的坐标，所述三维坐标信息为点在与所述深度图像对应的三维空间中的坐标；针对每一像素点，对与该像素点对应的至少一个点中每一点的点云特征进行聚合处理，得到该像素点的第一聚合特征，并将该像素点的第一聚合特征与该像素点的颜色特征进行拼接处理，得到该像素点的第一拼接特征，并将该像素点的第一拼接特征进行特征融合处理，得到该像素点的第一初始特征；针对每一像素点，对该像素点的第一初始特征进行特征提取处理，得到该像素点的新的颜色特征
。3.
根据权利要求2所述的方法，其特征在于，针对每一像素点，对与该像素点对应的至少一个点中每一点的点云特征进行聚合处理，得到该像素点的第一聚合特征，并将该像素点的第一聚合特征与该像素点的颜色特征进行拼接处理，得到该像素点的第一拼接特征，并将该像素点的第一拼接特征进行特征融合处理，得到该像素点的第一初始特征，包括：针对每一像素点，对与该像素点对应的至少一个点中每一点的点云特征进行最大池化处理以进行聚合处理，得到该像素点的第一聚合特征；针对每一像素点，将该像素点的第一聚合特征与该像素点的颜色特征进行拼接处理，得到该像素点的第一拼接特征；针对每一像素点，对该像素点的第一拼接特征进行多层感知处理进行特征融合处理，得到该像素点的第一初始特征
。4.
根据权利要求1所述的方法，其特征在于，针对每一点的点云特征，确定与该点对应
的至少一个像素点，并将该至少一个像素点中每一像素点的颜色特征与该点的点云特征进行融合处理，得到该点的新的点云特征，包括：针对每一点，基于该点的三维坐标信息和所述颜色数据中像素点的二维坐标信息，确定与该点对应的至少一个像素点；其中，所述二维坐标信息为像素点在
RGB
图像上的坐标，所述三维坐标信息为点在与所述深度图像对应的三维空间中的坐标；针对每一点，对与该点对应的至少一个像素点中每一像素点的颜色特征进行聚合处理，得到该点的第二聚合特征，并将该点的第二聚合特征与该点的点云特征进行拼接处理，得到该点的第二拼接特征，并将该点的第二拼接特征进行特征融合处理，得到该点的第二初始特征；针对每一点，对该点的第二初始特征进行特征提取处理，得到该点的新的点云特征
。5.
根据权利要求4所述的方法，其特征在于，针对每一点，对与该点对应的至少一个像素点中每一像素点的颜色特征进行聚合处理，得到该点的第二聚合特征，并将该点的第二聚合特征与该点的点云特征进行拼接处理，得到该点的第二拼接特征，并将该点的第二拼接特征进行特征融合处理，得到该点的第二初始特征，包括：针对每一点，对与该点对应的至少一个像素点中每一像素点的颜色特征进行最大池化处理以进行聚合处理，得到该点的第二聚合特征；针对每一点，将该点的第二聚合特征与该点的点云特征进行拼接处理，得到该点的第二拼接特征；针对每一点，对该点的第二拼接特征进行多层感知处理进行特征融合处理，得到该点的第二初始特征
。6.
根据权利要求1所述的方法，其特征在于，根据各所述像素点的第一融合特征和各所述点的第二融合特征，确定所述目标物体的位姿信息，包括：针对每一点，将该点的第二融合特征
、
以及与该点对应的像素点的第一融合特征，两者进行拼接处理和融合处理，得到该点的特征信息；对各所述点的特征信息进行多尺度特征提取处理，得到多尺度特征；其中，所述多尺度特征表征多尺度下的各点的特征信息；对所述多尺度特征进行特征融合处理，得到融合后的多尺度特征；对根据所述多尺度特征和所述融合后的多尺度特征，进行位姿回归处理，得到所述目标物体的位姿信息
。7.
根据权利要求6所述的方法，其特征在于，对各所述点的特征信息进行多尺度特征提取处理，得到多尺度特征，包括：重复执行以下各步骤，直至得到第二预设条件：基于最远端采样算法，从各所述点中确定出至少一个中心点；针对每一中心点，确定与中心点之间的距离位于预设距离范围之内的点，为特征组；所述特征组中包括多个点；针对每一特征组，对该特征组中点的特征信息进行特征提取处理，得到该特征组的第一处理特征，并将该特征组的第一处理特征进行聚合处理得到该特征组的第三聚合特征，对该特征组的第三聚合特征进行特征提取处理，得到在第
i
尺度下该特征组的第三初始特征；其中，
i
为大于等于1的正整数；
从所述至少一个中心点中，确定出新的至少一个中心点，并确定
i
的取值加1；其中，达到所述第二预设条件时所得到的在各尺度下各特征组的第三初始特征，为所述多尺度特征
。8.
根据权利要求6所述的方法，其特征在于，对根据所述多尺度特征和所述融合后的多尺度特征，进行位姿回归处理，得到所述目标物体的位姿信息，包括：将所述多尺度特征和所述融合后的多尺度特征，输入至预设的回归网络中，输出在每一尺度下的输出信息；其中，所述输出信息包括旋转矩阵信息
、
平移向量信息以及置信度；其中，所述旋转矩阵信息表征目标物体在相机坐标系下的旋转矩阵，所述相机坐标系为获取所述
RGB
图像的相机中的坐标系；所述平移向量信息表征目标物体在相机坐标系下的平移向量；确定置信度的取值最高的输出信息中的旋转矩阵信息和平移向量信息，为所述目标物体的位姿信息
。9.
根据权利要求1‑8中任一项所述的方法，其特征在于，获取与目标物体对应的红绿蓝
RGB
图像和深度图像，包括：获取相机所采集的初始红绿蓝
RGB
图像，并获取初始深度图像；将所述初始
RGB
图像和所述初始深度图像进行分辨率转换处理，得到转换后的初始
RGB
图像和转换后的初始深度图像；对转换后的初始
RGB
图像进行语义分割处理，得到所述
RGB
图像；根据所述
RGB
图像中目标物体的二维坐标信息，从所述转换后的初始深度图像中提取出所述深度图像
。10.
根据权利要求1‑8中任一项所述的方法，其特征在于，对所述
RGB
图像进行处理，得到与所述
RGB
图像对应的颜色数据，并对所述深度图像进行转换处理，得到与所述深度图像对应的点云数据，包括：对所述
RGB
图像进行编码处理和解码处理，得到与所述
RGB
图像对应的颜色数据；将所述深度图像转换为三维点云，并对所述三维点云进行特征提取处理，得到所述点云数据
。11.
根据权利要求
10
所述的方法，其特征在于，所述三维点云中三维点的坐标为
(x
，
y
，
z)
；其中，
z
＝
d
t
/s
，
x
＝
(u
‑
c
x
)*z/f
x
，
y
＝
(
ν
‑
c
y
)/f
y
；
d
t
为所述深度图像中像素点的位置
(u
，
ν
)
对应的深度信息，
s
为预设的相机比例因子，
(c
x
，
c
y
)
为预设的相机光圈中心的二维坐标，
(f
x
，
f
y
)
为相机的焦距的二维坐标
。12.
一种目标物体的位姿确定装置，其特征在于，所述装置包括：获取单元，用于获取与目标物体对应的红绿蓝
RGB
图像和深度图像；其中，所述
RGB
图像中包括所述目...

【专利技术属性】
技术研发人员：左利钢，杨佑君，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：