一种弱纹理物体位姿估计方法和系统技术方案

本发明专利技术公开了一种弱纹理物体位姿估计方法和系统，利用点渲染分割网络植入实例分割方法，以高效率提取出弱纹理物体的高精度掩码的同时，利用空间变换网络，防止特征图像的畸变以及缩放，来实现对复杂场景中的弱纹理物体的高精度定位，通过拟合碎片模型信息来精准定位物体，应用局部碎片信息解决前景遮挡问题，然后进行深度融合提取出弱纹理物体的高精度点云，最后应用对齐精度优化进行点云的配准并最终得到高精度位姿，解决了现有的工业场景目标物体识别技术采用基于RGB识别，容易造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度的技术问题。会影响估计的精度的技术问题。会影响估计的精度的技术问题。

【技术实现步骤摘要】
一种弱纹理物体位姿估计方法和系统


[0001]本专利技术涉及图像处理
，尤其涉及一种弱纹理物体位姿估计方法和系统。

技术介绍

[0002]目标物体的位姿估计问题就是确定某一三维目标物体的方位指向问题。不同于一般目标物体的位姿识别，工业中的目标物体识别需要识别的目标物体通常具有表面低纹理的特性，即目标物体表面颜色、明暗变化不明显，难以从中提取出鲁棒的特征点，并且工业场景往往还伴随着杂乱、堆叠等复杂操作环境，这对目标物体的识别以及位姿估计带来极大的挑战。对于这些弱纹理物体，传统上基于RGB的方法由于需处理的数据量相对来说较小，网络结构较为轻量，因此具有较强的实时性，但是反之也会造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度。

技术实现思路

[0003]本专利技术提供了一种弱纹理物体位姿估计方法和系统，用于解决现有的工业场景目标物体识别技术采用基于RGB识别，容易造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度的技术问题。
[0004]有鉴于此，本专利技术第一方面提供了一种弱纹理物体位姿估计方法，包括：
[0005]将对偶相机拍摄的包含待识别目标物体的深度图像进行融合，得到融合后的深度特征图；
[0006]基于深度特征图对待识别目标物体进行基于光照补偿的物体表面重建，得到重建后的深度特征图；
[0007]将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，得到表面碎片模型和掩码特征图，其中，点渲染编码
‑
解码网络的掩码预测头网格之后加入空间变换网络，掩码特征图包括表面碎片分类和高精度掩码；
[0008]对表面碎片模型进行几何多模型拟合，得到多实例3D
‑
2D对应的初步位姿信息；
[0009]将融合后的深度特征图和掩码特征图融合，进行点云变换，得到高精度的待识别目标物体点云信息；
[0010]将待识别目标物体点云信息进行点云配准，得到点云配准结果；
[0011]将多实例3D
‑
2D对应的初步位姿信息结合点云配准结果进行离群点过滤和对齐精度细化，输出最终的高精度位姿结果。
[0012]可选地，将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，包括：
[0013]将重建后的深度特征图转化为HHA特征图；
[0014]将HHA特征图的3个通道与RGB图像的3个通道堆叠，形成新的3通道RGB图像；
[0015]将新的3通道RGB图像送入点渲染编码
‑
解码网络。
[0016]可选地，点渲染编码
‑
解码网络的损失函数为：
[0017][0018]其中，点渲染编码
‑
解码网络在训练时，以最小化所有像素的平均损失L(u)为迭代条件，E为softmax交叉熵损失，H是huber损失，u为图像中的像素，向量a(u)由所有碎片的预测概率以及对象的相对于碎片的所有预测概率组成，为a(u)对应的真实概率，b
i
(u)为物体i在像素u出现的概率，为b
i
(u)的真实标签概率，r
ij
(u)为物体i的碎片j的3D空间信息，为r
ij
(u)的真实标签，I为物体实例，J为物体实例的碎片模型，λ1和λ2为损失权重。
[0019]可选地，对表面碎片模型进行几何多模型拟合，得到多实例3D
‑
2D对应的初步位姿信息，包括：
[0020]定义用于度量模型实例得分的新的质量函数，对表面碎片模型的位姿生成提议，新的质量函数为：
[0021][0022]其中，Q为质量函数，p为空间点集P的一个点，h为物体实例，φ为点p到物体实例h的距离，h
∪
为复合实例，ε为手动设定的阈值；
[0023]对表面碎片模型的位姿提议进行验证，验证时提议的接收标准为：
[0024][0025]其中，J为Jaccard得分，ε
s
为预置阈值，ε
s
∈[0，1]；
[0026]使用简化的PEARE算法对通过提议的表面碎片模型的位姿进行优化，得到多实例3D
‑
2D对应的初步位姿信息，简化的PEARE算法为：
[0027][0028]其中，E(L)为用于表示两个物体点集的空间关联度的能量函数，P和q为两个点集，L
P
和L
q
为标签点集，w为权重，δ为判断条件。
[0029]可选地，融合后的深度特征图的深度为：
[0030][0031]其中，W1，W2为两个权重系数，D1，D2分别为两个相机拍摄的深度图的深度。
[0032]可选地，使用改进的Super
‑
4PCS算法对待识别目标物体点云信息进行点云配准。
[0033]本申请第二方面提供了一种弱纹理物体位姿估计系统，包括：
[0034]图像融合单元，用于将对偶相机拍摄的包含待识别目标物体的深度图像进行融合，得到融合后的深度特征图；
[0035]表面重建单元，用于基于深度特征图对待识别目标物体进行基于光照补偿的物体表面重建，得到重建后的深度特征图；
[0036]分割单元，用于将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，得到表面碎片模型和掩码特征图，其中，点渲染编码
‑
解码网络的掩码预测头网格之后加入空间变换网络，掩码特征图包括表面碎片分类和高精度掩码；
[0037]多模型拟合单元，用于对表面碎片模型进行几何多模型拟合，得到多实例3D
‑
2D对应的初步位姿信息；
[0038]点云变换单元，用于将融合后的深度特征图和掩码特征图融合，进行点云变换，得到高精度的待识别目标物体点云信息；
[0039]点云配准单元，用于将待识别目标物体点云信息进行点云配准，得到点云配准结果；
[0040]位姿输出单元，用于将多实例3D
‑
2D对应的初步位姿信息结合点云配准结果进行离群点过滤和对齐精度细化，输出最终的高精度位姿结果。
[0041]可选地，将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，包括：
[0042]将重建后的深度特征图转化为HHA特征图；
[0043]将HHA特征图的3个通道与RGB图像的3个通道堆叠，形成新的3通道RGB图像；
[0044]将新的3通道RGB图像送入点渲染编码
‑
解码网络。
[0045]可选地，点渲染编码
‑
解码网络的损失函数为：
[0046][0047]其中，点渲染编码
‑
解码网络在训练时，以最小化所有像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱纹理物体位姿估计方法，其特征在于，包括：将对偶相机拍摄的包含待识别目标物体的深度图像进行融合，得到融合后的深度特征图；基于深度特征图对待识别目标物体进行基于光照补偿的物体表面重建，得到重建后的深度特征图；将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，得到表面碎片模型和掩码特征图，其中，点渲染编码
‑
解码网络的掩码预测头网格之后加入空间变换网络，掩码特征图包括表面碎片分类和高精度掩码；对表面碎片模型进行几何多模型拟合，得到多实例3D
‑
2D对应的初步位姿信息；将融合后的深度特征图和掩码特征图融合，进行点云变换，得到高精度的待识别目标物体点云信息；将待识别目标物体点云信息进行点云配准，得到点云配准结果；将多实例3D
‑
2D对应的初步位姿信息结合点云配准结果进行离群点过滤和对齐精度细化，输出最终的高精度位姿结果。2.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码
‑
解码网络，包括：将重建后的深度特征图转化为HHA特征图；将HHA特征图的3个通道与RGB图像的3个通道堆叠，形成新的3通道RGB图像；将新的3通道RGB图像送入点渲染编码
‑
解码网络。3.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，点渲染编码
‑
解码网络的损失函数为：其中，点渲染编码
‑
解码网络在训练时，以最小化所有像素的平均损失L(u)为迭代条件，E为softmax交叉熵损失，H是huber损失，u为图像中的像素，向量a(u)由所有碎片的预测概率以及对象的相对于碎片的所有预测概率组成，为a(u)对应的真实概率，b
i
(u)为物体i在像素u出现的概率，为b
i
(u)的真实标签概率，r
ij
(u)为物体i的碎片j的3D空间信息，为r
ij
(u)的真实标签，I为物体实例，J为物体实例的碎片模型，λ1和λ2为损失权重。4.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，对表面碎片模型进行几何多模型拟合，得到多实例3D
‑
2D对应的初步位姿信息，包括：定义用于度量模型实例得分的新的质量函数，对表面碎片模型的位姿生成提议，新的质量函数为：其中，Q为质量函数，p为空间点集P的一个点，h为物体实例，φ为点p到物体实例h的距离，h
∪
为复合实例，ε为手动设定的阈值；
对表面碎片模型的位姿提议进行验证，验证时提议的接收标准为：其中，J为Jaccard得分，ε
s
为预置阈值，ε
s
∈[0,1]；使用简化的PEARE算法对通过提议的表面碎片模型的位姿进行优化，得到多实例3D
‑
2D对应的初步位姿信息，简化的PEARE算法为：其中，E(L)为用于表示两个物体点集的空间关联度的能量函数，P和q为两个点集，L
P
和L
q
为标签点集，w为权重，δ为判断条件。5.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，融合后的深度特征图的深度为：其中，W1,W2为两个权重系数，D1,D2分别为两个相机拍摄的深度图的深度。6.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，使用改进...

【专利技术属性】
技术研发人员：程良伦，李耀，王涛，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：