一种弱纹理物体位姿估计方法技术

本申请公开了一种弱纹理物体位姿估计方法，包括：通过彩色图像获取物体的彩色嵌入特征图；通过深度图像获取物体的几何嵌入特征图；利用自注意力机制模块从彩色嵌入特征图和几何嵌入特征图中提取位置依赖特征图；并利用通道注意力机制模块获取彩色嵌入特征图、几何嵌入特征图以及位置依赖特征图的权重向量；将三个特征图的权重向量分别与对应的特征图相乘；再将三个特征图逐像素融合，然后逐像素预测位姿和置信度，选择置信度最高的预测结果作为最终预测结果。本申请通过获取像素间的位置关系，丰富每个像素特征的信息，并自适应调整不同特征的权重，提高每个像素的识别精度。

【技术实现步骤摘要】
一种弱纹理物体位姿估计方法
本申请涉及位姿估计
，尤其涉及一种弱纹理物体位姿估计方法。
技术介绍
目标物体的6D位姿估计，就是指恢复相机坐标系下目标物体的6D位姿，即目标物体的3D位置和3D姿态。物体的6D位姿估计目前主要针对由于复杂场景中的遮挡情况、目标对象的弱纹理、弱对比度、对称性导致的估计精度不足的问题。目前主要有基于RGB的方法和基于RGBD的方法。基于RGBD的物体6D位姿估计的一个关键问题是如何更好的利用RGB和深度信息的互补性质，进一步提高识别精度。现有方法中，PointFusion对RGB信息和深度信息是进行全局融合，忽略了局部特征；DenseFusion对RGB信息和深度信息是进行逐像素融合，主要关注物体的局部特征，但仅通过多层感知机获取像素的全局信息，而忽略了像素之间的位置关系。PointFusion采用直接融合RGB特征和深度特征，获得全局特征图，进而基于全局特征回归得到物体的位姿。由于是基于全局特征回归得到位姿，当物体存在遮挡时，被遮挡部分将直接影响识别精度。DenseFusion采用逐像素密集融合的方法，通过每个融合的像素特征分别回归得到位姿，再通过投票得到置信度最高的位姿。然而DenseFusion主要关注的是局部特征，和通过多层感知机获取的全局特征，但没有利用到像素之间的位置关系。
技术实现思路
本申请实施例提供了一种弱纹理物体位姿估计方法，通过逐像素融合物体像素之间的位置关系，进一步丰富每个像素特征的信息，同时考虑每个像素中不同特征对于识别任务的贡献，进而提高每个像素的识别精度。有鉴于此，本申请第一方面提供了一种物体姿态估计的方法，所述方法包括：对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸；根据所述掩摸获取物体对应的图像块和深度信息，并通过相机的内参数矩阵，将所述深度信息转换为点云数据；提取所述图像块的特征信息，得到物体的彩色嵌入特征图；提取所述点云数据的特征信息，得到物体的几何嵌入特征图；将所述彩色嵌入特征图与所述几何嵌入特征图进行通道叠加，得到第一叠加特征图；将所述第一叠加特征图输入自注意力机制模块得到位置依赖特征图，所述自注意力机制模块用于获取像素间的位置关系；将所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图按通道进行叠加，得到第二叠加特征图；将所述第二叠加特征图输入通道注意力机制模块，得到三个特征图的权重向量，所述通道注意力机制模块用于获取通道的全局特征，并学习通道之间的非线性关系；将三个特征图的权重向量分别与对应的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图相乘；将与权重相乘后的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图进行逐像素融合，得到融合特征图；将所述融合特征图输入位姿预测器中，得到每个像素预测的位姿和置信度，选择所述置信度最高的像素预测结果作为最终预测的结果。可选的，所述将彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸，包括：采用MaskRCNN对深度图像进行实例分割，获取深度图像中每个物体的类别和掩摸。可选的，所述将所述第一叠加特征图输入自注意力机制模块得到位置依赖特征图，包括：将所述第一叠加特征图[C，H，W]分别通过3个1x1的卷积层θ，φ，g，得到特征图Fθ，Fφ，Fg，大小均为[C/2，H，W]；将特征图Fθ，Fφ，Fg分别重构成大小为[HW，C/2]，[C/2，HW]，[HW，C/2]的特征图；将重构后的特征图Fθ和Fφ进行矩阵相乘，再进行Softmax操作，得到大小为[HW，HW]的特征图；将特征图[HW，HW]与重构后的特征图Fg进行矩阵相乘，并将矩阵相乘后的结果重构成大小为[C/2，H，W]的特征图；将重构后的大小为[C/2，H，W]的特征图通过1x1的卷积层得到大小为[C，H，W]的特征图；将大小为[C，H，W]的特征图与所述第一叠加特征图进行逐像素相加得到所述位置依赖特征图，大小为[C,H,W]。可选的，所述自注意力机制模块用于获取像素间的位置关系，具体公式为：式中，x为输入，y为输出；i，j为像素的位置索引；C(x)为归一化因子；函数f用于计算位置i和j之间的相似性，从而获取像素之间的依赖关系。可选的，在所述将所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图按通道进行叠加，得到第二叠加特征图，之前还包括：将所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图调整为通道数相同的特征图，通道数取三个特征图通道数的中位数。从以上技术方案可以看出，本申请具有以下优点：本申请中，提供了一种弱纹理物体位姿估计方法，包括：对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸；根据掩摸获取物体对应的图像块和深度信息，并通过相机的内参数矩阵，将深度信息转换为点云数据；提取图像块的特征信息，得到物体的彩色嵌入特征图；提取点云数据的特征信息，得到物体的几何嵌入特征图；将彩色嵌入特征图与几何嵌入特征图进行通道叠加，得到第一叠加特征图；将第一叠加特征图输入自注意力机制模块得到位置依赖特征图，自注意力机制模块用于获取像素间的位置关系；将彩色嵌入特征图、几何嵌入特征图以及位置依赖特征图按通道进行叠加，得到第二叠加特征图；将第二叠加特征图输入通道注意力机制模块，得到三个特征图的权重向量，通道注意力机制模块用于获取通道的全局特征，并学习通道之间的非线性关系；将三个特征图的权重向量分别与对应的彩色嵌入特征图、几何嵌入特征图以及位置依赖特征图相乘；将与权重相乘后的彩色嵌入特征图、几何嵌入特征图以及位置依赖特征图进行逐像素融合，得到融合特征图；将融合特征图输入位姿预测器中，得到每个像素预测的位姿和置信度，选择置信度最高的像素预测结果作为最终预测的结果。本申请提出了一种弱纹理物体位姿估计方法，通过自注意力机制获取像素间的位置关系，得到位置依赖特征图，以丰富每个像素的特征信息；通过通道注意力机制获取不同通道的权重，以衡量不同特征图的贡献。将三个特征图以不同的权重进行逐像素融合，进而利用每个像素预测目标对象的位姿，以提高位姿估计的精度。附图说明图1为本申请一种弱纹理物体位姿估计方法的一个实施例的方法流程图；图2为本申请一种弱纹理物体位姿估计方法的另一个实施例的方法流程图；图3为本申请实施例中自注意力机制模块的示意图；图4为本申请实施例中将彩色嵌入特征图、几何嵌入特征图以及位置依赖特征图按通道进行叠加的示意图；图5为本申请实施例中通道注意力机制模块的示意图；图6为本申请实施例中位姿预测器的网络结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部本文档来自技高网...

【技术保护点】
1.一种弱纹理物体位姿估计方法，其特征在于，包括：/n对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸；/n根据所述掩摸获取物体对应的图像块和深度信息，并通过相机的内参数矩阵，将所述深度信息转换为点云数据；/n提取所述图像块的特征信息，得到物体的彩色嵌入特征图；/n提取所述点云数据的特征信息，得到物体的几何嵌入特征图；/n将所述彩色嵌入特征图与所述几何嵌入特征图进行通道叠加，得到第一叠加特征图；/n将所述第一叠加特征图输入自注意力机制模块得到位置依赖特征图，所述自注意力机制模块用于获取像素间的位置关系；/n将所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图按通道进行叠加，得到第二叠加特征图；/n将所述第二叠加特征图输入通道注意力机制模块，得到三个特征图的权重向量，所述通道注意力机制模块用于获取通道的全局特征，并学习通道之间的非线性关系；/n将三个特征图的权重向量分别与对应的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图相乘；/n将与权重相乘后的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图进行逐像素融合，得到融合特征图；/n将所述融合特征图输入位姿预测器中，得到每个像素预测的位姿和置信度，选择所述置信度最高的像素预测结果作为最终预测的结果。/n...

【技术特征摘要】
1.一种弱纹理物体位姿估计方法，其特征在于，包括：
对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸；
根据所述掩摸获取物体对应的图像块和深度信息，并通过相机的内参数矩阵，将所述深度信息转换为点云数据；
提取所述图像块的特征信息，得到物体的彩色嵌入特征图；
提取所述点云数据的特征信息，得到物体的几何嵌入特征图；
将所述彩色嵌入特征图与所述几何嵌入特征图进行通道叠加，得到第一叠加特征图；
将所述第一叠加特征图输入自注意力机制模块得到位置依赖特征图，所述自注意力机制模块用于获取像素间的位置关系；
将所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图按通道进行叠加，得到第二叠加特征图；
将所述第二叠加特征图输入通道注意力机制模块，得到三个特征图的权重向量，所述通道注意力机制模块用于获取通道的全局特征，并学习通道之间的非线性关系；
将三个特征图的权重向量分别与对应的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图相乘；
将与权重相乘后的所述彩色嵌入特征图、所述几何嵌入特征图以及所述位置依赖特征图进行逐像素融合，得到融合特征图；
将所述融合特征图输入位姿预测器中，得到每个像素预测的位姿和置信度，选择所述置信度最高的像素预测结果作为最终预测的结果。


2.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，所述对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸，包括：
采用MaskRCNN对彩色图像进行实例分割，获取彩色图像中每个物体的类别和掩摸。


3.根据权利要求1所述的弱...

【专利技术属性】
技术研发人员：王涛，黄榕彬，李耀，程良伦，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44