本发明专利技术公开了一种基于视觉图像的三维物体位姿识别方案，属于智能硬件技术领域，该方法包括：构建目标的稀疏三维点云模型；利用实例检测器从查询图像中裁剪出包含目标的第一图像；利用粗姿态估计网络从参考图像中查找与第一图像视点最接近的目标参考图像；根据第一图像与目标参考图像之间的旋转信息将第一图像与目标参考图像对齐；将对齐后的第一图像、目标参考图像以及稀疏三维点云模型输入细姿态估计网络，确定位姿残差；依据位姿残差调整对齐后的第一图像的预测位姿；重复调整以实现对对齐后的第一图像的预测位姿的迭代优化，直至达到预设条件，将最终调整后的预测位姿确定为目标的目标位姿。通过该方案可以对待识别目标的位姿进行精准识别。标的位姿进行精准识别。标的位姿进行精准识别。
【技术实现步骤摘要】
一种基于视觉图像的三维物体位姿识别方法和装置、电子设备
[0001]本专利技术涉及智能硬件
，尤其涉及一种基于视觉图像的三维物体位姿识别方法和装置、电子设备。
技术介绍
[0002]6D位姿估计，即估计三维物体在空间中的位置和姿态，包括三维物体沿X、Y、Z轴的平移代表3个平移运动，以及围绕X、Y、Z轴的转动代表3个旋转运动。
[0003]目前对三维物体进行位姿识别时，主要依赖于经过大量训练数据训练生成的物体三维模型。基于物体三维模型的位姿识别存在一下弊端：第一方面，训练数据需手工标注工作量十分庞大；第二方面，由于是通过人工标注的训练数据训练物体三维模型，而人工标注的场景是有限的，最终导致以物体三维模型在开放场景中的泛化能力差的问题，所识别到的物体位姿结果准确度低。
技术实现思路
[0004]本专利技术实施例的目的是提供一种基于视觉图像的三维物体位姿识别方法和装置、电子设备，能够解决目前基于物体三维模型进行三维物体位姿识别时存在的识别到的位姿结果准确度低的问题。
[0005]为解决上述技术问题，本专利技术提供如下技术方案：
[0006]本专利技术实施例提供了一种基于视觉图像的三维物体位姿识别方法，其中，所述方法包括：
[0007]基于以不同角度采集的待识别目标的图像序列，构建所述目标的稀疏三维点云模型；
[0008]利用实例检测器针对查询图像生成所述目标的检测框，根据检测框从所述查询图像中裁剪出包含所述目标的第一图像；
[0009]利用粗姿态估计网络从参考图像中查找与所述第一图像视点最接近的目标参考图像；确定所述第一图像与所述目标参考图像之间的旋转信息，根据旋转信息将所述第一图像与所述目标参考图像对齐；
[0010]将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差；依据所述位姿残差调整作为所述细姿态估计网络中间结果的所述对齐后的第一图像的预测位姿；
[0011]重复调整以实现对所述对齐后的第一图像的预测位姿的迭代优化，直至达到预设条件，将最终调整后的预测位姿确定为所述目标的目标位姿。
[0012]可选地，基于以不同角度采集的待识别目标的图像序列，构建所述目标的稀疏三维点云模型的步骤，包括：
[0013]以不同角度采集同一待识别目标的图像，生成图像序列；
[0014]基于所述图像序列中各图像包含的特征点之间的关系，确定所述图像序列间的几何约束关系；
[0015]采用增量式SFM算法依据所述几何约束关系，构建所述目标的稀疏三维点云模型。
[0016]可选地，利用实例检测器针对查询图像生成所述目标的检测框，根据检测框从所述查询图像中裁剪出包含所述目标的第一图像的步骤，包括：
[0017]通过实例检测器检测所述查询图像中是否包含所述目标；
[0018]若包含，为所述查询图像中的各所述目标分别生成检测框；
[0019]按照检测框从所述查询图像中裁剪出包含所述目标的各第一图像。
[0020]可选地，利用粗姿态估计网络从参考图像中查找与所述第一图像视点最接近的目标参考图像的步骤，包括：
[0021]采用预先生成的粗姿态估计网络，确定各参考图像分别与所述第一图像的相似度得分和相对平面旋转角度；
[0022]依据各参考图像对应的相似度得分和相对平面旋转角度，从各所述参考图像中筛选出与所述第一图像视点最接近的目标参考图像。
[0023]可选地，将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差的步骤，包括：
[0024]提取对齐后的所述第一图像的第一特征图，所述目标参考图像的第二特征图；
[0025]将所述第一特征图、所述第二特征图投影到三维体积空间，得到预测位姿和初始位姿；
[0026]将所述预测位姿、所述初始位姿、所述稀疏三维点云模型输入预先生成的细姿态估计网络，确定位姿残差。
[0027]可选地，将所述预测位姿、所述初始位姿、所述稀疏三维点云模型输入预先生成的细姿态估计网络，确定位姿残差的步骤，包括：
[0028]利用所述初始位姿和所述预测位姿，分别对所述稀疏三维点云模型进行投影，得到初始点云和新增点云；
[0029]将所述初始点云和所述新增点云输入细姿态估计网络，得到位姿残差。
[0030]可选地，重复上述步骤直至满足预设条件，将最终调整后的预测位姿确定为所述目标的目标位姿的步骤，包括：
[0031]判断调整后的所述预测位姿是否满足预设条件；
[0032]在所述调整后的预测位姿不满足预设条件的情况下，将所述调整后预测位姿后的第一图像作为对齐后的第一图像；并返回执行所述将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差的步骤；
[0033]在所述调整后的预测位姿满足预设条件的情况下，将所述调整后的预测位姿确定为所述目标的目标位姿。
[0034]本专利技术实施例还提供了一种基于视觉图像的三维物体位姿识别装置，其中，所述装置包括：
[0035]点云模型构建模块，用于基于以不同角度采集的待识别目标的图像序列，构建所述目标的稀疏三维点云模型；
[0036]实例检测模块，用于利用实例检测器针对查询图像生成所述目标的检测框，根据
检测框从所述查询图像中裁剪出包含所述目标的第一图像；
[0037]粗姿态估计模块，用于利用粗姿态估计网络从参考图像中查找与所述第一图像视点最接近的目标参考图像；确定所述第一图像与所述目标参考图像之间的旋转信息，根据旋转信息将所述第一图像与所述目标参考图像对齐；
[0038]细姿态估计模块，用于将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差；依据所述位姿残差调整作为所述细姿态估计网络中间结果的所述对齐后的第一图像的预测位姿；
[0039]输出模块，重复调整以实现对所述对齐后的第一图像的预测位姿的迭代优化，直至达到预设条件，将最终所述调整后的预测位姿确定为所述目标的目标位姿。
[0040]可选地，所述点云模型构建模块包括：
[0041]第一子模块，用于以不同角度采集同一待识别目标的图像，生成图像序列；
[0042]第二子模块，用于基于所述图像序列中各图像包含的特征点之间的关系，确定所述图像序列间的几何约束关系；
[0043]第三子模块，用于采用增量式SFM算法依据所述几何约束关系，构建所述目标的稀疏三维点云模型。
[0044]可选地，所述实例检测模块包括：
[0045]第四子模块，用于通过实例检测器检测查询图像中是否包含所述目标；
[0046]第五子模块，用于若包含，为所述查询图像中的各所述目标分别生成检测框；
[0047]第六子模块，用于按照检测框从所述查询图像中裁剪出包含所述目标的各第一图像。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视觉图像的三维物体位姿识别方法，其特征在于，所述方法包括：基于以不同角度采集的待识别目标的图像序列，构建所述目标的稀疏三维点云模型；利用实例检测器针对查询图像生成所述目标的检测框，根据检测框从所述查询图像中裁剪出包含所述目标的第一图像；利用粗姿态估计网络从参考图像中查找与所述第一图像视点最接近的目标参考图像；确定所述第一图像与所述目标参考图像之间的旋转信息，根据旋转信息将所述第一图像与所述目标参考图像对齐；将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差；依据所述位姿残差调整作为所述细姿态估计网络中间结果的所述对齐后的第一图像的预测位姿；重复调整以实现对所述对齐后的第一图像的预测位姿的迭代优化，直至达到预设条件，将最终调整后的预测位姿确定为所述目标的目标位姿。2.根据权利要求1所述的方法，其特征在于，基于以不同角度采集的待识别目标的图像序列，构建所述目标的稀疏三维点云模型的步骤，包括：以不同角度采集同一待识别目标的图像，生成图像序列；基于所述图像序列中各图像包含的特征点之间的关系，确定所述图像序列间的几何约束关系；采用增量式SFM算法依据所述几何约束关系，构建所述目标的稀疏三维点云模型。3.根据权利要求1所述的方法，其特征在于，利用实例检测器针对查询图像生成所述目标的检测框，根据检测框从所述查询图像中裁剪出包含所述目标的第一图像的步骤，包括：通过实例检测器检测所述查询图像中是否包含所述目标；若包含，为所述查询图像中的各所述目标分别生成检测框；按照检测框从所述查询图像中裁剪出包含所述目标的各第一图像。4.根据权利要求1所述的方法，其特征在于，利用粗姿态估计网络从参考图像中查找与所述第一图像视点最接近的目标参考图像的步骤，包括：采用预先生成的粗姿态估计网络，确定各参考图像分别与所述第一图像的相似度得分和相对平面旋转角度；依据各参考图像对应的相似度得分和相对平面旋转角度，从各所述参考图像中筛选出与所述第一图像视点最接近的目标参考图像。5.根据权利要求1所述的方法，其特征在于，将对齐后的所述第一图像、所述目标参考图像以及所述稀疏三维点云模型输入细姿态估计网络，确定位姿残差的步骤，包括：提取对齐后的所述第一图像的第一特征图，所述目标参考图像的第二特征图；将所述第一特...
【专利技术属性】
技术研发人员：肖能飞，马亚龙，熊仲夏，霍向，吴新开，
申请(专利权)人：北京洛必德科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。