一种物体姿态估计方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种物体姿态估计方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标物体的ROI裁剪图，从ROI裁剪图中提取RGB特征；通过多层感知机对RGB特征进行整合以便得到全局特征，并对RGB特征和全局特征进行特征对接得到像素特征；利用回归网络模型预测每个像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；利用最优平移矩阵对应的目标像素特征的点云特征微调最优平移矩阵，并利用相机的内参将最优四元数矩阵转换为旋转矩阵；基于旋转矩阵和微调后的最优平移矩阵生成目标物体的姿态估计。本申请提供的物体姿态估计方法，提高了物体姿态估计的鲁棒性。

【技术实现步骤摘要】
一种物体姿态估计方法、装置及电子设备和存储介质
本申请涉及机器人
，更具体地说，涉及一种物体姿态估计方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
基于RGB-D的物体6DoF姿态估计是现实环境中机器人操作应用的核心步骤。机器人必须获取物体在三维空间的6D姿态，才能根据物体姿态调整机械手抓取的角度与位置，从而实现准确抓取。在相关技术中，由于场景环境恶劣、摄像机采集信息质量很差、数据严重缺失的情况下，至今所提出的方法框架未能整合可见的数据特征进行姿态估计。因此，如何降低视觉信息对于物体姿态估计的受干扰程度、提高物体姿态估计的鲁棒性是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的在于提供一种物体姿态估计方法、装置及一种电子设备和一种计算机可读存储介质，降低了视觉信息对于物体姿态估计的受干扰程度、提高了物体姿态估计的鲁棒性。为实现上述目的，本申请提供了一种物体姿态估计方法，包括：获取目标物体的ROI裁剪图，从所述ROI裁剪图中提取RGB特征；通过多层感知机对所述RGB特征进行整合以便得到全局特征，并对所述RGB特征和所述全局特征进行特征对接得到像素特征；利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；利用所述最优平移矩阵对应的目标像素特征的点云特征微调所述最优平移矩阵，并利用相机的内参将所述最优四元数矩阵转换为旋转矩阵；基于所述旋转矩阵和微调后的最优平移矩阵生成所述目标物体的姿态估计。其中，所述获取目标物体的ROI裁剪图，包括：利用MaskR-CNN网络通过语义分割得到目标物体的ROI裁剪图。其中，所述利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵，包括：利用回归网络模型预测每个所述像素特征对应的四元数矩阵、平移矩阵和矩阵评分；选取所述矩阵评分最高的四元数矩阵和平移矩阵为最优四元数矩阵和最优平移矩阵。其中，还包括：获取所述目标物体的视图特征；相应的，对所述RGB特征和所述全局特征进行特征对接得到像素特征，包括：对所述RGB特征、所述全局特征和所述视图特征进行特征对接得到像素特征。其中，所述获取所述目标物体的视图特征，包括：通过物体三维合成模型生成预设数量的所述目标物体的视图，从所述视图中提取所述目标物体的视图特征。为实现上述目的，本申请提供了一种物体姿态估计装置，包括：提取模块，用于获取目标物体的ROI裁剪图，从所述ROI裁剪图中提取RGB特征；对接模块，用于通过多层感知机对所述RGB特征进行整合以便得到全局特征，并对所述RGB特征和所述全局特征进行特征对接得到像素特征；预测模块，用于利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；微调模块，用于利用所述最优平移矩阵对应的目标像素特征的点云特征微调所述最优平移矩阵；转换模块，用于利用相机的内参将所述最优四元数矩阵转换为旋转矩阵；生成模块，用于基于所述旋转矩阵和微调后的最优平移矩阵生成所述目标物体的姿态估计。其中，还包括：获取模块，用于获取所述目标物体的视图特征；相应的，所述对接模块包括：整合单元，用于通过多层感知机对所述RGB特征进行整合以便得到全局特征；对接单元，用于对所述RGB特征、所述全局特征和所述视图特征进行特征对接得到像素特征。其中，所述获取模块具体为通过物体三维合成模型生成预设数量的所述目标物体的视图，从所述视图中提取所述目标物体的视图特征的模块。为实现上述目的，本申请提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述物体姿态估计方法的步骤。为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述物体姿态估计方法的步骤。通过以上方案可知，本申请提供的一种物体姿态估计方法，包括：获取目标物体的ROI裁剪图，从所述ROI裁剪图中提取RGB特征；通过多层感知机对所述RGB特征进行整合以便得到全局特征，并对所述RGB特征和所述全局特征进行特征对接得到像素特征；利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；利用所述最优平移矩阵对应的目标像素特征的点云特征微调所述最优平移矩阵，并利用相机的内参将所述最优四元数矩阵转换为旋转矩阵；基于所述旋转矩阵和微调后的最优平移矩阵生成所述目标物体的姿态估计。本申请提供的物体姿态估计方法，表征像素点深度信息的点云特征通过微调平移矩阵的方式进行融合，优化深度信息的融入方式，降低深度信息的预处理难度，简化了分析步骤。首先对局部的RGB特征与全局特征进行融合，再利用回归网络模型进行预测，提升了特征处理速度。由此可见，本申请提供的物体姿态估计方法，提高了物体姿态估计的鲁棒性，即便场景环境恶劣，摄像机采集信息质量很差，仍能实现姿态估计。本申请还公开了一种物体姿态估计装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1为根据一示例性实施例示出的一种物体姿态估计方法的流程图；图2为根据一示例性实施例示出的一种embedding特征提取结构图；图3为根据一示例性实施例示出的一种6D姿态回归网络的结构图；图4为根据一示例性实施例示出的另一种物体姿态估计方法的流程图；图5为根据一示例性实施例示出的一种物体视图优化结构图；图6为根据一示例性实施例示出的一种物体姿态估计装置的结构图；图7为根据一示例性实施例示出的一种电子设备的结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例公开了一种物体姿态估计方法，降低了视觉信息对于物体姿态估计的受干扰程度、提高了物体姿态估计的鲁棒性。参本文档来自技高网...

【技术保护点】
1.一种物体姿态估计方法，其特征在于，包括：/n获取目标物体的ROI裁剪图，从所述ROI裁剪图中提取RGB特征；/n通过多层感知机对所述RGB特征进行整合以便得到全局特征，并对所述RGB特征和所述全局特征进行特征对接得到像素特征；/n利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；/n利用所述最优平移矩阵对应的目标像素特征的点云特征微调所述最优平移矩阵，并利用相机的内参将所述最优四元数矩阵转换为旋转矩阵；/n基于所述旋转矩阵和微调后的最优平移矩阵生成所述目标物体的姿态估计。/n

【技术特征摘要】
1.一种物体姿态估计方法，其特征在于，包括：
获取目标物体的ROI裁剪图，从所述ROI裁剪图中提取RGB特征；
通过多层感知机对所述RGB特征进行整合以便得到全局特征，并对所述RGB特征和所述全局特征进行特征对接得到像素特征；
利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵；
利用所述最优平移矩阵对应的目标像素特征的点云特征微调所述最优平移矩阵，并利用相机的内参将所述最优四元数矩阵转换为旋转矩阵；
基于所述旋转矩阵和微调后的最优平移矩阵生成所述目标物体的姿态估计。


2.根据权利要求1所述物体姿态估计方法，其特征在于，所述获取目标物体的ROI裁剪图，包括：
利用MaskR-CNN网络通过语义分割得到目标物体的ROI裁剪图。


3.根据权利要求1所述物体姿态估计方法，其特征在于，所述利用回归网络模型预测每个所述像素特征对应的四元数矩阵和平移矩阵，并选取最优四元数矩阵和最优平移矩阵，包括：
利用回归网络模型预测每个所述像素特征对应的四元数矩阵、平移矩阵和矩阵评分；
选取所述矩阵评分最高的四元数矩阵和平移矩阵为最优四元数矩阵和最优平移矩阵。


4.根据权利要求1至3中任一项所述物体姿态估计方法，其特征在于，还包括：
获取所述目标物体的视图特征；
相应的，对所述RGB特征和所述全局特征进行特征对接得到像素特征，包括：
对所述RGB特征、所述全局特征和所述视图特征进行特征对接得到像素特征。


5.根据权利要求4所述物体姿态估计方法，其特征在于，所述获取所述目标物体的视图特征，包括：
通过物体三维合成模型生成预设数量的所述目标物体的视图，从所述视图中提取所述目标物体的视...

【专利技术属性】
技术研发人员：刘文印，梁达勇，陈俊洪，朱展模，黄可思，莫秀云，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44