本申请实施例提供一种姿态估计方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，可以提高获取姿态信息的准确度和鲁棒性。该方法包括：获取包含目标物体的目标图像；对目标图像进行特征提取，得到目标物体的姿态特征和关键特征，关键特征包括关键点特征和边缘轮廓特征中的至少一个；根据姿态特征和关键特征，得到目标物体的姿态信息。得到目标物体的姿态信息。得到目标物体的姿态信息。
【技术实现步骤摘要】
一种姿态估计方法、装置、电子设备及存储介质
[0001]本申请涉及计算机视觉
，尤其涉及一种姿态估计方法、装置、电子设备及存储介质。
技术介绍
[0002]物体姿态估计作为计算机视觉领域中的一个非常重要的环节，在机器人领域(例如，机械臂抓取)、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)领域、无人驾驶领域、物体追踪领域和建模领域等也有着重要的影响。物体姿态估计就是指计算目标物体和相机之间的变换矩阵，即姿态信息，目前获取姿态信息的方法主要分为两种，一种是从二维(Two Dimensional，2D)图像中提取局部特征或目标物体区域，该2D图像包括目标物体的图像特征，再结合目标物体的三维(Three Dimensional，3D)空间信息求解姿态信息；另一种是利用彩色图像和其对应的姿态信息来训练神经网络，再用训练后的神经网络从目标物体的彩色图像中获取目标物体的姿态信息。
[0003]然而，对于弱纹理目标物体，由于其图像提供的信息有限，无法保证提取出足够有效的局部特征或目标物体区域来求解姿态信息，神经网络也无法准确获取到弱纹理目标的姿态信息，因此可知上述相关方法的准确度和鲁棒性都较差。
技术实现思路
[0004]本申请实施例提供一种姿态估计方法、装置、电子设备及存储介质，可以提高获取姿态信息的准确度和鲁棒性。
[0005]为实现上述技术目的，本申请实施例采用如下技术方案：
[0006]第一方面，本申请实施例提供了一种姿态估计方法，该方法包括：获取包含目标物体的目标图像；对目标图像进行特征提取，得到目标物体的姿态特征和关键特征，关键特征包括关键点特征和边缘轮廓特征中的至少一个；根据姿态特征和关键特征，得到目标物体的姿态信息。
[0007]在一种可能的实施方式中，所述姿态特征为姿态特征图，所述关键特征为关键特征图。所述对目标图像进行特征提取，得到目标物体的姿态特征和关键特征，包括：将目标图像输入特征提取网络，得到目标物体的基础属性；基础属性用于表征目标物体在目标图像中的表面结构信息；将基础属性分别输入姿态特征提取网络和关键特征提取网络，得到姿态特征图、关键特征图。
[0008]另一种可能的实施方式中，关键特征图包括关键点特征图和边缘轮廓特征图；关键特征提取网络包括关键点检测网络和边缘轮廓检测网络。所述将基础属性分别输入姿态特征提取网络和关键特征提取网络，得到姿态特征图、关键特征图，包括：将基础属性分别输入姿态特征提取网络、关键点检测网络和边缘轮廓检测网络，得到姿态特征图、关键点特征图和边缘轮廓特征图。
[0009]另一种可能的实施方式中，所述根据姿态特征和关键特征，得到目标物体的姿态
信息，包括：对姿态特征图和关键特征图进行拼接，得到组合特征图；将组合特征图输入姿态识别网络，得到姿态信息。
[0010]另一种可能的实施方式中，在所述对目标图像进行特征提取，得到目标物体的姿态特征和关键特征之前，该方法还包括：获取初始姿态检测模型；再获取样本图像、样本姿态信息和样本关键信息；然后，将样本图像作为输入样本、将样本关键信息和样本姿态信息作为输出样本，对初始姿态检测模型进行训练，得到姿态检测模型；初始姿态检测模型包括初始特征提取网络、初始姿态特征提取网络、初始关键特征提取网络和初始姿态识别网络。其中，样本姿态信息表示样本图像中的样本物体的姿态信息；样本关键信息表示样本图像中的样本物体的关键点位置和边缘轮廓中至少一个；姿态检测模型包括特征提取网络、姿态特征提取网络、关键特征提取网络和姿态识别网络。
[0011]另一种可能的实施方式中，所述获取样本图像，包括：获取包含样本物体的原始图像，并对原始图像进行第一预处理，得到样本图像。其中，第一预处理包括光照变换、添加高斯噪声、运动模糊、旋转、平移、剪切、水平翻转和尺寸调整中至少一个。
[0012]另一种可能的实施方式中，所述获取包含目标物体的目标图像，包括：获取包含目标物体的目标原始图像，并对目标原始图像进行第二预处理，得到目标图像。其中，第二预处理包括运动模糊的复原、去噪和尺寸调整中至少一个。
[0013]另一种可能的实施方式中，样本关键信息包括样本关键点位置和样本边缘轮廓。所述将样本图像作为输入样本、将样本关键信息和样本姿态信息作为输出样本，对初始姿态检测模型进行训练，得到姿态检测模型，包括：将样本图像作为输入样本，将样本关键点位置、样本边缘轮廓和样本姿态信息作为输出样本；利用输入样本和输出样本，对初始姿态检测模型进行训练，得到中间姿态检测模型；将输入样本输入中间姿态检测模型，得到预测姿态信息、预测关键点位置和预测边缘轮廓；利用损失函数，分别计算预测姿态信息和其对应的样本关键信息之间的姿态信息误差、预测关键点位置和其对应的样本关键点位置之间的关键点误差、以及预测边缘轮廓和其对应的样本边缘轮廓之间的边缘轮廓误差；根据姿态信息误差、关键点误差和边缘轮廓误差，利用梯度下降法修改中间姿态检测模型的参数，得到姿态检测模型。
[0014]第二方面，本申请实施例还提供了一种姿态估计装置，该装置包括：图像获取模块，用于获取包含目标物体的目标图像；特征提取模块，用于对所述目标图像进行特征提取，得到所述目标物体的姿态特征和关键特征，所述关键特征包括关键点特征和边缘轮廓特征中的至少一个；姿态识别模块，用于根据所述姿态特征和所述关键特征，得到所述目标物体的姿态信息。
[0015]在一种可能的实施方式中，姿态特征为姿态特征图，关键特征为关键特征图。特征提取模块，具体用于：将目标图像输入特征提取网络，得到目标物体的基础属性；基础属性用于表征目标物体在目标图像中的表面结构信息；将基础属性分别输入姿态特征提取网络和关键特征提取网络，得到姿态特征图、关键特征图。
[0016]另一种可能的实施方式中，关键特征图包括关键点特征图和边缘轮廓特征图；关键特征提取网络包括关键点检测网络和边缘轮廓检测网络。特征提取模块，具体用于将基础属性分别输入姿态特征提取网络、关键点检测网络和边缘轮廓检测网络，得到姿态特征图、关键点特征图和边缘轮廓特征图。
[0017]另一种可能的实施方式中，姿态识别模块，具体用于：对姿态特征图和关键特征图进行拼接，得到组合特征图；将组合特征图输入姿态识别网络，得到姿态信息。
[0018]另一种可能的实施方式中，该装置还包括：模型获取模块、样本获取模块和模型训练模块。其中，模型获取模块，用于在所述对目标图像进行特征提取，得到目标物体的姿态特征和关键特征之前，获取初始姿态检测模型；初始姿态检测模型包括初始特征提取网络、初始姿态特征提取网络、初始关键特征提取网络和初始姿态识别网络。样本获取模块，用于获取样本图像、样本姿态信息和样本关键信息；样本姿态信息表示样本图像中的样本物体的姿态信息；样本关键信息表示样本图像中的样本物体的关键点位置和边缘轮廓中至少一个。模型训练模块，用于将样本图像作为输入样本、将样本关键信息和样本姿态信息作为输出样本，对初始姿态本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种姿态估计方法，其特征在于，所述方法包括：获取包含目标物体的目标图像；对所述目标图像进行特征提取，得到所述目标物体的姿态特征和关键特征，所述关键特征包括关键点特征和边缘轮廓特征中的至少一个；根据所述姿态特征和所述关键特征，得到所述目标物体的姿态信息。2.根据权利要求1所述的方法，其特征在于，所述姿态特征为姿态特征图，所述关键特征为关键特征图；所述对所述目标图像进行特征提取，得到所述目标物体的姿态特征和关键特征，包括：将所述目标图像输入特征提取网络，得到所述目标物体的基础属性；所述基础属性用于表征所述目标物体在所述目标图像中的表面结构信息；将所述基础属性分别输入姿态特征提取网络和关键特征提取网络，得到所述姿态特征图、所述关键特征图。3.根据权利要求2所述的方法，其特征在于，所述关键特征图包括关键点特征图和边缘轮廓特征图；所述关键特征提取网络包括关键点检测网络和边缘轮廓检测网络；所述将所述基础属性分别输入姿态特征提取网络和关键特征提取网络，得到所述姿态特征图、所述关键特征图，包括：将所述基础属性分别输入所述姿态特征提取网络、所述关键点检测网络和所述边缘轮廓检测网络，得到所述姿态特征图、所述关键点特征图和所述边缘轮廓特征图。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述姿态特征和所述关键特征，得到所述目标物体的姿态信息，包括：对所述姿态特征图和所述关键特征图进行拼接，得到组合特征图；将所述组合特征图输入姿态识别网络，得到所述姿态信息。5.根据权利要求4所述的方法，其特征在于，在所述对所述目标图像进行特征提取，得到所述目标物体的姿态特征和关键特征之前，所述方法还包括：获取初始姿态检测模型；所述初始姿态检测模型包括初始特征提取网络、初始姿态特征提取网络、初始关键特征提取网络和初始姿态识别网络；获取样本图像、样本姿态信息和样本关键信息；...
【专利技术属性】
技术研发人员：王再冉，郭小燕，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。