位姿估计方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种位姿估计方法及装置、电子设备和存储介质，获取包括待检测对象的目标图像，将目标图像输入训练得到的位姿识别模型，提取目标图像中的待检测对象所在的目标区域，得到第一图像和对应的掩码图像。再根据掩码图像对第一图像进行外部降噪，得到第二图像。对第二图像进行内部降噪以及位姿识别，得到待检测对象的位姿信息。本公开在位姿估计的过程中，通过位姿识别模型对目标图像中的待检测对象进行了外部降噪和内部降噪两种降噪处理，排除外部噪声以及内部噪声对位姿识别的影响，提高了对象位姿信息的准确性。高了对象位姿信息的准确性。高了对象位姿信息的准确性。

【技术实现步骤摘要】
位姿估计方法及装置、电子设备和存储介质


[0001]本公开涉及计算机视觉
，尤其涉及一种位姿估计方法及装置、电子设备和存储介质。

技术介绍

[0002]6D姿态估计是计算机视觉研究领域以及工业制造应用场景中的重要问题。其应用场景包括智能机器人抓取、自动驾驶和增强现实等。通常可以通过采集具有深度信息的目标图像进行对象的姿态估计，但在获取深度信息时不可避免引入物理噪声。同时，在需要进行对象姿态估计时，对象以外的其他区域也会引入相应的噪声。

技术实现思路

[0003]本公开提出了一种位姿估计方法及装置、电子设备和存储介质，旨在排除位姿估计过程中的噪声干扰。
[0004]根据本公开的第一方面，提供了一种位姿估计方法，包括：
[0005]获取包括待检测对象的目标图像；
[0006]将所述目标图像输入位姿识别模型，通过所述位姿识别模型提取所述目标图像中的待检测对象所在的目标区域，得到第一图像和所述第一图像对应的掩码图像；
[0007]根据所述掩码图像对所述第一图像进行外部降噪，得到第二图像；
[0008]对所述第二图像进行内部降噪以及位姿识别，得到所述待检测对象的位姿信息。
[0009]在一种可能的实现方式中，所述将所述目标图像输入位姿识别模型，通过所述位姿识别模型提取所述目标图像中的待检测对象所在的目标区域，包括：
[0010]将所述目标图像输入位姿识别模型，通过所述位姿识别模型识别得到所述目标图像中待检测对象对应的检测框位置和对应的分割掩码；/>[0011]根据所述检测框位置裁剪所述目标图像并得到第一图像；
[0012]根据所述分割掩码确定所述第一图像对应的掩码图像。
[0013]在一种可能的实现方式中，所述根据所述掩码图像对所述第一图像进行外部降噪，得到第二图像，包括：
[0014]确定所述第一图像的坐标特征图像和法向量特征图像；
[0015]根据所述第一图像、所述坐标特征图像和所述法向量特征图像确定待降噪图像；
[0016]通过对所述掩码图像和所述待降噪图像进行点乘，得到第二图像。
[0017]在一种可能的实现方式中，所述确定所述第一图像的坐标特征图像和法向量特征图像，包括：
[0018]计算所述第一图像中对象的坐标信息得到第一坐标图像；
[0019]对所述第一坐标图像进行坐标反投影得到第二坐标图像，并确定所述第一坐标图像和所述第二坐标图像为坐标特征图像；
[0020]计算所述第一图像中深度通道的法向量得到法向量特征图像。
[0021]在一种可能的实现方式中，所述根据所述第一图像、所述坐标特征图像和所述法向量特征图像确定待降噪图像，包括：
[0022]对所述第一图像、所述坐标特征图像和所述法向量特征图像进行通道拼接，得到拼接图像；
[0023]对所述拼接图像进行位置编码得到待降噪图像。
[0024]在一种可能的实现方式中，所述对所述拼接图像进行位置编码得到待降噪图像，包括：
[0025]对所述拼接图像中的至少一个图像通道进行位置编码得到编码图像；
[0026]将所述拼接图像中所述至少一个图像通道分别与所述编码图像中对应的图像通道相加得到待降噪图像。
[0027]在一种可能的实现方式中，所述对所述第二图像进行内部降噪以及位姿识别，包括：
[0028]对所述第二图像进行特征提取，得到特征提取信息；
[0029]对所述特征提取信息进行内部降噪以及位置识别，得到所述待检测对象的位姿、空间坐标信息和重投影信息；
[0030]确定包括所述位姿、所述空间坐标信息和所述重投影信息的位姿信息。
[0031]在一种可能的实现方式中，所述位姿识别模型中包括用于确定第二图像的对象提取模块和用于确定位姿信息的位姿识别模块，所述位姿识别模块包括用于特征提取的骨干网络层和用于位置识别和内部降噪的深度去噪层；
[0032]所述位姿识别模块的训练过程包括：
[0033]确定至少一个样本第一图像和对应的标注重投影信息；
[0034]将所述样本第一图像作为所述位置识别模块的输入，确定对应的预测位姿信息，所述预测位姿信息中包括预测位姿、预测坐标和预测重投影信息；
[0035]根据所述至少一个样本第一图像的标注重投影信息和预测重投影信息的差异调节所述位置识别模型中的深度去噪层。根据本公开的第二方面，提供了一种位姿估计装置，包括：
[0036]图像确定模块，用于获取包括待检测对象的目标图像；
[0037]区域提取模块，用于将所述目标图像输入位姿识别模型，通过所述位姿识别模型提取所述目标图像中的待检测对象所在的目标区域，得到第一图像和所述第一图像对应的掩码图像；
[0038]降噪模块，用于根据所述掩码图像对所述第一图像进行外部降噪，得到第二图像；
[0039]位姿估计模块，用于对所述第二图像进行内部降噪以及位姿识别，得到所述待检测对象的位姿信息。
[0040]在一种可能的实现方式中，所述区域提取模块，包括：
[0041]对象识别子模块，用于将所述目标图像输入位姿识别模型，通过所述位姿识别模型识别得到所述目标图像中待检测对象对应的检测框位置和对应的分割掩码；
[0042]图像裁剪子模块，用于根据所述检测框位置裁剪所述目标图像并得到第一图像；
[0043]掩码确定子模块，用于根据所述分割掩码确定所述第一图像对应的掩码图像。
[0044]在一种可能的实现方式中，所述降噪模块，包括：
[0045]特征图像确定子模块，用于确定所述第一图像的坐标特征图像和法向量特征图像；
[0046]待降噪图像确定子模块，用于根据所述第一图像、所述坐标特征图像和所述法向量特征图像确定待降噪图像；
[0047]外部降噪子模块，用于通过对所述掩码图像和所述待降噪图像进行点乘，得到第二图像。
[0048]在一种可能的实现方式中，所述特征图像确定子模块，包括：
[0049]第一坐标确定单元，用于计算所述第一图像中对象的坐标信息得到第一坐标图像；
[0050]第二坐标确定单元，用于对所述第一坐标图像进行坐标反投影得到第二坐标图像，并确定所述第一坐标图像和所述第二坐标图像为坐标特征图像；
[0051]法向量特征确定单元，用于计算所述第一图像中深度通道的法向量得到法向量特征图像。
[0052]在一种可能的实现方式中，所述待降噪图像确定子模块，包括：
[0053]通道拼接单元，用于对所述第一图像、所述坐标特征图像和所述法向量特征图像进行通道拼接，得到拼接图像；
[0054]位置编码单元，用于对所述拼接图像进行位置编码得到待降噪图像。
[0055]在一种可能的实现方式中，所述位置编码单元，包括：
[0056]通道编码子单元，用于对所述拼接图像中的至少一个图像通道进行位置编码得到编码图像；
[0057本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿估计方法，其特征在于，所述方法包括：获取包括待检测对象的目标图像；将所述目标图像输入位姿识别模型，通过所述位姿识别模型提取所述目标图像中的待检测对象所在的目标区域，得到第一图像和所述第一图像对应的掩码图像；根据所述掩码图像对所述第一图像进行外部降噪，得到第二图像；对所述第二图像进行内部降噪以及位姿识别，得到所述待检测对象的位姿信息。2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入位姿识别模型，通过所述位姿识别模型提取所述目标图像中的待检测对象所在的目标区域，包括：将所述目标图像输入位姿识别模型，通过所述位姿识别模型识别得到所述目标图像中待检测对象对应的检测框位置和对应的分割掩码；根据所述检测框位置裁剪所述目标图像并得到第一图像；根据所述分割掩码确定所述第一图像对应的掩码图像。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述掩码图像对所述第一图像进行外部降噪，得到第二图像，包括：确定所述第一图像的坐标特征图像和法向量特征图像；根据所述第一图像、所述坐标特征图像和所述法向量特征图像确定待降噪图像；通过对所述掩码图像和所述待降噪图像进行点乘，得到第二图像。4.根据权利要求3所述的方法，其特征在于，所述确定所述第一图像的坐标特征图像和法向量特征图像，包括：计算所述第一图像中对象的坐标信息得到第一坐标图像；对所述第一坐标图像进行坐标反投影得到第二坐标图像，并确定所述第一坐标图像和所述第二坐标图像为坐标特征图像；计算所述第一图像中深度通道的法向量得到法向量特征图像。5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一图像、所述坐标特征图像和所述法向量特征图像确定待降噪图像，包括：对所述第一图像、所述坐标特征图像和所述法向量特征图像进行通道拼接，得到拼接图像；对所述拼接图像进行位置编码得到待降噪图像。6.根据权利要求5所述的方法，其特征在于，所述对所述拼接图像进行位置编码得到待降噪图像，包括：对所述拼接图像中的至少一个图像通道进行位置编码得到编码...

【专利技术属性】
技术研发人员：孙明珊，郑烨，暴天鹏，陈建秋，金国强，吴立威，赵瑞，蒋小可，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：