姿态编码器训练及姿态估计方法及装置制造方法及图纸

本公开涉及一种姿态编码器训练及姿态估计方法及装置，所述姿态编码器包括编码网络及解码网络，该方法包括：对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域；通过编码网络对第一图像区域进行特征提取，得到第一目标的第一特征信息；通过解码网络对第一特征信息进行处理，确定第一目标的预测特征图；根据第一目标的预测特征图以及标注特征图，训练姿态编码器。本公开的实施例使用包括目标的姿态信息的标记特征图，对姿态编码器进行训练，可提高姿态编码器中编码网络特征提取的准确性，进而提高姿态估计的准确性。

【技术实现步骤摘要】
姿态编码器训练及姿态估计方法及装置
本公开涉及计算机
，尤其涉及一种姿态编码器训练及姿态估计方法及装置。
技术介绍
物体姿态估计可从物体图像中估计出物体相对相机的姿态信息，在“机器人作业”、“自动驾驶”、“增强现实”等领域中起着重要作用。自编码器作为一种直接的物体姿态估计方法，在近年来取得了较大发展。自编码器包括编码器和解码器两部分。在训练过程中，编码器负责将输入的物体图像转换为特征向量，而解码器尽可能地从特征向量中恢复出输入的物体图像。该训练是以重建输入的物体图像为目的，物体的姿态信息并未直接参与到自编码器的训练中。由于物体普遍存在对称性，物体在不同姿态下可能呈现出相近的外观，以重建物体图像为目的的自编码器，会将具有相近外观的多个不同姿态的物体的图像编码成相似的特征向量，从而在姿态估计过程中出现特征混淆，导致姿态估计的准确性较差。
技术实现思路
有鉴于此，本公开提出了一种姿态编码器训练及姿态估计方法及装置。根据本公开的一方面，提供了一种基于三维坐标的姿态编码器训练方法，所述姿态编码器包括编码网络及解码网络，所述方法包括：对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域，其中，所述训练集中包括多个样本图像及所述多个样本图像中的第一目标的标注特征图，所述标注特征图用于表示所述第一目标在所述样本图像中可见部分的三维坐标；通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息；通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测特征图；根据所述第一目标的预测特征图以及标注特征图，训练所述姿态编码器。在一种可能的实现方式中，所述预测特征图包括三个通道，所述三个通道分别表示所述第一目标在所述第一图像区域中的可见部分的三维坐标。在一种可能的实现方式中，所述方法还包括：通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测图像；根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器。在一种可能的实现方式中，根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器，包括：根据所述第一目标的预测特征图与标注特征图之间的差异，确定第一损失；根据所述第一目标的第一图像区域与预测图像之间的差异，确定第二损失；根据预设权重、所述第一损失以及所述第二损失，确定所述姿态编码器的网络损失；根据所述网络损失，调整所述姿态编码器的网络参数。在一种可能的实现方式中，通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息，包括：根据预设的图像尺寸，对所述第一图像区域进行调整，得到调整后的第一图像区域；通过所述编码网络对所述调整后的第一图像区域进行特征提取，得到所述第一目标的第一特征信息。根据本公开的另一方面，提供了一种基于姿态编码器的姿态估计方法，所述方法包括：对待检测图像进行目标检测，确定所述待检测图像中的第二目标以及所述第二目标的第二图像区域；通过所述姿态编码器的编码网络对所述第二图像区域进行特征提取，得到所述第二目标的第二特征信息；分别确定所述第二特征信息与预设的特征姿态库中的各个第三特征信息之间的相似度，所述特征姿态库包括多个第三特征信息以及与各个第三特征信息对应的目标姿态，所述目标姿态包括目标的旋转角度；将与所述第二特征信息的相似度最高的第三特征信息对应的目标姿态，确定为所述第二目标的姿态信息，其中，所述编码网络是根据上述训练方法训练得到的。在一种可能的实现方式中，所述方法还包括：通过所述编码网络，分别对预设的参考目标在多个旋转角度下的参考图像进行特征提取，得到所述参考目标的多个第三特征信息；对于任一第三特征信息，将与所述第三特征信息对应的旋转角度，确定为与所述第三特征信息对应的目标姿态；根据多个第三特征信息以及与所述多个第三特征信息对应的目标姿态，确定特征姿态库。根据本公开的另一方面，提供了一种基于三维坐标的姿态编码器训练装置，所述姿态编码器包括编码网络及解码网络，所述装置包括：第一目标检测模块，用于对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域，其中，所述训练集中包括多个样本图像及所述多个样本图像中的第一目标的标注特征图，所述标注特征图用于表示所述第一目标在所述样本图像中可见部分的三维坐标；第一特征提取模块，用于通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息；特征图预测模块，用于通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测特征图；训练模块，用于根据所述第一目标的预测特征图以及标注特征图，训练所述姿态编码器。在一种可能的实现方式中，所述预测特征图包括三个通道，所述三个通道分别表示所述第一目标在所述第一图像区域中的可见部分的三维坐标。根据本公开的另一方面，提供了一种基于姿态编码器的姿态估计装置，所述装置包括：第二目标检测模块，用于对待检测图像进行目标检测，确定所述待检测图像中的第二目标以及所述第二目标的第二图像区域；第二特征提取模块，用于通过所述姿态编码器的编码网络对所述第二图像区域进行特征提取，得到所述第二目标的第二特征信息；相似度确定模块，用于分别确定所述第二特征信息与预设的特征姿态库中的各个第三特征信息之间的相似度，所述特征姿态库包括多个第三特征信息以及与各个第三特征信息对应的目标姿态，所述目标姿态包括目标的旋转角度；姿态信息确定模块，用于将与所述第二特征信息的相似度最高的第三特征信息对应的姿态信息，确定为所述第二目标的姿态信息，其中，所述编码网络是根据上述训练装置训练得到的。根据本公开的实施例，在姿态编码器的训练过程中，将表示第一目标在样本图像中可见部分的三维坐标的标注特征图作为训练标签，通过编码网络对样本图像中的第一目标的第一图像区域进行特征提取，得到第一特征信息，通过解码网络对第一特征信息进行处理，确定第一目标的预测特征图，并根据第一目标的预测特征图及标注特征图，训练姿态编码器，从而可以使得第一目标的姿态信息参与到姿态编码器的训练过程中，使用已训练的姿态编码器中的编码网络进行提取特征时，可准确识别外观相似但姿态不同的第一目标，提高了姿态编码器中编码网络特征提取的准确性，进而也提高了使用姿态编码器进行姿态估计的准确性。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开实施例的基于三维坐标的姿态编码器训练方法的流程图。图2a示出基于图像本文档来自技高网...

【技术保护点】
1.一种基于三维坐标的姿态编码器训练方法，其特征在于，所述姿态编码器包括编码网络及解码网络，/n所述方法包括：/n对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域，其中，所述训练集中包括多个样本图像及所述多个样本图像中的第一目标的标注特征图，所述标注特征图用于表示所述第一目标在所述样本图像中可见部分的三维坐标；/n通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息；/n通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测特征图；/n根据所述第一目标的预测特征图以及标注特征图，训练所述姿态编码器。/n

【技术特征摘要】
1.一种基于三维坐标的姿态编码器训练方法，其特征在于，所述姿态编码器包括编码网络及解码网络，
所述方法包括：
对训练集中的样本图像进行目标检测，确定所述样本图像中的第一目标以及所述第一目标的第一图像区域，其中，所述训练集中包括多个样本图像及所述多个样本图像中的第一目标的标注特征图，所述标注特征图用于表示所述第一目标在所述样本图像中可见部分的三维坐标；
通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息；
通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测特征图；
根据所述第一目标的预测特征图以及标注特征图，训练所述姿态编码器。


2.根据权利要求1所述的方法，其特征在于，所述预测特征图包括三个通道，所述三个通道分别表示所述第一目标在所述第一图像区域中的可见部分的三维坐标。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述解码网络对所述第一特征信息进行处理，确定所述第一目标的预测图像；
根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器。


4.根据权利要求3所述的方法，其特征在于，根据所述第一目标的预测特征图、标注特征图、第一图像区域及预测图像，训练所述姿态编码器，包括：
根据所述第一目标的预测特征图与标注特征图之间的差异，确定第一损失；
根据所述第一目标的第一图像区域与预测图像之间的差异，确定第二损失；
根据预设权重、所述第一损失以及所述第二损失，确定所述姿态编码器的网络损失；
根据所述网络损失，调整所述姿态编码器的网络参数。


5.根据权利要求1所述的方法，其特征在于，通过所述编码网络对所述第一图像区域进行特征提取，得到所述第一目标的第一特征信息，包括：
根据预设的图像尺寸，对所述第一图像区域进行调整，得到调整后的第一图像区域；
通过所述编码网络对所述调整后的第一图像区域进行特征提取，得到所述第一目标的第一特征信息。


6.一种基于姿态编码器的姿态估计方法，其特征在于，所述方法包括：
对待检测图像进行目标检测，确定所述待检测图像中的第二目标以及所述第二目标的第二图像区域；
通过所述姿态编码器的编码网络对所述第二图像区域进行特征提取，得到所述第二目标的第二特征信息；
分别确定所述第二特征信息与预设的特征姿态库中的各个第三特征信息之间的相似度，所述特征姿态库包括多个第三特征信息以及与各个第三特...

【专利技术属性】
技术研发人员：季向阳，李志刚，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11