基于域随机化的姿态估计模型训练方法及装置制造方法及图纸

本公开涉及一种基于域随机化的姿态估计模型训练方法及装置，该方法包括：利用带有姿态标签的合成的图像训练姿态估计模型；将真实样本输入训练后的模型得到第一姿态值；利用确定的目标域随机化方式对真实样本和合成样本分别进行处理，得到处理后真实样本和处理后合并样本；利用处理后真实样本和第一姿态值对训练后的模型进行训练，得到对应的第一损失函数，以及利用处理后合成样本和合成样本中目标物体的第二姿态标签，对训练后的模型进行训练，得到对应的第二损失函数；根据第一损失函数和第二损失函数修正模型参数，得到修正后姿态估计模型。所得到模型对真实图像中目标物体进行姿态评估的效果好、准确度高，且训练成本低。

【技术实现步骤摘要】
基于域随机化的姿态估计模型训练方法及装置
本公开涉及计算机视觉、机器视觉
，尤其涉及一种基于域随机化的姿态估计模型训练方法及装置。
技术介绍
物体姿态估计在“机器人作业”、“自动驾驶”、“增强现实”等领域中起着至关重要的作用。物体姿态估计指的是从图片中准确估计出目标物体相对相机的姿态信息，通常包括：1)旋转(三个自由度)，即相机坐标系相对于目标物体坐标系的旋转关系；2)平移(三个自由度)，即相机坐标系原点相对于目标物体坐标系原点的平移信息。对于旋转，其表示方法包括旋转矩阵、欧拉角、四元数等。对于平移，通常用欧式空间中的平移向量来表示。相关技术中，已有的基于单张RGB图片的物体姿态估计方法依赖于带姿态标签的真实训练数据。然而，真实训练数据的姿态标签的获取十分复杂并且昂贵，这极大地增加了方法的使用成本。针对这一问题，相关技术中是在物体的三维模型已知的情况下，利用渲染器对物体的三维模型在不同姿态下进行渲染，从而得到大量带姿态标签的人工合成图片，而后利用人工合成图片对模型进行训练，或者也有先对人工合成图像进行处理使其更接近于真实图片、而后根据处理后的人工合成图片对模型进行训练，从而摆脱对真实训练数据的依赖。但是这样模型训练方式，所训练出的模型对真实图像的姿态估计效果差，难以满足相关使用需求。
技术实现思路
有鉴于此，本公开提出了一种基于域随机化的姿态估计模型训练方法及装置，以解决上述技术问题。根据本公开的一方面，提供一种基于域随机化的姿态估计模型训练方法，所述方法包括：>利用训练样本及其对应的第一姿态标签训练姿态估计模型，所述姿态估计模型根据确定的姿态估计方法构建，所述训练样本包括：多个第一合成图像，所述第一合成图像经过域随机化处理；将真实样本输入训练后的姿态估计模型，得到所述真实样本中目标物体的第一姿态值；利用确定的目标域随机化方式对所述真实样本和合成样本分别进行处理，得到处理后真实样本和处理后合并样本；利用所述处理后真实样本和所述第一姿态值对所述训练后的姿态估计模型进行训练，得到对应的第一损失函数，以及利用处理后合成样本和所述合成样本中目标物体的第二姿态标签，对所述训练后的姿态估计模型进行训练，得到对应的第二损失函数；根据所述第一损失函数和所述第二损失函数修正所述训练后的姿态估计模型的模型参数，得到修正后姿态估计模型，其中，所述真实样本包括多个第一真实图像，所述合成样本包括多个第二合成图像，所述第二合成图像带有所述第二姿态标签。在一种可能的实现方式中，所述方法还包括：利用多个待选域随机化方式对测试样本分别进行处理，得到对应于每种待选域随机化方式的处理后测试样本；将每种处理后测试样本、所述测试样本分别输入所述训练后的姿态估计模型，得到每种处理后测试样本的第二姿态值、所述测试样本的第三姿态值；基于所述测试样本的第三姿态标签对所述第三姿态值与对应于每种处理后测试样本的第二姿态值进行比较，根据比较结果从多个待选域随机化方式中选择出所述目标域随机化方式。在一种可能的实现方式中，基于所述测试样本的第三姿态标签对所述第三姿态值与对应于每种处理后测试样本的第二姿态值进行比较，根据比较结果从多个待选域随机化方式中选择出所述目标域随机化方式，包括：基于所述测试样本的第三姿态标签比较每种处理后测试样本第二姿态值与所述第三姿态值，得到每种待选域随机化方式所对应的姿态估计差异值；将所述多个待选域随机化方式中，对应的姿态估计差异值满足选择条件的待选域随机化方式，确定为所述目标域随机化方式。在一种可能的实现方式中，所述目标域随机化方式包括以下至少一种：随机改变图像背景、随机改变图像亮度、随机改变图像对比度、增加噪声、截断处理、模糊处理、随机在图像中加入遮挡。在一种可能的实现方式中，所述方法还包括：将待估计图像输入所述修正后姿态估计模型，得到所述待估计图像中目标物体的姿态值。根据本公开的另一方面，提供了一种基于域随机化的姿态估计模型训练装置，所述装置包括：第一训练模块，利用训练样本及其对应的第一姿态标签训练姿态估计模型，所述姿态估计模型根据确定的姿态估计方法构建，所述训练样本包括：多个第一合成图像，所述第一合成图像经过域随机化处理；第一标签确定模块，将真实样本输入训练后的姿态估计模型，得到所述真实样本中目标物体的第一姿态值；第一样本处理模块，利用确定的目标域随机化方式对所述真实样本和合成样本分别进行处理，得到处理后真实样本和处理后合并样本；损失函数确定模块，利用所述处理后真实样本和所述第一姿态值对所述训练后的姿态估计模型进行训练，得到对应的第一损失函数，以及利用处理后合成样本和所述合成样本中目标物体的第二姿态标签，对所述训练后的姿态估计模型进行训练，得到对应的第二损失函数；模型修正模块，根据所述第一损失函数和所述第二损失函数修正所述训练后的姿态估计模型的模型参数，得到修正后姿态估计模型，其中，所述真实样本包括多个第一真实图像，所述合成样本包括多个第二合成图像，所述第二合成图像带有所述第二姿态标签。在一种可能的实现方式中，所述装置还包括：第二样本处理模块，利用多个待选域随机化方式对测试样本分别进行处理，得到对应于每种待选域随机化方式的处理后测试样本；第二标签确定模块，将每种处理后测试样本、所述测试样本分别输入所述训练后的姿态估计模型，得到每种处理后测试样本的第二姿态值、所述测试样本的第三姿态值；方式确定模块，基于所述测试样本的第三姿态标签对所述第三姿态值与对应于每种处理后测试样本的第二姿态值进行比较，根据比较结果从多个待选域随机化方式中选择出所述目标域随机化方式。在一种可能的实现方式中，所述方式确定模块，包括：差异值确定子模块，基于所述测试样本的第三姿态标签比较每种处理后测试样本的第二姿态值与所述第三姿态值，得到每种待选域随机化方式所对应的姿态估计差异值；方式确定子模块，将所述多个待选域随机化方式中，对应的姿态估计差异值满足选择条件的待选域随机化方式，确定为所述目标域随机化方式。在一种可能的实现方式中，所述目标域随机化方式包括以下至少一种：随机改变图像背景、随机改变图像亮度、随机改变图像对比度、增加噪声、截断处理、模糊处理、随机在图像中加入遮挡。在一种可能的实现方式中，所述装置还包括：模型使用模块，将待估计图像输入所述修正后姿态估计模型，得到所述待估计图像中目标物体的姿态值。根据本公开的另一方面，提供了一种基于域随机化的姿态估计模型训练装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述基于域随机化的姿态估计模型训练方法。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现上述基于域随机化的姿态估计模型训练方法本文档来自技高网...

【技术保护点】
1.一种基于域随机化的姿态估计模型训练方法，其特征在于，所述方法包括：/n利用训练样本及其对应的第一姿态标签训练姿态估计模型，所述姿态估计模型根据确定的姿态估计方法构建，所述训练样本包括：多个第一合成图像，所述第一合成图像经过域随机化处理；/n将真实样本输入训练后的姿态估计模型，得到所述真实样本中目标物体的第一姿态值；/n利用确定的目标域随机化方式对所述真实样本和合成样本分别进行处理，得到处理后真实样本和处理后合并样本；/n利用所述处理后真实样本和所述第一姿态值对所述训练后的姿态估计模型进行训练，得到对应的第一损失函数，以及利用处理后合成样本和所述合成样本中目标物体的第二姿态标签，对所述训练后的姿态估计模型进行训练，得到对应的第二损失函数；/n根据所述第一损失函数和所述第二损失函数修正所述训练后的姿态估计模型的模型参数，得到修正后姿态估计模型，/n其中，所述真实样本包括多个第一真实图像，所述合成样本包括多个第二合成图像，所述第二合成图像带有所述第二姿态标签。/n

【技术特征摘要】
1.一种基于域随机化的姿态估计模型训练方法，其特征在于，所述方法包括：
利用训练样本及其对应的第一姿态标签训练姿态估计模型，所述姿态估计模型根据确定的姿态估计方法构建，所述训练样本包括：多个第一合成图像，所述第一合成图像经过域随机化处理；
将真实样本输入训练后的姿态估计模型，得到所述真实样本中目标物体的第一姿态值；
利用确定的目标域随机化方式对所述真实样本和合成样本分别进行处理，得到处理后真实样本和处理后合并样本；
利用所述处理后真实样本和所述第一姿态值对所述训练后的姿态估计模型进行训练，得到对应的第一损失函数，以及利用处理后合成样本和所述合成样本中目标物体的第二姿态标签，对所述训练后的姿态估计模型进行训练，得到对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数修正所述训练后的姿态估计模型的模型参数，得到修正后姿态估计模型，
其中，所述真实样本包括多个第一真实图像，所述合成样本包括多个第二合成图像，所述第二合成图像带有所述第二姿态标签。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用多个待选域随机化方式对测试样本分别进行处理，得到对应于每种待选域随机化方式的处理后测试样本；
将每种处理后测试样本、所述测试样本分别输入所述训练后的姿态估计模型，得到每种处理后测试样本的第二姿态值、所述测试样本的第三姿态值；
基于所述测试样本的第三姿态标签对所述第三姿态值与对应于每种处理后测试样本的第二姿态值进行比较，根据比较结果从多个待选域随机化方式中选择出所述目标域随机化方式。


3.根据权利要求2所述的方法，其特征在于，基于所述测试样本的第三姿态标签对所述第三姿态值与对应于每种处理后测试样本的第二姿态值进行比较，根据比较结果从多个待选域随机化方式中选择出所述目标域随机化方式，包括：
基于所述测试样本的第三姿态标签比较每种处理后测试样本第二姿态值与所述第三姿态值，得到每种待选域随机化方式所对应的姿态估计差异值；
将所述多个待选域随机化方式中，对应的姿态估计差异值满足选择条件的待选域随机化方式，确定为所述目标域随机化方式。


4.根据权利要求1所述的方法，其特征在于，所述目标域随机化方式包括以下至少一种：
随机改变图像背景、随机改变图像亮度、随机改变图像对比度、增加噪声、截断处理、模糊处理、随机在图像中加入遮挡。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待估计图像输入所述修正后姿态估计模型，得到所述待估计图像中目标物体的姿态值。


6.一种基于域随机化的姿态估计模型训练装置，其特征在于，所述装置包括：
第一训练模块，利用训练样本及其对应的第一姿态标签训练姿态估计模型，所述姿态估计模型根据确定的姿态估计方法构建，所述训练样本包括...

【专利技术属性】
技术研发人员：季向阳，李志刚，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11