对象描述参数的生成方法、深度学习模型的训练方法技术

本公开提供了一种对象描述参数的生成方法、深度学习模型的训练方法及装置、设备、介质和产品，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于3D视觉、增强现实、虚拟现实等场景。具体实现方案包括：对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的图像特征；针对图像序列中的第i帧图像，对分别与第i帧图像和相邻帧图像关联的图像特征进行融合，得到针对第i帧图像的融合后的图像特征；以及基于融合后的图像特征，确定由第i帧图像指示的对象描述参数，i＝1......N，N为大于1的整数，相邻帧图像包括图像序列中与第i帧图像相邻的至少一帧图像。像序列中与第i帧图像相邻的至少一帧图像。像序列中与第i帧图像相邻的至少一帧图像。

【技术实现步骤摘要】
对象描述参数的生成方法、深度学习模型的训练方法


[0001]本公开涉及人工智能
，具体为深度学习、计算机视觉
，可应用于3D视觉、增强现实、虚拟现实等场景。

技术介绍

[0002]对象描述参数在3D视觉、增强现实、虚拟现实等场景中有着广泛应用。但是，在一些场景下，对象描述参数的生成过程存在参数准确性不佳、参数确定成本高的现象。

技术实现思路

[0003]本公开提供了一种对象描述参数的生成方法、深度学习模型的训练方法及装置、设备、介质和产品。
[0004]根据本公开的一方面，提供了一种对象描述参数的生成方法，包括：对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的图像特征；针对所述图像序列中的第i帧图像，对分别与所述第i帧图像和相邻帧图像关联的图像特征进行融合，得到针对所述第i帧图像的融合后的图像特征；以及基于所述融合后的图像特征，确定由所述第i帧图像指示的对象描述参数，i＝1，......N，N为大于1的整数，所述相邻帧图像包括所述图像序列中与所述第i帧图像相邻的至少一帧图像。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象描述参数的生成方法，包括：对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的图像特征；针对所述图像序列中的第i帧图像，对分别与所述第i帧图像和相邻帧图像关联的图像特征进行融合，得到针对所述第i帧图像的融合后的图像特征；以及基于所述融合后的图像特征，确定由所述第i帧图像指示的对象描述参数，其中，i＝1，......N，N为大于1的整数，所述相邻帧图像包括所述图像序列中与所述第i帧图像相邻的至少一帧图像。2.根据权利要求1所述的方法，还包括：根据所述对象描述参数，对所述第i帧图像中的目标对象进行姿势识别；和/或根据所述对象描述参数，构建针对所述目标对象的三维对象模型。3.根据权利要求2所述的方法，其中，所述根据所述对象描述参数，对所述第i帧图像中的目标对象进行姿势识别，包括：根据所述对象描述参数，确定所述目标对象的三维关键点信息；根据针对所述第i帧图像的投影参数，确定与所述三维关键点信息对应的二维关键点信息，其中，所述投影参数为基于所述融合后的图像特征得到；以及基于所述三维关键点信息和所述二维关键点信息，对所述目标对象进行姿势识别，得到姿势识别结果。4.根据权利要求2所述的方法，其中，所述对象描述参数包括对象形态参数和对象姿势参数；所述根据所述对象描述参数，构建针对所述目标对象的三维对象模型，包括根据由任意帧图像指示的所述对象形态参数，对三维基准模型进行拉伸变化，得到与所述目标对象的形态一致的初始对象模型；以及根据由所述第i帧图像指示的所述对象姿势参数，对所述初始对象模型中的模型顶点进行旋转和/或偏移处理，得到针对所述目标对象的三维对象模型。5.一种深度学习模型的训练方法，包括：利用待预训练的深度学习模型，根据分别与当前帧图像和相邻帧图像关联的图像特征，确定由所述当前帧图像指示的对象描述参数；基于所述对象描述参数，确定所述当前帧图像中的对象关键点信息；根据所述对象关键点信息和预设对象关键点标签，调整所述待预训练的深度学习模型的模型参数，得到经训练的深度学习模型，其中，所述相邻帧图像包括图像序列中与所述当前帧图像相邻的至少一帧图像。6.根据权利要求5所述的方法，其中，所述利用待预训练的深度学习模型，根据分别与当前帧图像和相邻帧图像关联的图像特征，确定由所述当前帧图像指示的对象描述参数，包括：利用所述待预训练的深度学习模型，对分别与所述当前帧图像和所述相邻帧图像关联的图像特征进行融合，得到融合后的图像特征；以及根据所述融合后的图像特征和预设基准描述参数，确定由所述当前帧图像指示的对象描述参数。7.根据权利要求6所述的方法，其中，所述基于所述对象描述参数，确定所述当前帧图像中的对象关键点信息，包括：
基于所述对象描述参数，确定所述当前帧图像中的三维关键点信息；根据针对所述当前帧图像的投影参数，确定与所述三维关键点信息对应的二维关键点信息，其中，所述投影参数为基于所述融合后的图像特征得到；以及所述三维关键点信息和所述二维关键点信息构成所述当前帧图像中的对象关键点信息。8.根据权利要求5所述的方法，其中，所述基于所述对象描述参数，确定所述当前帧图像中的对象关键点信息，包括：基于所述对象描述参数，构建三维对象模型；确定所述三维对象模型中的基准关键点信息和扩展关键点信息；以及所述基准关键点信息和所述扩展关键点信息构成所述当前帧图像中的对象关键点信息，其中，所述基准关键点包括用于定位对象部位的关键点，所述扩展关键点包括用于协同表征所属部位的三维姿态的关键点。9.根据权利要求5至8中任一项所述的方法，其中，所述根据所述对象关键点信息和预设对象关键点标签，调整所述待预训练的深度学习模型的模型参数，得到经训练的深度学习模型，包括：根据由所述对象关键点信息指示的关键点预测坐标和由所述对象关键点标签指示的关键点标注坐标，确定损失函数值；以及基于所述损失函数值，调整所述待预训练的深度学习模型的模型参数，得到所述经训练的深度学习模型。10.根据权利要求5至8中任一项所述的方法，还包括：基于所述经训练的深度学习模型，得到对象描述参数的生成模型。11.一种对象描述参数的生成方法，包括：将图像序列中的至少一帧图像输入深度学习模型；以及利用所述深度学习模型，根据分别与第i帧图像和相邻帧图像关联的图像特征，输出由所述第i帧图像指示的对象描述参数，其中，所述深度学习模型为根据权利要求5至10中任一项所述的方法训练得到，i＝1，......N，N为大于1的整数，所述相邻帧图像包括所述图像序列中与所述第i帧图像相邻的至少一帧图像。12.一种对象描述参数的生成装置，包括：第一处理模块，用于对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的图像特征；第二处理模块，用于针对所述图像序列中的第i帧图像，对分别与所述第i帧图像和相邻帧图像关联的图像特征进行融合，得到针对所述第i帧图像的融合后的图像特征；以及第三处理模块，用于基于所述融合后的图像特征，确定由所述第i帧图像指示的对象描述参数，其中，i＝1，......N，N为大于1的整数，所述相邻帧图像包...

【专利技术属性】
技术研发人员：杨黔生，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：