模型训练方法、人体姿态检测方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了模型训练方法、人体姿态检测方法、装置、设备及介质，该训练方法包括：将当前迭代下对应的图像训练样本输入至当前的姿态检测网络模型，并根据图像训练样本的数据形式，得到当前迭代下对应的第一损失函数；根据获得的相机参数对姿态检测网络模型的当前输出结果进行重投影处理，并基于重投影处理结果得到当前迭代下对应的第二损失函数；基于通过第一损失函数及第二损失函数形成的拟合损失函数，对姿态检测网络模型进行反向传播，得到用于下一迭代的姿态检测网络模型。利用该方法，降低了训练样本的采集难度，保证了网络训练的易实现性，同时，在图像域上完成整个模型训练，更有利于模型训练的稳定和快速收敛。敛。敛。

【技术实现步骤摘要】
模型训练方法、人体姿态检测方法、装置、设备及介质


[0001]本专利技术实施例涉及空间位置检测
，尤其涉及模型训练方法、人体姿态检测方法、装置、设备及介质。

技术介绍

[0002]随着人工智能技术的快速发展，人工神经网络得到了广泛的应用。人工神经网络又称神经网络，是一种模拟大脑神经突触联接的结构进行信息处理的模型。在三维空间位置检测领域，利用神经网络技术可以构建用于人体三维姿态检测的姿态估计神经网络模型。
[0003]对于人体三维姿态的检测，已经成为计算机视觉领域中一类重要的问题，该类技术可认为是计算机理解人类行为的基础。其在人机交互、影视特效、互动娱乐等领域有广泛的应用前景。一般的，人体姿态检测相当于从包含人体的图像中检测出人体关键点，并获得各人体关键点的三维空间位置坐标
[0004]但是现有所采用进行人体三维姿态检测的姿态检测神经网络模型存在下述问题：1)由于目前业内缺乏有效的自然场景三维人体标注手段，导致目前缺乏高质量的无约束场景标注数据；2)模型具备收敛困难的问题。从而导致基于现有姿态检测神经网络模型无法实现自然场景下人体三维姿态的精准检测。

技术实现思路

[0005]本专利技术实施例提供了模型训练方法、人体姿态检测方法、装置、设备及介质，实现了人体姿态检测所需网络模型的有效训练，保证了人体姿态检测结果的精准度。
[0006]第一方面，本专利技术实施例提供了一种模型训练方法，该方法包括：
[0007]将当前迭代下对应的图像训练样本输入至当前的姿态检测网络模型，并根据所述图像训练样本的数据形式，得到所述当前迭代下对应的第一损失函数；
[0008]根据获得的相机参数对所述姿态检测网络模型的当前输出结果进行重投影处理，并基于重投影处理结果得到所述当前迭代下对应的第二损失函数；
[0009]基于通过所述第一损失函数及所述第二损失函数形成的拟合损失函数，对所述姿态检测网络模型进行反向传播，得到用于下一迭代的姿态检测网络模型，进入下一迭代直至满足迭代结束条件，以实现对姿态检测网络模型的训练。
[0010]第二方面，本专利技术实施例提供了一种人体姿态检测方法，该方法包括：
[0011]获取待检测的人物实景图像；
[0012]将所述人物实景图像输入至预设姿态检测网络模型中，其中，所述预设姿态检测网络模型采用上述第一方面实施例所提供的方法训练得到；
[0013]根据所述预设姿态检测网络模型的输出结果，对所述人物实景图像的人物进行人体姿态检测，获得所述人物各关键点的三维空间位置坐标。
[0014]第三方面，本专利技术实施例提供了一种模型训练装置，该装置包括：
[0015]第一信息确定模块，用于将当前迭代下对应的图像训练样本输入至当前的姿态检测网络模型，并根据所述图像训练样本的数据形式，得到所述当前迭代下对应的第一损失函数；
[0016]第二信息确定模块，用于根据获得的相机参数对所述姿态检测网络模型的当前输出结果进行重投影处理，并基于重投影处理结果得到所述当前迭代下对应的第二损失函数；
[0017]模型训练模块，用于基于通过所述第一损失函数及所述第二损失函数形成的拟合损失函数，对所述姿态检测网络模型进行反向传播，得到用于下一迭代的姿态检测网络模型，进入下一迭代直至满足迭代结束条件，以实现对姿态检测网络模型的训练。
[0018]第四方面，本专利技术实施例提供了一种人体姿态检测装置，该装置包括：
[0019]信息获取模块，用于获取待检测的人物实景图像；
[0020]信息输入模块，用于将所述人物实景图像输入至预设姿态检测网络模型中，其中，所述预设姿态检测网络模型采用本专利技术实施例提供的训练方法训练得到；
[0021]信息确定模块，用于根据所述预设姿态检测网络模型的输出结果，对所述人物实景图像的人物进行人体姿态检测，获得所述人物各关键点的三维空间位置坐标。
[0022]第五方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例提供的方法。
[0023]第六方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例提供的方法。
[0024]本专利技术实施例中提供的模型训练方法、人体姿态检测方法、装置、设备及介质，该模型训练方法中首先将图像训练样本输入至当前的姿态检测网络模型，并根据图像训练样本的数据形式，来得到当前迭代下的第一损失函数；以及根据获得的相机参数对姿态检测网络模型的当前输出结果进行重投影处理，并基于重投影处理结果得到当前迭代下对应的第二损失函数；最终，基于第一损失函数与第二损失函数形成的拟合损失函数，对姿态检测网络模型进行反向传播，以此完成当前迭代下的模型训练。上述技术方案，对作为图像训练样本不具备特定限定，仅需要二维标注的自然场景图像或者带有二维标注及三维标注的约束场景图像即可进行模型训练，降低了训练样本的采集难度，减小了训练数据和实际应用场景间的领域差异，保证了网络训练的易实现性；同时，相比于传统的在坐标域下的重投影处理，上述方案简单有效的实现了在图像域上的重投影，在图像域上完成整个模型训练，更有利于模型训练的稳定和快速收敛。采用上述方式训练的模型进行人体姿态检测时，能够更加准确地检测出人物图像中人物各关键点的三维空间坐标，有效提升了人体三维姿态检测的准确率。
附图说明
[0025]图1为本专利技术实施例提供的一种模型训练方法的流程示意图；
[0026]图2给出了本专利技术实施例二提供的一种模型训练方法的流程示意图；
[0027]图2a给出了本实施例通过对姿态检测网络模型进行训练的结构示意图；
[0028]图3为本专利技术实施例三提供的一种人体姿态检测方法的流程示意图；
[0029]图4为本专利技术实施例四提供的一种模型训练装置的结构框图；
[0030]图5为本专利技术实施例五提供的一种人体姿态检测装置的结构框图；
[0031]图6为本专利技术实施例提供的一种计算机设备的结构框图。
具体实施方式
[0032]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0033]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0034]图1为本专利技术实施例提供的一种模型训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：将当前迭代下对应的图像训练样本输入至当前的姿态检测网络模型，并根据所述图像训练样本的数据形式，得到所述当前迭代下对应的第一损失函数；根据获得的相机参数对所述姿态检测网络模型的当前输出结果进行重投影处理，并基于重投影处理结果得到所述当前迭代下对应的第二损失函数；基于通过所述第一损失函数及所述第二损失函数形成的拟合损失函数，对所述姿态检测网络模型进行反向传播，得到用于下一迭代的姿态检测网络模型，进入下一迭代直至满足迭代结束条件，以实现对姿态检测网络模型的训练。2.根据权利要求1所述的方法，其特征在于，所述姿态检测网络模型为采用全卷积网络结构构建的热图回归网络模型；图像训练样本的数据形式为：自然场景样本图像-关键点二维坐标的标注形式、或者约束场景样本图像-关键点二维坐标以及关键点三维坐标的标注形式。3.根据权利要求2所述的方法，其特征在于，所述根据所述图像训练样本的数据形式，得到所述当前迭代下对应的第一损失函数，包括：当所述图像训练样本的数据形式为自然场景样本图像-关键点二维坐标的标注形式时，从所述姿态检测网络模型的当前输出结果中提取第一当前概率热度图；获取预先确定的第一标准概率热度图，并根据所述第一标准概率热度图与所述第一当前概率热度图，得到所述当前迭代下对应的第一损失函数；其中，所述第一标准概率热度图通过对所述图像训练样本中关键点二维坐标的转化确定。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一标准概率热度图与所述第一当前概率热度图，得到所述当前迭代下对应的第一损失函数，包括：确定所述第一标准概率热度图所对应数据与所述第一当前概率热度图所对应数据的第一差值表达式；将基于所述第一差值表达式所形成欧几里得范数的第一平方表达式确定为所述当前迭代下对应的第一损失函数。5.根据权利要求2所述的方法，其特征在于，所述根据所述图像训练样本的数据形式，得到所述当前迭代下对应的第一损失函数，包括：当所述图像训练样本的数据形式为约束场景样本图像-关键点二维坐标以及关键点三维坐标的标注形式时，获得所述姿态检测网络模型输出的当前热度图集合，其中，当前热度图集合包含一张第二当前概率热度图以及当前三维坐标热度图组；获取预先确定的标准热度图集合，并根据所述标准热度图集合与所述当前热度图集合，得到所述当前迭代下对应的第一损失函数；其中，所述标准热度图集合通过对所述图像训练样本中关键点三维坐标的转化确定，所述标准热度图集合包含一张第二标准概率热度图及标准三维坐标热度图组。6.根据权利要求5所述的方法，其特征在于，所述根据所述标准热度图集合与所述当前热度图集合，得到所述当前迭代下对应的第一损失函数，包括：确定所述第二标准概率热度图所对应数据与所述第二当前概率热度图所对应数据的第二差值表达式；
确定所述标准三维坐标热度图组所对应数据与所述当前三维坐标热度图组所对应数据的第三差值表达式；基于所述第二差值表达式形成欧几里得范数的第二平方表达式，并基于所述第三差值表达式形成欧几里得范数的第三平方表达式；将所述第二平方表达式与所述第三平方表达式相加，构成所述当前迭代下对应的第一损失函数。7.根据权利要求1所述的方法，其特征在于，所述根据获得的相机参数对所述姿态检测网络模型的当前输出结果进行重投影处理，包括：获取包含在所述图像训练样本中的相机参数，或者，获取所述姿态检测网络模型的一个输出分支对应所述图像训练样本输出的相机参数；从所述姿态检测网络模型的当前输出结果中提取当前三维横坐标热度图以及当前三维纵坐标热度图；根据所述相机参数、当前三维横坐标热度图以及当前三维纵坐标热度图，结合设定的重投影公式，确定所述图像训练样本中关键点...

【专利技术属性】
技术研发人员：贾森，
申请(专利权)人：有半岛北京信息科技有限公司，
类型：发明
国别省市：