人体关节点检测模型训练方法及检测方法、存储介质终端技术

本发明专利技术公开了一种人体关节点检测模型训练方法及检测方法、存储介质和终端，其中训练方法包括：预设结构训练模型结构包括相互连接的生成网络；生成网络包括依次连接的卷积模块、N个密集计算模块组、瓶颈模块和输出模块，卷积模块、N个密集计算模块组和瓶颈模块形成模块组，模块组中每两个相邻模块之间均通过过渡模块连接，以使得模块组中的每个模块均符合预设输入条件，每个密集计算模块组内均包括1

【技术实现步骤摘要】
人体关节点检测模型训练方法及检测方法、存储介质终端


[0001]本专利技术涉及图像识别
，尤其涉及人体关节点检测模型训练方法及检测方法、存储介质和终端。

技术介绍

[0002]人体姿态识别中的关节点检测涉及到计算机视觉领域众多理论和方法，到目前为止，已经有大量研究人员提出了关于人体姿态识别的方法，产生了很多优秀的成果，但是大多都是针对二维光学图像的算法，而二维光学图像的检测识别很容易受到光照和阴影等外部环境的干扰，还有不同角度下会发生人体部位遮挡，以及人的体型、服装的多样化，导致人体姿态检测识别的准确率较低。
[0003]因此，如何有效克服由于光照等外部环境以及人体遮挡等导致的人体关节点检测识别的准确率较低的问题，是待研究的课题。

技术实现思路

[0004]本专利技术所要解决的技术问题是现有人体关节点检测方法容易受到光照、阴影等外部环境以及人身体部位或服饰等遮挡的影响，进而导致其人体关节点检测准确率较低。
[0005]为了解决上述技术问题，本专利技术提供了一种人体关节点检测模型训练方法，包括：
[0006]获取待训练数据集，所述待训练数据集包括多个训练数据，每个所述训练数据均包括人体深度图像数据以及与所述人体深度图像数据对应的观测人体二维关节点坐标和观测人体三维关节点坐标；
[0007]基于所述待训练数据集对预设结构训练模型进行训练，以获取人体关节点检测模型；
[0008]其中，所述预设结构训练模型结构包括相互连接的生成网络和鉴别网络；
[0009]所述生成网络包括依次连接的卷积模块、N个密集计算模块组、瓶颈模块和输出模块，所述卷积模块、N个密集计算模块组和瓶颈模块形成模块组，所述模块组中每两个相邻模块之间均通过过渡模块连接，以使得所述模块组中的每个模块均符合预设输入条件，每个所述密集计算模块组内均包括1
×
1瓶颈层，N≥4；
[0010]所述预设输入条件为：所述模块组中当前模块之前的所有模块输出的特征图像均作为当前模块的输入。
[0011]优选地，基于所述待训练数据集对预设结构训练模型进行训练，以获取人体关节点检测模型步骤包括：
[0012]对所述待训练数据集内的所有训练数据进行分组，以获取多组待训练数据组；
[0013]将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组；
[0014]基于所述待输入训练数据组对待训练检测模型进行训练，以获取临时关节点检测模型，判断在生成当前所述临时关节点检测模型时获取的生成网络损失函数值是否小于预设阈值，若是则将当前所述临时关节点检测模型作为人体关节点检测模型，否则将当前所
述临时关节点检测模型作为下一轮训练的待训练检测模型，且M加1，并重新将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组，以进行下一轮训练；
[0015]其中，M的初始值为1，且当M等于待训练数据组总组数时，设定M加1后为1，初始的待训练检测模型为预设结构训练模型。
[0016]优选地，基于所述待输入训练数据组对待训练检测模型进行训练，以获取临时关节点检测模型包括：
[0017]所述待训练检测模型的生成网络分别基于所述待训练数据组中的人体深度图像数据获取对应的预测人体三维坐标点，所有所述预测三维坐标点形成预测三维坐标点集，并基于所述预测人体三维坐标点集与所述待训练数据组中的观测人体三维关节点坐标获取生成损失值；
[0018]所述待训练检测模型的鉴别网络分别将所述预测三维坐标点集中的预测人体三维坐标点转换为预测人体二维坐标点，以获取预测二维坐标点集，并基于所述预测二维坐标点集获取鉴别损失值；
[0019]基于所述生成损失值和鉴别损失值获取生成网络损失函数值，并基于所述生成网络损失函数值对所述待训练检测模型的生成网络进行梯度调整，以获取临时关节点检测模型中的生成网络。
[0020]优选地，所述生成网络损失函数值表达式为：
[0021]Loss
G
＝λ
·
Loss
GAN
+Loss
Content
；
[0022][0023]Loss
GAN
＝
‑
D
W
(H(G(I
Input
)))；
[0024]其中，Loss
G
表示生成网络损失函数值，Loss
GAN
表示鉴别损失值，Loss
Content
表示生成损失值，λ表示超参数，n表示人体关节点中的第n个人体关键关节点，N表示人体关节点中人体关键关节点总个数，i、j、k分别表示三维关节点坐标中的三个坐标，表示观测人体三维关节点坐标，I(i,j,k)表示预测人体三维关节点坐标，D
W
表示鉴别网络，G()表示生成网络，H()表示将预测人体三维坐标点转换为预测人体二维坐标点，I
Input
表示人体深度图像数据。
[0025]优选地，基于所述待输入训练数据组对待训练检测模型进行训练，以获取临时关节点检测模型还包括：
[0026]所述待训练检测模型的鉴别网络还基于所述预测二维坐标点集和所述待训练数据组中的观测二维坐标点集获取鉴别网络损失函数值，并基于所述鉴别网络损失函数值对所述待训练检测模型中的鉴别网络进行梯度调整，以获取临时关节点检测模型中的鉴别网络。
[0027]优选地，所述鉴别网络包括依次连接的3个全连接层、批标准化层以及二分类全连接层。
[0028]优选地，所述过渡模块包括依次连接的批标准化层、激活层、1
×
1瓶颈层以及2
×
2平均池化层。
[0029]为了解决上述技术问题，本专利技术提供了一种人体关节点检测模型训练方法，包括：
[0030]获取待检测数据；
[0031]将所述待检测数据输入到如上人体关节点检测模型训练方法获取的人体关节点检测模型中，以获取对应的人体三维关节点坐标。
[0032]为了解决上述技术问题，本专利技术提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行人体关节点检测模型训练方法或人体关节点检测方法。
[0033]为了解决上述技术问题，本专利技术提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行人体关节点检测模型训练方法或人体关节点检测方法。
[0034]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
[0035]应用本专利技术实施例提供的人体关节点检测模型训练方法，采用深度图像数据作为训练数据，该种深度信息的运用有效地克服了光照、人体部位遮挡等一些普通光学图像经常出现的客观外部环境问题；采用生成对抗网络模型作为训练模型，同时结合基于生成网络获取的损失函数值和鉴别网络获取的损失函数值获取最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关节点检测模型训练方法，包括：获取待训练数据集，所述待训练数据集包括多个训练数据，每个所述训练数据均包括人体深度图像数据以及与所述人体深度图像数据对应的观测人体二维关节点坐标和观测人体三维关节点坐标；基于所述待训练数据集对预设结构训练模型进行训练，以获取人体关节点检测模型；其中，所述预设结构训练模型结构包括相互连接的生成网络和鉴别网络；所述生成网络包括依次连接的卷积模块、N个密集计算模块组、瓶颈模块和输出模块，所述卷积模块、N个密集计算模块组和瓶颈模块形成模块组，所述模块组中每两个相邻模块之间均通过过渡模块连接，以使得所述模块组中的每个模块均符合预设输入条件，每个所述密集计算模块组内均包括1
×
1瓶颈层，N≥4；所述预设输入条件为：所述模块组中当前模块之前的所有模块输出的特征图像均作为当前模块的输入。2.根据权利要求1所述的模型获取方法，其特征在于，基于所述待训练数据集对预设结构训练模型进行训练，以获取人体关节点检测模型步骤包括：对所述待训练数据集内的所有训练数据进行分组，以获取多组待训练数据组；将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组；基于所述待输入训练数据组对待训练检测模型进行训练，以获取临时关节点检测模型，判断在生成当前所述临时关节点检测模型时获取的生成网络损失函数值是否小于预设阈值，若是则将当前所述临时关节点检测模型作为人体关节点检测模型，否则将当前所述临时关节点检测模型作为下一轮训练的待训练检测模型，且M加1，并重新将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组，以进行下一轮训练；其中，M的初始值为1，且当M等于待训练数据组总组数时，设定M加1后为1，初始的待训练检测模型为预设结构训练模型。3.根据权利要求2所述的模型获取方法，其特征在于，基于所述待输入训练数据组对待训练检测模型进行训练，以获取临时关节点检测模型包括：所述待训练检测模型的生成网络分别基于所述待训练数据组中的人体深度图像数据获取对应的预测人体三维坐标点，所有所述预测三维坐标点形成预测三维坐标点集，并基于所述预测人体三维坐标点集与所述待训练数据组中的观测人体三维关节点坐标获取生成损失值；所述待训练检测模型的鉴别网络分别将所述预测三维坐标点集中的预测人体三维坐标点转换为预测人体二维坐标点，以获取预测二维坐标点集，并基于所述预测二维坐标点集获取鉴别损失值；基于所述生成损失值和鉴别损失值获取生成网络损失函数值，并基于所述生成网络损失函数值对所述待训练检测模型的生成网络进行梯度调整，以获取临时关节点检测模型中的生成网络。4.根据权利要求3所述的模型获取方法，其特征在于，所述生成网...

【专利技术属性】
技术研发人员：刘立庄，张嘉璐，韩振奇，仲越，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：