人体关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种人体关键点检测方法、装置、电子设备及存储介质，其中人体关键点检测方法，包括：获取待检测人体图像，待检测人体图像为针对遮挡场景下的目标人体采集的图像；将待检测人体图像输入至预设关键点检测网络模型中，得到预设关键点检测网络模型输出的目标人体的关键点检测结果；其中，预设关键点检测网络模型用于提取待检测人体图像中不同的通道特征图，并对不同的通道特征图进行特征解耦，基于特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定关键点检测结果。使用本发明专利技术能够提高人体关键点检测的鲁棒性，提高适用范围。范围。范围。

【技术实现步骤摘要】
人体关键点检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种人体关键点检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着社会的不断进步和科技的不断发展，短视频、直播和在线教育等行业也在不断兴起，随之也会产生各种交互场景，其中最为常见的交互场景是基于人体关键点进行互动的场景，并且逐渐产生对复杂交互场景下人体关键点的交互需求，尤其针对遮挡场景下基于人体关键点进行交互的功能需求。因此，如何提高遮挡场景下人体关键点的检测精度和鲁棒性就显得尤为重要。
[0003]相关技术中，针对遮挡场景下人体关键点的检测方法，通过在数据输入空间合成的遮挡数据以及使用人体关键点检测网络模型直接进行训练的数据增强方法学习人体关键点，或者通过先识别遮挡位置、再检测可见的人体关键点、后使用可见的人体关键点和遮挡位置推理遮挡关键点的多阶段检测方法识别人体关键点。
[0004]然而，由于数据增强方法在数据输入端输入的遮挡数据，并不能表征丰富的真实遮挡情况，导致使用人体关键点检测的鲁棒性较低，多阶段检测方法这一非端到端的检测方法，在识别遮挡位置时需要大量标注有遮挡状态的数据进行，但当前合理正确标注遮挡状态的数据是稀少且难以获取的，从而导致人体关键点检测的适用范围受限。

技术实现思路

[0005]本专利技术提供一种人体关键点检测方法、装置、电子设备及存储介质，用以解决现有技术中适用数据增强方法和多阶段检测方法进行人体关键点检测时存在的鲁棒性低且适用范围受限的缺陷，实现在特征提取空间进行特征解耦的端到端人体关键点检测目的，不仅提高了人体关键点检测的鲁棒性，还大幅提高了适用范围。
[0006]本专利技术提供一种人体关键点检测方法，包括：
[0007]获取待检测人体图像，所述待检测人体图像为针对遮挡场景下的目标人体采集的图像；
[0008]将所述待检测人体图像输入至预设关键点检测网络模型中，得到所述预设关键点检测网络模型输出的所述目标人体的关键点检测结果；
[0009]其中，所述预设关键点检测网络模型用于提取所述待检测人体图像中不同的通道特征图，并对所述不同的通道特征图进行特征解耦，基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于所述语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定所述关键点检测结果。
[0010]根据本专利技术提供的一种人体关键点检测方法，所述提取所述待检测人体图像中不同的通道特征图，包括：
[0011]基于预设空域正则化损失函数，将所述待检测人体图像中不同的局部空域位置映
射到不同的通道中，确定所述待检测人体图像中不同的通道特征图；所述预设空域正则化损失函数用于限定卷积核之间不相关以及限定通道之间不相关。
[0012]根据本专利技术提供的一种人体关键点检测方法，所述对所述不同的通道特征图进行特征解耦，包括：
[0013]基于不同的预设遮挡物通道权重，对所述不同的通道特征图进行加权；
[0014]基于不同的预设人体通道权重，对所述不同的通道特征图进行加权。
[0015]根据本专利技术提供的一种人体关键点检测方法，所述基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，包括：
[0016]对所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样，确定目标遮挡物特征图和目标人体特征图；
[0017]对所述目标遮挡物特征图和所述目标人体特征图分别进行语义分割。
[0018]根据本专利技术提供的一种人体关键点检测方法，所述预设关键点检测网络模型的训练过程包括：
[0019]确定样本人体图像和初始关键点检测网络模型，所述初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型；
[0020]将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型；其中，所述特征解耦包括使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对特征提取所得不同的样本通道特征图进行加权。
[0021]根据本专利技术提供的一种人体关键点检测方法，所述将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型，包括：
[0022]将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，获取预设迭代次数训练后所得的样本遮挡物分割结果和样本人体分割结果，以及所述预设迭代次数训练后得到的中间关键点检测网络模型的关键点检测结果；
[0023]判断所述样本遮挡物分割结果的遮挡物分割指标值是否达到预设遮挡物分割指标阈值、所述样本人体分割结果的人体分割指标值是否达到预设人体分割指标阈值以及所述关键点检测结果的检测指标值是否达到预设检测阈值；
[0024]确定所述遮挡物分割指标值达到所述预设遮挡物分割指标阈值、所述人体分割指标值达到所述预设人体分割指标阈值以及所述检测指标值达到所述预设检测阈值时，停止训练，并确定训练停止时对应的中间关键点检测网络模型为所述预设关键点检测网络模型；
[0025]确定所述检测指标值未达到所述预设检测阈值、所述遮挡物分割指标值未达到所述预设遮挡物分割指标阈值和/或所述人体分割指标值未达到所述预设人体分割指标阈值时，对所述中间关键点检测网络模型的参数进行更新、对参与所述预设迭代次数训练的样本遮挡物通道权重和/或样本人体通道权重进行调整，基于调整后的样本遮挡物通道权重、调整后的样本人体通道权重和/或模型参数更新后的中间关键点检测网络模型再次进行所
述迭代训练；直至训练停止时确定所述预设关键点检测网络模型。
[0026]根据本专利技术提供的一种人体关键点检测方法，所述特征解耦模型包括遮挡物通道注意力模型和人体通道注意力模型，所述将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，包括：
[0027]针对每次迭代训练，将所述样本人体图像输入至所述初始关键点检测网络模型的特征提取模型中，得到所述样本人体图像中不同的样本通道特征图；
[0028]将所述不同的样本通道特征图输入至所述遮挡物通道注意力模型进行卷积、下采样和全连接后，确定不同的样本遮挡物通道权重；
[0029]将所述不同的样本通道特征图输入至所述人体通道注意力模型进行卷积、下采样和全连接后，确定不同的样本人体通道权重；
[0030]使用所述不同的样本遮挡物通道权重和所述不同的样本人体通道权重分别对所述不同的样本通道特征图进行加权，确定样本第一遮挡物特征图和样本第一人体特征图；
[0031]对所述样本第一遮挡物特征图和所述样本第一人体特征图分别进行下采样，确定样本目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，包括：获取待检测人体图像，所述待检测人体图像为针对遮挡场景下的目标人体采集的图像；将所述待检测人体图像输入至预设关键点检测网络模型中，得到所述预设关键点检测网络模型输出的所述目标人体的关键点检测结果；其中，所述预设关键点检测网络模型用于提取所述待检测人体图像中不同的通道特征图，并对所述不同的通道特征图进行特征解耦，基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，基于所述语义分割所得的第二遮挡物特征图和第二人体特征图进行关键点检测，确定所述关键点检测结果。2.根据权利要求1所述的人体关键点检测方法，其特征在于，所述提取所述待检测人体图像中不同的通道特征图，包括：基于预设空域正则化损失函数，将所述待检测人体图像中不同的局部空域位置映射到不同的通道中，确定所述待检测人体图像中不同的通道特征图；所述预设空域正则化损失函数用于限定卷积核之间不相关以及限定通道之间不相关。3.根据权利要求1所述的人体关键点检测方法，其特征在于，所述对所述不同的通道特征图进行特征解耦，包括：基于不同的预设遮挡物通道权重，对所述不同的通道特征图进行加权；基于不同的预设人体通道权重，对所述不同的通道特征图进行加权。4.根据权利要求1所述的人体关键点检测方法，其特征在于，所述基于所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行语义分割，包括：对所述特征解耦所得的第一遮挡物特征图和第一人体特征图分别进行下采样，确定目标遮挡物特征图和目标人体特征图；对所述目标遮挡物特征图和所述目标人体特征图分别进行语义分割。5.根据权利要求1至4任一项所述的人体关键点检测方法，其特征在于，所述预设关键点检测网络模型的训练过程包括：确定样本人体图像和初始关键点检测网络模型，所述初始关键点检测网络模型包括特征提取模型、特征解耦模型、遮挡物语义分割模型、人体语义分割模型和关键点检测模型；将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型；其中，所述特征解耦包括使用不同的样本遮挡物通道权重和不同的样本人体通道权重分别对特征提取所得不同的样本通道特征图进行加权。6.根据权利要求5所述的人体关键点检测方法，其特征在于，所述将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的训练，确定所述预设关键点检测网络模型，包括：将所述样本人体图像输入至所述初始关键点检测网络模型中进行特征提取、特征解耦、下采样、语义分割和关键点检测的迭代训练，获取预设迭代次数训练后所得的样本遮挡物分割结果和样本人体分割结果，以及所述预设迭代次数训练后得到的中间关键点检测网络模型的关键点检测结果；判断所述样本遮挡物分割结果的遮挡物分割指标值是否达到预设遮挡物分割指标阈
值、所述样本人体分割结果的人体分割指标值是否达到预设人体分割指标阈值以及所述关键点检测结果的检测指标值是否达到预设检测阈值；确定所述遮挡物分割指标值达到所述预设遮挡物分割指标阈值、所述人体分割指标值达到所述预设人体分割指标阈值以及所述检测指标值达到所述预设检测阈值时，停止训练，并确定训练停止时对应...

【专利技术属性】
技术研发人员：宁欣，冉航，张玉贵，李爽，李卫军，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：