人体轮廓点定位方法及系统、设备、存储介质技术方案

本发明专利技术公开了一种人体轮廓点定位方法及系统、设备、存储介质，包括构建人体轮廓点定位神经网络模型；获取训练数据集，并使用训练数据集训练神经网络模型；将带有人体的图像输入神经网络模型，获得图像上的人体骨骼点坐标和人体轮廓点坐标；基于图像上的人体骨骼点坐标和人体轮廓点坐标，获得人体区块连接后的轮廓点。本发明专利技术的神经网络模型预测的是区块独立的轮廓点，而后续通过规则来进行区块连接，区块独立的轮廓点定义清晰，在人体姿态连续变化时，轮廓点位置变化也是连续的，区块独立的轮廓点的这些优点有利于神经网络的训练以获得好的预测结果。好的预测结果。好的预测结果。

【技术实现步骤摘要】
人体轮廓点定位方法及系统、设备、存储介质


[0001]本专利技术属于人工智能
，特别涉及一种人体轮廓点定位方法及系统、设备、存储介质。

技术介绍

[0002]随着人工智能技术的发展，人工智能技术被广泛使用。例如，在通过图像采集装置采集到用户的图像时，就能够根据用户的图像，给出用户的人体骨骼关键点，但是，基于这种检测方法得到的检测结果往往不够精准，检测结果仅仅包括与用户骨骼相关联的多个关键点的坐标，无法给出用户更多、且更详细地分布于用户人体各个部位的人体轮廓点的坐标。
[0003]在某一应用场景中，用于人体图像的美体瘦身塑形等人体图像编辑操作，因此，需要精准地获知当前用户的多个人体骨骼点和多个人体轮廓点的坐标，而现有的检测方法得到的检测结果中的关键点的数量过少，且得到的关键点多为用户的骨骼关键点，这样，检测结果只能展示出用户的二维骨架，用户体验度低。

技术实现思路

[0004]针对上述的问题，本专利技术提供一种人体轮廓点定位方法及系统、设备、存储介质，其方法包括：
[0005]构建人体轮廓点定位神经网络模型；
[0006]获取训练数据集，并使用所述训练数据集训练所述神经网络模型；
[0007]将带有人体的图像输入所述神经网络模型，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标；
[0008]基于所述图像上的人体骨骼点坐标和人体轮廓点坐标，获得人体区块连接后的轮廓点。
[0009]优选的是，基于所述带有人体的图像，训练所述神经网络模型步骤包括：
>[0010]所述神经网络模型包括一个backbone网络和两个headnet网络，所述两个headnet网络分别为人体轮廓点headnet网络和人体骨骼点headnet网络；
[0011]冻结所述人体轮廓点headnet网络，使用所述训练数据集训练所述backbone网络和所述人体骨骼点headnet网络；
[0012]训练完成后，冻结所述backbone网络和所述人体骨骼点headnet网络，并使用所述训练数据集训练所述人体轮廓点headnet网络；
[0013]训练完成后，使用所述训练数据集训练所述backbone网络和所述两个headnet网络。
[0014]优选的是，所述训练数据集包括正样本数据集和负样本数据集，所述正样本数据集为带有人体框、人体骨骼点和人体轮廓点标注的图片集合，所述负样本数据集为没有人体的图片集合。
[0015]优选的是，将带有人体的图像输入所述神经网络模型，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标包括：
[0016]获取所述带有人体的图像中的人体框，并将所述人体框修改为与所述神经网络模型相等的宽高比且将所述图像缩放成固定大小；
[0017]将固定大小的所述图像输入所述神经网络模型，得到N个人体骨骼点的热度图和M个人体轮廓点的热度图；
[0018]根据所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获得固定大小的所述图像上的人体骨骼点坐标、人体骨骼点置信度、人体轮廓点坐标和人体轮廓点置信度；
[0019]基于固定大小的所述图像上的人体骨骼点坐标和人体轮廓点的坐标，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标。
[0020]优选的是，根据所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获得固定大小的所述图像上的人体骨骼点坐标、人体骨骼点置信度、人体轮廓点坐标和人体轮廓点置信度包括：
[0021]基于所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获取每张单通道热度图上响应值最大的像素点位置；
[0022]以所述响应值最大的像素点位置为中心划分一矩形区域，将所述矩形区域的坐标点位置的加权平均值作为所述单通道热度图上的人体骨骼点或人体轮廓点对应的坐标，且所述最大响应值为对应的置信度；
[0023]基于所述单通道热度图上的人体骨骼点或人体轮廓点，计算获得固定大小的所述图像上的人体骨骼点坐标和人体轮廓点的坐标，计算公式为：
[0024]x_netin＝x_hm/W
hm
*W；
[0025]y_netin＝y_hm/H
hm
*H；
[0026]式中：x_netin、y_netin分别为人体骨骼点或人体轮廓点的坐标；W
hm
、H
hm
分别为所述人体骨骼点的热度图或所述人体轮廓点的热度图的宽和高；W、H分别为固定大小图像的宽和高。
[0027]优选的是，基于所述图像上的人体骨骼点坐标和人体轮廓点坐标，获得人体区块连接后的轮廓点包括：
[0028]人体区块包括肩颈区块、胸腰胯区块、右大臂区块、右小臂区块、右手掌区块、左大臂区块、左小臂区块、左手掌区块、右大腿区块、右小腿区块、右脚掌区块、左大腿区块、左小腿区块和左脚掌区块；
[0029]基于所述图像上的人体骨骼点坐标和人体轮廓点坐标，将所述右大臂区块、右小臂区块、右手掌区块连接获得独立右臂轮廓；
[0030]同理，将所述左大臂区块、左小臂区块、左手掌区块连接获得独立左臂轮廓，将所述右大腿区块、右小腿区块、右脚掌区块连接获得独立右腿轮廓，将所述左大腿区块、左小腿区块和左脚掌区块连接获得独立左腿轮廓；
[0031]基于所述肩颈区块、胸腰胯区块的人体骨骼点坐标和人体轮廓点坐标，分别判断所述肩颈区块、胸腰胯区块的正面和背面；
[0032]若所述肩颈区块为正面，所述独立右臂轮廓的轮廓同时和所述肩颈区块的左轮廓和所述胸腰胯区块的左轮廓连接，所述独立左臂轮廓同时和所述肩颈区块的另一侧轮廓和
所述胸腰胯区块的另一侧轮廓连接；
[0033]若所述肩颈区块为背面，所述独立左臂轮廓的轮廓同时和所述肩颈区块的左轮廓和所述胸腰胯区块的左轮廓连接，所述独立右臂轮廓同时和所述肩颈区块的另一侧轮廓和所述胸腰胯区块的另一侧轮廓连接；
[0034]若所述胸腰胯区块为正面，所述独立右腿轮廓的左轮廓和所述胸腰胯区块的左轮廓连接，所述独立右腿轮廓的右轮廓和所述胸腰胯区块的裆部点连接；所述独立左腿轮廓的右轮廓和所述胸腰胯区块的右轮廓连接，所述独立左腿轮廓的左轮廓和所述胸腰胯区块的裆部点连接；
[0035]若所述胸腰胯区块为背面，所述独立左腿轮廓的左轮廓和所述胸腰胯区块的左轮廓连接，所述独立左腿轮廓的右轮廓和所述胸腰胯区块的裆部点连接；所述独立右腿轮廓的右轮廓和所述胸腰胯区块的右轮廓连接，所述独立右腿轮廓的左轮廓和所述胸腰胯区块的裆部点连接；
[0036]将所述图像上的人体骨骼点坐标和人体轮廓点坐标连接后，获得人体区块连接后的轮廓点。
[0037]优选的是，基于所述肩颈区块、胸腰胯区块的人体骨骼点坐标和人体轮廓点坐标，分别判断所述肩颈区块、胸腰胯区块的正面和背面包括：
[0038]当所述肩颈区块和所述胸腰胯区块的轮廓点和骨骼点的置信度均大于预先设置的阈值时，使用左右轮廓点和左右骨骼点之间的距离远近来判断所述肩颈区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体轮廓点定位方法，其特征在于，包括：构建人体轮廓点定位神经网络模型；获取训练数据集，并使用所述训练数据集训练所述神经网络模型；将带有人体的图像输入所述神经网络模型，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标；基于所述图像上的人体骨骼点坐标和人体轮廓点坐标，获得人体区块连接后的轮廓点。2.如权利要求1所述的人体轮廓点定位方法，其特征在于，基于所述带有人体的图像，训练所述神经网络模型步骤包括：所述神经网络模型包括一个backbone网络和两个headnet网络，所述两个headnet网络分别为人体轮廓点headnet网络和人体骨骼点headnet网络；冻结所述人体轮廓点headnet网络，使用所述训练数据集训练所述backbone网络和所述人体骨骼点headnet网络；训练完成后，冻结所述backbone网络和所述人体骨骼点headnet网络，并使用所述训练数据集训练所述人体轮廓点headnet网络；训练完成后，使用所述训练数据集训练所述backbone网络和所述两个headnet网络。3.如权利要求2所述的人体轮廓点定位方法，其特征在于，所述训练数据集包括正样本数据集和负样本数据集，所述正样本数据集为带有人体框、人体骨骼点和人体轮廓点标注的图片集合，所述负样本数据集为没有人体的图片集合。4.如权利要求3所述的人体轮廓点定位方法，其特征在于，将带有人体的图像输入所述神经网络模型，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标包括：获取所述带有人体的图像中的人体框，并将所述人体框修改为与所述神经网络模型相等的宽高比且将所述图像缩放成固定大小；将固定大小的所述图像输入所述神经网络模型，得到N个人体骨骼点的热度图和M个人体轮廓点的热度图；根据所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获得固定大小的所述图像上的人体骨骼点坐标、人体骨骼点置信度、人体轮廓点坐标和人体轮廓点置信度；基于固定大小的所述图像上的人体骨骼点坐标和人体轮廓点的坐标，获得所述图像上的人体骨骼点坐标和人体轮廓点坐标。5.如权利要求4所述的人体轮廓点定位方法，其特征在于，根据所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获得固定大小的所述图像上的人体骨骼点坐标、人体骨骼点置信度、人体轮廓点坐标和人体轮廓点置信度包括：基于所述人体骨骼点的热度图和所述人体轮廓点的热度图，分别获取每张单通道热度图上响应值最大的像素点位置；以所述响应值最大的像素点位置为中心划分一矩形区域，将所述矩形区域的坐标点位置的加权平均值作为所述单通道热度图上的人体骨骼点或人体轮廓点对应的坐标，且所述最大响应值为对应的置信度；基于所述单通道热度图上的人体骨骼点或人体轮廓点，计算获得固定大小的所述图像上的人体骨骼点坐标和人体轮廓点的坐标，计算公式为：
x_netin＝x_hm/W
hm
*W；y_netin＝y_hm/H
hm
*H；式中：x_netin、y_netin分别为人体骨骼点或人体轮廓点的坐标；W
hm
、H
hm
分别为所述人体骨骼点的热度图或所述人体轮廓点的热度图的宽和高；W、H分别为固定大小图像的宽和高。6.如权利要求5所述的人体轮廓点定位方法，其特征在于，基于所述图像上的...

【专利技术属性】
技术研发人员：李冬平，应乐斌，杨凯航，
申请(专利权)人：杭州相芯科技有限公司，
类型：发明
国别省市：