一种标签的构建方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种用于训练模型的标签构建方法、系统、装置及存储介质，通过对人物图像进行标签提取，将复杂的人物图像，简化为关键点二维坐标或二维掩码，用于训练生成对抗神经网络模型(GAN模型)；通过简单地修改关键点的坐标位置，或者二维掩码形状，就可以生成不同的标签图像，输入训练好的生成对抗神经网络模型，即可生成与标签对应的人物图像，再进一步合成视频，极大地简化了人物视频合成的操作过程，提高工作效率；后续也可根据实际生成需求，添加新的标签为限制条件，并将标签及与标签对应的真实图像送入生成对抗网络模型中进行训练，最终能通过拓展条件生成对应的真实图像。本发明专利技术广泛应用于图像处理技术领域。

A label construction method, system, device and storage medium

【技术实现步骤摘要】
一种标签的构建方法、系统、装置及存储介质
本专利技术涉及图像处理
，尤其是一种用于训练模型的标签的构建方法、系统、装置及存储介质。
技术介绍
现有的虚拟人物视频合成方法往往是通过获取多帧图像，分别在多帧图像中识别人物以及人物的骨骼关键点等操作进行视频合成，该方法需要建立训练模型，并需要通过人工对用于输入模型的图像进行一一标注，以训练好模型，操作起来繁琐复杂，且需要工作人员有高水平的图像处理能力，工作量大，工作效率低。
技术实现思路
为解决上述至少一个问题，本专利技术的目的在于提供一种用于训练模型的标签的构建方法、系统、装置及存储介质。本专利技术所采取的技术方案是：一方面，本专利技术实施例包括一种用于训练模型的标签构建方法，包括：获取用于训练模型的人物图像样本；对所述人物图像样本进行关键点检测，提取得到多组关键点坐标；对所述人物图像样本进行图像分割，提取得到多组二维掩码；将所述多组关键点坐标与多组二维掩码进行组合，构建成标签。进一步地，对所述人物图像样本进行关键点检测，提取本文档来自技高网...

【技术保护点】
1.一种用于训练模型的标签构建方法，其特征在于，包括：/n获取用于训练模型的人物图像样本；/n对所述人物图像样本进行关键点检测，提取得到多组关键点坐标；/n对所述人物图像样本进行图像分割，提取得到多组二维掩码；/n将所述多组关键点坐标与多组二维掩码进行组合，构建成标签。/n

【技术特征摘要】
1.一种用于训练模型的标签构建方法，其特征在于，包括：
获取用于训练模型的人物图像样本；
对所述人物图像样本进行关键点检测，提取得到多组关键点坐标；
对所述人物图像样本进行图像分割，提取得到多组二维掩码；
将所述多组关键点坐标与多组二维掩码进行组合，构建成标签。


2.根据权利要求1所述的一种用于训练模型的标签构建方法，其特征在于，对所述人物图像样本进行关键点检测，提取得到多组二维点坐标数据这一步骤，具体包括：
利用深度神经网络对所述图像进行区域检测，所述区域包括人脸区域、身体区域；
在检测到的人脸区域中，进一步检测各器官关键点，并得到各器官对应的关键点坐标；
在检测到的身体区域中，进一步检测身体各结构的关键点，并得到身体各结构对应的关键点坐标；
提取各器官对应的关键点坐标和身体各结构对应的关键点坐标，得到多组关键点坐标。


3.根据权利要求1所述的一种用于训练模型的标签构建方法，其特征在于，对所述人物图像标本进行图像分割，提取得到多组二维掩码数据这一步骤，具体包括：
扫描所述人物图像样本以找出目标存在的区域；
采用区域建议网络生成相应的提议；
对所述提议进行感兴趣区域分类，并生成边界框和掩码，所述边界框用于标出所述目标，所述掩码用于标识所述目标的范围；
提取得到多组二维掩码。


4.根据权利要求3所述的一种用于训练模型的标签构建方法，其特征在于，所述图像分割包括服饰分割和头部分割；
所述服饰分割用于对人物图像标本中的人物服饰进行分割，以获取衣服的二维掩码和/或领带的二维掩码；
所述头部分割用于对人物图像标本中的人物头部进行分割，以获取人物头部的二维掩码。


5.一种生成对抗网络模型的训练方法，其特征在于，包括以下步骤：
使用权利要求1-4任一项所述标签构建方法构建第一标签；
构建训练集，所述训练集由人物图像样本和第一标签组成，所述第一标签为根据所述人物图像样本构建...

【专利技术属性】
技术研发人员：王伦基，叶俊杰，李权，黄桂芳，任勇，韩蓝青，
申请(专利权)人：清华珠三角研究院，赛业广州生物科技有限公司，
类型：发明
国别省市：广东;44