面向人体高保真视觉内容的多特征协同生成系统及方法技术方案

本发明专利技术公开了一种面向人体高保真视觉内容的多特征协同生成系统及方法。本发明专利技术步骤如下：步骤1、数据集的解析、选择与调整；步骤2、人体视觉内容协同生成网络模型的搭建；步骤3、对人体视觉内容协同生成网络模型的训练；步骤4、生成结果的有效性评估。本发明专利技术在改善与解决了现有方法的低质生成效果，包括人体形状描述不准确、人像外观呈现模糊化、人体运动姿态错位与表达不连贯，为电影特效制作、人机互动娱乐、游戏与广告设计、图像与视频数据集增强等工作提供了良好的视觉素材，且通过该方法训练得到的判别器可以用于伪造图像或视频的鉴别，对于个人隐私、社会安定与国家安全能够起到一定的保护作用。

【技术实现步骤摘要】
面向人体高保真视觉内容的多特征协同生成系统及方法
本专利技术属于计算机视觉与多媒体
，特别涉及一种面向人体高保真视觉内容的多特征协同生成系统及方法。
技术介绍
作为推动计算机视觉发展的关键技术，视觉知识的表达与操作是基于计算机图形学与计算机视觉两大领域进行融合与重构而实现的，一方面用于3D图形结构的重建，另一方面用于视觉内容的识别、分析与生成，是计算机图形学、计算机视觉及多媒体
的重要研究问题。本专利技术集中解决高保真的视觉内容生成问题，内容对象为人体图像与视频。面向人体的高保真视觉内容生成是通过学习人体结构与运动特征表示，实现从特征表示到人物图像或者视频帧的空间生成映射，该工作的最终目标是生成高精度且逼真的整个人体的图像与视频，关键之处在于视觉内容生成策略的制定与人体结构及人物动作特征表示方法的探究。其中，面向人体的高保真视觉内容可以概括为人体结构、人物外观与人体运动特征三个方面，本专利技术主要设计一个基于人体多重特征的协同生成模型，用于生成真实感、多样性与连贯性表达良好的针对人体的图像与视频内容，以解决目前相关研究工作中本文档来自技高网...

【技术保护点】
1.面向人体高保真视觉内容的多特征协同生成方法，其特征在于包括如下步骤：/n步骤1、数据集的解析、选择与调整；/n步骤2、人体视觉内容协同生成网络模型的搭建；/n步骤3、对人体视觉内容协同生成网络模型的训练；/n步骤4、生成结果的有效性评估。/n

【技术特征摘要】
1.面向人体高保真视觉内容的多特征协同生成方法，其特征在于包括如下步骤：
步骤1、数据集的解析、选择与调整；
步骤2、人体视觉内容协同生成网络模型的搭建；
步骤3、对人体视觉内容协同生成网络模型的训练；
步骤4、生成结果的有效性评估。


2.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于步骤1具体实现过程如下：
1-1.选择并获取关于人体的图像数据集Ⅰ和与人体运动的视频数据集Ⅱ；
1-2.图像数据集Ⅰ用于提取人体形状特征表示，且同时该图像数据集Ⅰ能够用于人物外观纹理的生成；图像数据集Ⅰ的要求是能够利用人体解析工具获取人体部位分割掩码或者直接提供分割信息的高清人体图像数据集；
1-3.视频数据集Ⅱ用于人体姿态/动作信息提取，且是能够利用姿态检测器清晰识别人体姿态骨架或者直接带有2D关节点标签的单人视频数据集。


3.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于所述的图像数据集Ⅰ中的每张人体图像均包含高清人体图像和义分割掩码图。


4.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于为满足生成任务的可行性与普适性，需要选取具有不同特点和量级的多组数据集，一个图像数据集Ⅰ和与人体运动的视频数据集Ⅱ记为一组。


5.根据权利要求1所述的面向人体高保真视觉内容的多特征协同生成方法，其特征在于步骤2所述的该协同生成网络模型包括三个基本特征模块：姿态特征模块、形状特征模块和纹理特征模块；姿态特征模块、形状特征模块和纹理特征模块分别是针对人体运动/动作信息的姿态特征解析、针对人体形状的语义特征解析与针对人体外观的纹理特征解析；三个基本特征模块从不同的属性出发，...

【专利技术属性】
技术研发人员：王毅刚，寇思敏，尹学松，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33