基于文本的三维人体模型生成方法和装置制造方法及图纸

本发明专利技术提供一种基于文本的三维人体模型生成方法和装置，应用于计算机视觉技术领域

【技术实现步骤摘要】
基于文本的三维人体模型生成方法和装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于文本的三维人体模型生成方法和装置
。

技术介绍

[0002]通常，在虚拟现实
、
电影特效
、
游戏开发
、
医学仿真
、
人体运动分析和教育培训等众多领域均需要三维人体模型作为辅助工具
。
[0003]现有技术中，为了创建一个三维人体模型，可以通过手工建模或动画制作的方式实现
。
然而，这些方式都需要相关领域的专业人士才能完成，不仅应用门槛很高，而且模型的创建效率较低
。

技术实现思路

[0004]本专利技术提供一种基于文本的三维人体模型生成方法和装置，用以解决现有技术中三维人体模型的创建方式不仅应用门槛很高，而且模型的创建效率较低的问题
。
[0005]本专利技术提供一种基于文本的三维人体模型生成方法，包括：获取第一文本，所述第一文本用于描述目标对象的样貌特征；根据所述第一文本生成所述目标对象的第一图像；对参数化的三维人体模型进行初始化处理，并生成所述三维人体模型的第二图像；基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型；其中，所述第二图像为所述三维人体模型的二维图像
。
[0006]根据本专利技术提供一种的基于文本的三维人体模型生成方法，所述根据所述第一文本生成所述目标对象的第一图像，包括：根据所述第一文本生成所述目标对象的第三图像；识别所述第三图像中所述目标对象的面部区域，并通过面部精细化模型对所述面部区域进行精细化处理，得到所述第一图像；其中，所述精细化处理用于增强所述面部区域的细节和个性化特征
。
[0007]根据本专利技术提供一种的基于文本的三维人体模型生成方法，所述识别所述第三图像中所述目标对象的面部区域之后，所述方法还包括：从所述第三图像中截取所述目标对象的面部区域，得到第四图像；通过图像描述方法对所述第四图像进行文本生成，得到第二文本，并从所述第一文本中确定描述所述面部区域的第一子文本；基于所述第二文本和所述第一子文本更新所述面部精细化模型的模型参数
。
[0008]根据本专利技术提供一种的基于文本的三维人体模型生成方法，所述生成所述三维人体模型的第二图像，包括：对所述参数化的三维人体模型进行初始化处理，得到三维人体；对所述三维人体的不同视角进行渲染处理，得到不同角度的第五图像；将所述三维人体输入法向图提取器，得到所述三维人体的法向图；对所述第五图像和所述法向图进行加权处理，得到所述第二图像；其中，所述法向图提取器用于提取所述三维人体模型的几何特征
。
[0009]根据本专利技术提供一种的基于文本的三维人体模型生成方法，所述基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型，
包括：基于所述第一图像和所述第二图像，计算基于概率密度蒸馏的第一损失函数；根据所述第一损失函数更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型
。
[0010]本专利技术还提供一种基于文本的三维人体模型生成装置，包括：获取模块和处理模块；获取模块，可以用于获取第一文本，所述第一文本用于描述目标对象的样貌特征；处理模块，可以用于根据所述第一文本生成所述目标对象的第一图像；对参数化的三维人体模型进行初始化处理，并生成所述三维人体模型的第二图像；基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型；其中，所述第二图像为所述三维人体模型的二维图像
。
[0011]根据本专利技术提供一种的基于文本的三维人体模型生成装置，上述处理模块，可以用于根据所述第一文本生成所述目标对象的第三图像；识别所述第三图像中所述目标对象的面部区域，并通过面部精细化模型对所述面部区域进行精细化处理，得到所述第一图像；其中，所述精细化处理用于增强所述面部区域的细节和个性化特征
。
[0012]根据本专利技术提供一种的基于文本的三维人体模型生成装置，上述处理模块，可以用于从所述第三图像中截取所述目标对象的面部区域，得到第四图像；通过图像描述方法对所述第四图像进行文本生成，得到第二文本，并从所述第一文本中确定描述所述面部区域的第一子文本；基于所述第二文本和所述第一子文本更新所述面部精细化模型的模型参数
。
[0013]根据本专利技术提供一种的基于文本的三维人体模型生成装置，上述处理模块，可以用于对所述参数化的三维人体模型进行初始化处理，得到三维人体；对所述三维人体的不同视角进行渲染处理，得到不同角度的第五图像；将所述三维人体输入法向图提取器，得到所述三维人体的法向图；对所述第五图像和所述法向图进行加权处理，得到所述第二图像；其中，所述法向图提取器用于提取所述三维人体模型的几何特征
。
[0014]根据本专利技术提供一种的基于文本的三维人体模型生成装置，上述处理模块，可以用于基于所述第一图像和所述第二图像，计算基于概率密度蒸馏的第一损失函数；根据所述第一损失函数更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型
。
[0015]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于文本的三维人体模型生成方法的步骤
。
[0016]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于文本的三维人体模型生成方法的步骤
。
[0017]本专利技术提供的基于文本的三维人体模型生成方法和装置，可以获取第一文本，所述第一文本用于描述目标对象的样貌特征；根据所述第一文本生成所述目标对象的第一图像；对参数化的三维人体模型进行初始化处理，并生成所述三维人体模型的第二图像；基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型；其中，所述第二图像为所述三维人体模型的二维图像
。
通过该方案，一方面，由于可以基于第一文本生成目标对象的三维模型，即仅仅通过文本描述就可以创建三维模型，因此可以降低创建三维模型的应用门槛，使非专业人士也可以创建出自己心目中的三维模型；另一方面，由于基于参数化的三维人体模型生成三维模型的过程中，既不需要进行三维人体标签的标注，也不需要大量的训练数据，因此可以节约算力，提高三维模型的创建效
率
。
附图说明
[0018]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0019]图1是本专利技术提供的基于文本的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于文本的三维人体模型生成方法，其特征在于，包括：获取第一文本，所述第一文本用于描述目标对象的样貌特征；根据所述第一文本生成所述目标对象的第一图像；对参数化的三维人体模型进行初始化处理，并生成所述三维人体模型的第二图像；基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型；其中，所述第二图像为所述三维人体模型的二维图像
。2.
根据权利要求1所述的基于文本的三维人体模型生成方法，其特征在于，所述根据所述第一文本生成所述目标对象的第一图像，包括：根据所述第一文本生成所述目标对象的第三图像；识别所述第三图像中所述目标对象的面部区域，并通过面部精细化模型对所述面部区域进行精细化处理，得到所述第一图像；其中，所述精细化处理用于增强所述面部区域的细节和个性化特征
。3.
根据权利要求2所述的基于文本的三维人体模型生成方法，其特征在于，所述识别所述第三图像中所述目标对象的面部区域之后，所述方法还包括：从所述第三图像中截取所述目标对象的面部区域，得到第四图像；通过图像描述方法对所述第四图像进行文本生成，得到第二文本，并从所述第一文本中确定描述所述面部区域的第一子文本；基于所述第二文本和所述第一子文本更新所述面部精细化模型的模型参数
。4.
根据权利要求1‑3任一项所述的基于文本的三维人体模型生成方法，其特征在于，所述对参数化的三维人体模型进行初始化处理，并生成所述三维人体模型的第二图像，包括：对所述参数化的三维人体模型进行初始化处理，得到三维人体；对所述三维人体的不同视角进行渲染处理，得到不同角度的第五图像；将所述三维人体输入法向图提取器，得到所述三维人体的法向图；对所述第五图像和所述法向图进行加权处理，得到所述第二图像；其中，所述法向图提取器用于提取所述三维人体模型的几何特征
。5.
根据权利要求1‑3任一项所述的基于文本的三维人体模型生成方法，其特征在于，所述基于所述第一图像和所述第二图像更新所述三维人体模型的模型参数，以得到所述目标对象的三维模型，包括：基于所述第一图像和所述第二图像，计算基于概率密度蒸馏的第一损失函数；根据所述第一损失函数更新...

【专利技术属性】
技术研发人员：张小梅，董文恺，雷震，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：