一种虚拟角色的生成方法及设备技术

本申请涉及三维重建技术领域，提供一种虚拟角色的生成方法及设备，通过民用级RGB相机采集目标对象以预设姿态旋转一周的视频，由于目标对象的正面图像细节特征丰富，可作为首个视频帧来提取目标对象的形体参数以对初始人体参数化模型进行体素化处理，生成带皮肤的参考帧模型，并通过每一视频帧中提取的姿态参数不断优化参考帧模型，得到目标几何模型，进而根据各视频帧的RGB信息对目标几何模型进行纹理贴图后，获得与目标对象的外观一致的虚拟角色，通过不断优化，提高了虚拟角色的真实性，且优化过程中，上一视频帧对参考帧模型形变前后的损失用于优化下一帧视频帧的形变参数，无需手动调整模型，提高了虚拟角色的生成效率。提高了虚拟角色的生成效率。提高了虚拟角色的生成效率。

【技术实现步骤摘要】
一种虚拟角色的生成方法及设备


[0001]本申请涉及三维重建
，尤其涉及一种虚拟角色的生成方法及设备。

技术介绍

[0002]随着三维重建技术的发展，在虚拟空间中，以形象逼真的虚拟角色与其它虚拟角色进行实时远程三维交互，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实可能成为继第四代的移动互联网时代之后的第五代社交方式。
[0003]目前，基于人体三维重建的实施远程社交方法主要有两种实现方式：一是根据实时采集的RGB数据或RGBD数据进行人体三维重建，获得虚拟角色，并将虚拟角色的三维数据(如顶点坐标、面片索引、纹理等)通过云端传输给其他交互终端；由于该方法是基于实施采集的真实数据进行的重建，使得虚拟角色的人体、衣服、头发等较为真实，但传输的数量较大，现有的网络带宽难以满足实时性要求，导致交互过程的卡顿，降低了用户的沉浸式体验。另一是预先构建一个虚拟角色，然后采用运动捕捉技术实时采集交互过程中用户的运动数据，以驱动虚拟角色运动；该方法降低了实时交互过程中传输的数据量，但该方法在使用民用级的采集设备重建时，只有在驱动一个没穿衣服或者穿上预置衣服的虚拟角色时才可以实时交互，如果要求虚拟角色的衣服与用户相近且随着用户一起运动，只能通过动画师采用影视级的方法人工绘制，无法做到实时性。

技术实现思路

[0004]本申请实施例提供了一种虚拟角色的生成方法及设备，用以在满足实时交互的条件下，提高虚拟角色的真实性和生成效率。
[0005]一方面，本申请实施例提供虚拟角色的生成方法，包括：/>[0006]获取RGB相机采集的目标对象以预设姿态旋转一周的视频，将所述目标对象的正面图像作为首个视频帧以提取所述目标对象的形体参数；
[0007]根据初始人体参数化模型和所述形体参数，初始化设定分辨率的体素空间，并根据初始化结果，生成带皮肤的参考帧模型；
[0008]根据每一视频帧包含的目标对象的姿态参数，以及所述参考帧模型中各顶点在相应体素块内的三维坐标，分别对所述参考帧模型进行变形，得到目标几何模型；变形过程中，上一视频帧对应的所述参考帧模型形变前后的损失用于优化下一视频帧的形变参数；
[0009]根据每一视频帧的RGB信息对所述目标几何模型进行纹理贴图，获得所述目标对象的虚拟角色。
[0010]另一方面，本申请实施例提供一种交互设备，用于生成虚拟角色进行远程交互，所述交互设备包括处理器、存储器、显示器和通信接口，所述通信接口、所述显示器、所述存储器与所述处理器通过总线连接；
[0011]所述存储器包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序指令，所述处理器根据所述计算机程序执行，执行以下操作：
[0012]通过所述通信接口，获取RGB相机采集的目标对象以预设姿态旋转一周的视频并存储至所述数据存储单元，将所述目标对象的正面图像作为首个视频帧以提取所述目标对象的形体参数；
[0013]根据初始人体参数化模型和所述目标对象的形体参数，初始化设定分辨率的体素空间，并根据初始化结果，生成带皮肤的参考帧模型；
[0014]根据每一视频帧包含的目标对象的姿态参数，以及所述参考帧模型中各顶点在相应体素块内的三维坐标，分别对所述参考帧模型进行变形，得到目标几何模型；变形过程中，上一视频帧对应的所述参考帧模型形变前后的损失用于优化下一视频帧的形变参数；
[0015]根据每一视频帧的RGB信息对所述目标几何模型进行纹理贴图，获得所述目标对象的虚拟角色，并由所述显示器进行显示。
[0016]另一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的虚拟角色的生成方法。
[0017]本申请实施例提供一种虚拟角色的生成方法及设备，利用民用级的RGB相机采集目标对象以预设姿态旋转一周的视频并存储，将细节信息丰富的正面图像作为首个视频帧来提取出目标对象的形体参数，并用形体参数对拓扑结构一致的初始人体参数化模型进行体素化处理后，生成带皮肤的参考帧模型；获得带皮肤的参考帧模型后，根据每一视频帧包含的姿态参数，以及该参考帧模型中各顶点在相应体素块内的三维坐标，分别对参考帧模型进行变形，得到目标几何模型，且变形过程中，上一视频帧对应的参考帧模型形变前后的损失用于优化下一视频帧的形变参数，使得目标几何模型与目标对象更加一致，提高了目标几何模型的真实性，从而根据每一视频帧的RGB信息对目标几何模型进行纹理贴图后，获得更加真实的虚拟角色，该虚拟角色的皮肤能够真实的刻画目标对象的外观。整个生成过程中，形变参数的优化是自动进行的，无需动画师参与，节省了人力物力，提高了虚拟角色的生成效率。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1A为本申请实施例提供的应用场景示意图；
[0020]图1B为本申请实施例提供的另一应用场景示意图；
[0021]图2为本申请实施例提供的生成虚拟角色的系统框架图；
[0022]图3为本申请实施例提供的一种虚拟角色的生成方法的流程图；
[0023]图4为本申请实施例提供的形体参数和姿态参数的提取方法流程图；
[0024]图5为本申请实施例提供的体素化处理方法流程图；
[0025]图6为本申请实施例提供的参考帧模型的生成方法流程图；
[0026]图7为本申请实施例提供的利用当前姿态参数对参考帧模型进行变形的方法流程图；
[0027]图8为本申请实施例提供的上一视频帧形变前后的损失优化下一视频帧的形变参数的方法流程图；
[0028]图9为本申请实施例提供的带皮肤的目标几何模型的效果图；
[0029]图10为本申请实施例提供的确定模型顶点与纹理图的像素点间的对应关系的方法流程图；
[0030]图11为本申请实施例提供的为目标几何模型纹理贴图的方法流程图；
[0031]图12为本申请实施例提供的生成的虚拟角色的效果图；
[0032]图13为本申请实施例提供的利用虚拟角色进行远程交互的方法流程图；
[0033]图14A为本申请实施例提供的一种交互设备的结构图；
[0034]图14B为本申请实施例提供的另一种交互设备的结构图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]目前，远程三维交互系统的核心技术是对人体、人脸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色的生成方法，其特征在于，包括：获取RGB相机采集的目标对象以预设姿态旋转一周的视频，将所述目标对象的正面图像作为首个视频帧以提取所述目标对象的形体参数；根据初始人体参数化模型和所述形体参数，初始化设定分辨率的体素空间，并根据初始化结果，生成带皮肤的参考帧模型；根据每一视频帧包含的目标对象的姿态参数，以及所述参考帧模型中各顶点在相应体素块内的三维坐标，分别对所述参考帧模型进行变形，得到目标几何模型；变形过程中，上一视频帧对应的所述参考帧模型形变前后的损失用于优化下一视频帧的形变参数；根据每一视频帧的RGB信息对所述目标几何模型进行纹理贴图，获得所述目标对象的虚拟角色。2.如权利要求1所述的方法，其特征在于，所述根据初始人体参数化模型和所述形体参数，初始化设定分辨率的体素空间，并根据初始化结果，生成带皮肤的参考帧模型，包括：根据所述形体参数，对所述初始人体参数化模型进行变形，得到预设姿态的目标人体参数化模型；将所述目标人体参数化模型与所述体素空间的坐标原点对齐；利用设定的第一深度神经网络，根据所述目标人体参数化模型中各顶点在所述体素空间内的SDF值，生成带皮肤的参考帧模型。3.如权利要求2所述的方法，其特征在于，所述利用设定的第一深度神经网络，根据所述目标人体参数化模型中各顶点在所述体素空间内的SDF值，生成带皮肤的参考帧模型，包括：根据所述目标人体参数化模型中各顶点在所述体素空间内的三维坐标，确定所述各顶点在所述体素空间中的SDF值；提取SDF值为0的顶点集合，获得带皮肤的参考帧模型的隐式表达；渲染所述顶点集合中的各顶点构成的零等值面，生成显示表达的带皮肤的参考帧模型。4.如权利要求1所述的方法，其特征在于，所述根据每一视频帧包含的目标对象的姿态参数，以及所述参考帧模型中各顶点在相应体素块内的三维坐标，分别对所述参考帧模型进行变形，包括：针对每一视频帧，根据所述视频帧包含的目标对象的姿态参数，将所述参考帧模型映射到所述视频帧下；利用设定的第二深度神经网络，根据所述姿态参数，以及映射后的参考帧模型中各顶点在相应体素块内的三维坐标，确定所述视频帧与所述参考帧模型间的非刚性形变关系；根据所述非刚性形变关系，对所述参考帧模型进行变形。5.如权利要求1所述的方法，其特征在于，针对每一视频帧对所述参考帧模型进行变形后，所述方法还包括：根据所述RGB相机的参数，将变形后的参考帧模型投影到所述视频帧中；根据投影后所述参考帧模型的外轮廓，与所述视频帧中分割得到的所述目标对象的外轮廓间的损失值，对所述参考帧模型的隐式表达进行优化；确定非刚性投射光线与优化后所述参考帧模型的隐式表达的各第一交点，以及与优化
前所述参考帧模型的隐式表达的各第二交点；根据所述视频帧包含的目标对象的姿态参数，将所述第一交点和所述第二交点间的SDF差值对应的体素块，变换到所述体素空间内，以优化下一视频帧对所述参考帧模型进行形变的非刚性形变关系。6.如权利要求1所述的方法，其特征在于，所述根据每一视频帧的RGB信息对所述目标几何模型进行纹理贴图，获得所述目标对象的虚拟角色，包括：对所述目标几何模型进行光栅化，确定光栅化后每个三角形面片包含的顶点，与预制的第二纹理图中的像素点的第一对应关系，所述第二纹理图的分辨率与第一纹理图的分辨率相...

【专利技术属性】
技术研发人员：许瀚誉，吴连朋，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：