一种虚拟形象的驱动方法、系统、设备及存储介质技术方案

本申请实施例公开了一种虚拟形象的驱动方法、系统、设备及存储介质。本申请实施例提供的技术方案，通过获取驱动目标多个不同视角下的目标图像，将目标图像输入预构建的神经辐射场模型，输出初始虚拟形象；对初始虚拟形象进行可微分渲染，生成虚拟目标形象；获取驱动目标的三维关键点信息，基于三维关键点信息驱动虚拟目标形象。采用上述技术手段，通过神经辐射场构建初始的虚拟形象，并通过可微分渲染优化初始虚拟形象，得到更精细的虚拟目标形象，并对该虚拟目标形象进行驱动。以此可以实现不同用户个性化、精细化的虚拟形象驱动，提升虚拟形象展示的多样性和灵活性，提升虚拟形象驱动效果，优化用户与虚拟形象的互动体验。优化用户与虚拟形象的互动体验。优化用户与虚拟形象的互动体验。

【技术实现步骤摘要】
一种虚拟形象的驱动方法、系统、设备及存储介质


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种虚拟形象的驱动方法、系统、设备及存储介质。

技术介绍

[0002]目前，在娱乐、直播等领域，虚拟形象的应用已经越来越广泛。以虚拟人物形象为例，在虚拟人物应用时，通过真人佩戴动捕传感器进行动作表情信息的采集，虚拟人物会根据捕捉到的动作表情信号进行相同的变换，从而实现虚拟人物形象表演节目或者和观众互动的效果。
[0003]但是，传统的虚拟形象只是将用户实际的动作表情展示在虚拟形象上，虚拟形象本身没有用户本身的特色。不同的用户都会通过同一虚拟形象展示动作和表情，其展示效果较为单调，缺乏灵活性。

技术实现思路

[0004]本申请实施例提供一种虚拟形象的驱动方法、系统、设备及存储介质，能够提升虚拟形象展示的多样性和灵活性，解决虚拟形象展示存在的形象单一、刻板的技术问题。
[0005]在第一方面，本申请实施例提供了一种虚拟形象的驱动方法，包括：
[0006]获取驱动目标多个不同视角下的目标图像，将目标图像输入预构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象的驱动方法，其特征在于，包括：获取驱动目标多个不同视角下的目标图像，将所述目标图像输入预构建的神经辐射场模型，输出初始虚拟形象；对所述初始虚拟形象进行可微分渲染，生成虚拟目标形象；获取驱动目标的三维关键点信息，基于所述三维关键点信息驱动所述虚拟目标形象。2.根据权利要求1所述的虚拟形象的驱动方法，其特征在于，所述对所述初始虚拟形象进行可微分渲染，生成虚拟目标形象，包括：以所述初始虚拟形象的几何结构作为所述虚拟目标形象的初始几何结构；基于所述初始几何结构进行可微分渲染，得到所述虚拟目标形象的目标几何结构、材质信息和光照信息，基于所述目标几何结构、所述材质信息和所述光照信息构建所述虚拟目标形象。3.根据权利要求2所述的虚拟形象的驱动方法，其特征在于，基于所述初始几何结构进行可微分渲染，得到所述虚拟目标形象的目标几何结构、材质信息和光照信息，包括：以所述初始几何结构作为模型输入，基于预训练的可微分渲染模型进行模型运算，得到所述虚拟目标形象的材质信息和光照信息；以所述虚拟目标信息的材质信息和光照信息作为模型输入，基于预训练的可微分渲染模型进行模型运算，得到所述虚拟目标形象的目标几何结构。4.根据权利要求1所述的虚拟形象的驱动方法，其特征在于，所述基于所述三维关键点信息驱动所述虚拟目标形象，包括：基于所述三维关键点信息构建关键点旋转矩阵，基于所述关键点旋转矩阵驱动所述虚拟目标形象。5.根据权利要求1所述的虚拟形象的驱动方法，其特征在于，所述获取驱动目标的三维关键点信息，包括：获取驱动目标的驱动图像，去除所述驱动图像的图像背景得到图像主体，将所述图像主体输入预构建的关键点检测模型，输出驱动目标的三维关键点信息。6.根据权利要求5所述的虚拟...

【专利技术属性】
技术研发人员：胡忠冰，张彤，张一然，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：