虚拟人物形象的渲染方法、电子设备及存储介质技术

本发明专利技术公开了一种虚拟人物形象的渲染方法，包括如下步骤：获取音频数据，以识别音频数据对应的音乐风格信息；根据音乐风格信息，获取渲染元素信息；基于渲染元素信息，渲染虚拟人物形象。本发明专利技术提供的虚拟人物形象的渲染方法、电子设备及存储介质，通过识别音频数据获取音乐风格信息；进而确定渲染元素信息来实现对于虚拟人物形象的渲染，能够充分结合虚拟人物形象所在设备的多媒体功能进行针对性地展示，提升了展示效果的画面感和现场感，把听觉效果和视觉效果加以动态的结合，给予用户更好的感官体验。的感官体验。的感官体验。

【技术实现步骤摘要】
虚拟人物形象的渲染方法、电子设备及存储介质


[0001]本专利技术属于虚拟动画展示
，尤其涉及一种虚拟人物形象的渲染方法、电子设备及存储介质。

技术介绍

[0002]随着人们审美水平的提高和虚拟内容制作技术的成熟，很多应用场景中，传统人机交互界面都在被虚拟人物形象替代。虚拟人物形象是近年兴起的一种动画展示技术，通过设计某种人物形象来实现电子设备与用户的拟人化交互，通常是以配有声音的动画形象来进行展示，而电子设备接受用户指令并形成的处理结果通过虚拟人物形象拟人化的动作、表情或声音反馈给用户，形成良好的互动，提高了交互的体验。例如对于配备有车机的车辆，一些和用户进行交互的车机功能由于可视化模式单调而缺少娱乐感、画面感，虚拟人物形象的应用能够很好地弥补这种不足。
[0003]虚拟人物形象的展示中往往集成了图像融合及三维建模等技术，而渲染的效果则是最为直观呈现给用户的。不过，目前对虚拟人物形象的渲染通常着力于对其面部表情的刻画，而无法通过虚拟人物形象多方位地传递其所在载体设备的功能。

技术实现思路

[0004]本专利技术要解决的技术问题是为了克服现有技术中虚拟人物形象的渲染停留在对其面部表情的刻画而而无法多方位传递所在设备的功能的缺陷，提供一种虚拟人物形象的渲染方法、电子设备及存储介质。
[0005]本专利技术是通过下述技术方案来解决上述技术问题：
[0006]本专利技术提供了一种虚拟人物形象的渲染方法，包括如下步骤：
[0007]获取音频数据，以识别所述音频数据对应的音乐风格信息；
[0008]根据所述音乐风格信息，获取渲染元素信息；
[0009]基于所述渲染元素信息，渲染所述虚拟人物形象。
[0010]本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的虚拟人物形象的渲染方法。
[0011]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的虚拟人物形象的渲染方法。
[0012]本专利技术的积极进步效果在于：本专利技术提供的虚拟人物形象的渲染方法、电子设备及存储介质，通过识别音频数据获取音乐风格信息；进而确定渲染元素信息来实现对于虚拟人物形象的渲染，能够充分结合虚拟人物形象所在设备的多媒体功能进行针对性地展示，提升了展示效果的画面感和现场感，把听觉效果和视觉效果加以动态的结合，给予用户更好的感官体验。
附图说明
[0013]图1为本专利技术的实施例1的虚拟人物形象的渲染方法的流程示意图。
[0014]图2为本专利技术的实施例1的虚拟人物形象的渲染过程的示意图。
[0015]图3为本专利技术的实施例2的电子设备的结构示意图。
具体实施方式
[0016]下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。
[0017]实施例1
[0018]参见图1，本实施例具体提供了一种虚拟人物形象的渲染方法，包括如下步骤：
[0019]S1.获取音频数据，以识别音频数据对应的音乐风格信息；
[0020]S2.根据音乐风格信息，获取渲染元素信息；
[0021]S3.基于渲染元素信息，渲染虚拟人物形象。
[0022]本实施例的虚拟人物形象的渲染方法基于音频识别来实现虚拟人物形象的渲染，为了便于描述本实施例的技术方案，以下以车辆内部的用户通过车机输出音频作为例子，但本领域技术人员可以知晓，本专利技术的应用场景不限于此。
[0023]步骤S1中，首先获取音频数据。获取方法包括但不限于通过车辆的车机直接获取音频数据；或对于设置有音频通道如扬声器、蓝牙播放模块的车辆，也可以结合拾音设备如定向麦克风等获取音频数据。基于音频数据对音乐风格进行识别，音乐风格包括但不限于摇滚音乐、民谣音乐、流行音乐等。可以理解，上述的音频数据中包含有音乐的数据。
[0024]由于不同的音乐风格具有各自特点，例如演奏节拍、采用的乐器，可以通过预设的声音波形图模板进行比对，结合对于上述音乐风格规律的分析，将音频数据划分为各自不同的音乐风格，即获取对应的音乐风格信息。例如，将不同的音频数据根据其音乐风格的不同，设置对应的风格属性值。
[0025]步骤S2用于获取渲染元素信息，即最终呈现的虚拟人物信息的视觉特征属性。由于已经得到了不同音频的音乐风格，对其进行解析，例如获取对应的风格属性值，在此基础上通过分别得到相关的渲染元素信息，也就是将虚拟人物形象的外表特征和音频数据关联起来。
[0026]在一种较佳的实施方式中，渲染元素信息包括用于表征虚拟人物形象的着装风格的第一渲染元素信息；步骤S2根据音乐风格信息，在着装风格数据库中选择匹配的第一渲染元素信息；步骤S3基于第一渲染元素信息，渲染虚拟人物形象，以使虚拟人物形象具有与音乐风格信息对应的着装风格。
[0027]本实施方式中，将虚拟人物形象的着装风格和音乐风格进行关联。具体地，可以设立着装风格数据库，虚拟人物形象的着装相关的第一渲染元素信息基于其获得。较佳地，着装风格数据库可以基于生成对抗网络模型生成。首先，将上述步骤中获得的人脸图像输入生成对抗网络模型，以获得虚拟人物头像信息。GAN(生成式对抗网络,Generative Adversarial Networks)模型是一种深度学习模型，通过对抗过程来估计生成模型的新框架。在GAN模型框架中，生成模型与判别模型进行非合作零和博弈。模型通过框架中至少两个模块即生成模型和判别模型的互相博弈学习产生输出。生成模型捕捉真实数据样本的潜
在分布生成新的数据样本；判别模型是一个二分类器，判别输入是真实数据还是生成的样本；生成模型与判别模型均可以使用深度学习模型。
[0028]虚拟人物形象具有与音乐风格信息对应的着装风格，具体地，例如，流行音乐风格对应于时尚风格的着装；摇滚音乐风格对应于朋克风格的着装等。基于第一渲染元素信息，渲染虚拟人物形象，主要通过对虚拟人物的人体解析，即根据身体各部分和目标姿势的近似形状估算目标图像的合理人体分析，有效地指导人体部位的精确区域的合成；其次，通过人体分割即使用人类分析器来计算人类分割图，使服装对应不同身体部位如手臂或躯干等的位置和体型；此外由于人体姿势的变化会导致服装的不同变形，可以使用零件相似性字段的姿势估计器显式地建模姿势信息，计算人体姿势表示为若干关键点的坐标，利用空间布局，将每个关键点进一步转换为热图，由热图进一步叠加成通道姿态的热图，从而进行着装变形以及与虚拟人物合成。
[0029]在一种较佳的实施方式中，渲染元素信息包括用于表征虚拟人物形象的姿态的第二渲染元素信息；步骤S2根据音乐风格信息，在动作视素数据库中选择匹配的第二渲染元素信息；步骤S3基于第二渲染元素信息，渲染虚拟人物形象，以使虚拟人物形象具有与音乐风格信息对应的姿态。
[0030]本实施方式中，将虚拟人物形象的动作姿态和音乐风格进行关联。具体地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人物形象的渲染方法，其特征在于，包括如下步骤：获取音频数据，以识别所述音频数据对应的音乐风格信息；根据所述音乐风格信息，获取渲染元素信息；基于所述渲染元素信息，渲染所述虚拟人物形象。2.如权利要求1所述的虚拟人物形象的渲染方法，所述渲染元素信息包括用于表征所述虚拟人物形象的着装风格的第一渲染元素信息；所述根据所述音乐风格信息，获取渲染元素信息的步骤包括：根据所述音乐风格信息，在着装风格数据库中选择匹配的第一渲染元素信息；所述基于所述渲染元素信息，渲染所述虚拟人物形象的步骤包括：基于所述第一渲染元素信息，渲染所述虚拟人物形象，以使所述虚拟人物形象具有与所述音乐风格信息对应的着装风格。3.如权利要求2所述的虚拟人物形象的渲染方法，所述着装风格数据库基于生成对抗网络模型生成。4.如权利要求1所述的虚拟人物形象的渲染方法，所述渲染元素信息包括用于表征所述虚拟人物形象的姿态的第二渲染元素信息；所述根据所述音乐风格信息，获取渲染元素信息的步骤包括：根据所述音乐风格信息，在动作视素数据库中选择匹配的第二渲染元素信息；所述基于所述渲染元素信息，渲染所述虚拟人物形象的步骤包括：基于所述第二渲染元素信息，渲染所述虚拟人物形象，以使所述虚拟人物形象具有与所述音乐风格信息对应的姿态。5.如权利要求4所述的虚拟人物形象的渲染方法，所述第二渲染元素信息包括舞蹈动作姿态信息；所述根据所述音乐风格信息，获取渲染元素信息的步骤包括：根据所述音乐风格信息，在动作视素数据库中选择匹配的舞蹈动作姿态信息；所述基于所述渲染元素信息，渲染所述虚拟人物形象的步骤包括：基于所述舞蹈动作姿态信息，渲染所述虚拟人物形象，以使所述虚拟人物形象具有与所述音乐风格信息对应的舞蹈动作姿态；和/或，所述第二渲染元素信息包括乐器演奏姿态信息；...

【专利技术属性】
技术研发人员：王明，裴峥，
申请(专利权)人：博泰车联网南京有限公司，
类型：发明
国别省市：