本申请提供一种基于音频数据的图像渲染方法、装置、计算机设备以及存储介质，本方法通过将音频数据的频谱数据转换为时频谱图，在渲染音频可视化效果图时，在任意虚拟模型定义连续的音频柱绘制区域后，针对音频柱绘制区域生成纹理坐标，通过纹理坐标获取音频柱绘制区域中各个音频柱的频谱数据，以对音频柱对应的绘图区域进行渲染生成音频柱效果图，实现在任意模型表面上，渲染音频数据的可视化动画效果。渲染音频数据的可视化动画效果。渲染音频数据的可视化动画效果。
【技术实现步骤摘要】
基于音频数据的图像渲染方法、装置及计算机设备
[0001]本申请涉及图像
，具体涉及一种基于音频数据的图像渲染方法、装置、计算机设备以及计算机可读存储介质。
技术介绍
[0002]在游戏、影视等涉及到计算机图形学的领域，经常通过音频数据的可视化渲染效果来表现音乐的韵律，配合听觉给予用户提供更加深入的氛围体验。音频数据的可视化渲染通常是将音乐数据转换为对应的柱状频谱图，通过柱状频谱图中不同音乐柱的高低起伏跳动表现音乐的律动，但是现有技术中柱状频谱图1般只能通过固定的显示窗口进行显示，难以渲染至任意虚拟模型的模型表面。
技术实现思路
[0003]基于此，有必要针对上述技术问题，提供一种基于音频数据的图像渲染方法、装置及计算机设备，用以将音频数据的可视化效果渲染至任意虚拟模型的模型表面上，提高音频数据的可视化效果渲染的普适性。
[0004]第一方面，本申请提供一种基于音频数据的图像渲染方法，该方法包括：
[0005]获取音频数据的时频谱图；
[0006]确定在虚拟模型上的音频柱绘制区域，并根据所述音频柱绘制区域中各个目标顶点的顶点坐标获取所述音频柱绘制区域的纹理坐标；
[0007]对所述音频柱绘制区域进行划分得到多个音频柱对应的绘图区域，并根据所述音频柱绘制区域的纹理坐标在所述时频谱图中获取在不同时序帧下所述音频柱对应的频谱数据；
[0008]根据不同时序帧下所述音频柱对应的频谱数据，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图。/>[0009]第二方面，本申请提供一种基于音频数据的图像渲染装置，该装置包括：
[0010]时频谱图获取模块，用于获取音频数据的时频谱图；
[0011]绘制区域获取模块，用于确定在虚拟模型上的音频柱绘制区域，并根据所述音频柱绘制区域中各个目标顶点的顶点坐标获取所述音频柱绘制区域的纹理坐标；
[0012]频谱数据采样模块，用于对所述音频柱绘制区域进行划分得到多个音频柱对应的绘图区域，并根据所述音频柱绘制区域的纹理坐标在所述时频谱图中获取在不同时序帧下所述音频柱对应的频谱数据；
[0013]效果图绘制模块，用于根据不同时序帧下所述音频柱对应的频谱数据，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图。
[0014]第三方面，本申请还提供一种计算机设备，该计算机设备包括：
[0015]一个或多个处理器；
[0016]存储器；以及
[0017]一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现基于音频数据的图像渲染方法。
[0018]第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的基于音频数据的图像渲染方法中的步骤。
[0019]上述基于音频数据的图像渲染方法、装置、计算机设备以及存储介质，获取音频数据的时频谱图；确定在虚拟模型上的音频柱绘制区域，并根据音频柱绘制区域中各个目标顶点的顶点坐标获取音频柱绘制区域的纹理坐标；对音频柱绘制区域进行划分得到多个音频柱对应的绘图区域，并根据音频柱绘制区域的纹理坐标在时频谱图中获取在不同时序帧下音频柱对应的频谱数据；根据不同时序帧下音频柱对应的频谱数据，对音频柱对应的绘图区域进行渲染，得到音频数据对应的音频柱效果图。通过将音频数据的频谱数据转换为时频谱图，在渲染音频可视化效果图时，在任意虚拟模型定义连续的音频柱绘制区域后，针对音频柱绘制区域生成纹理坐标，通过纹理坐标获取音频柱绘制区域中各个音频柱的频谱数据，以对音频柱对应的绘图区域进行渲染生成音频柱效果图，实现在任意模型表面上，渲染音频数据的可视化动画效果。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例中基于音频数据的图像渲染方法的流程示意图；
[0022]图2是本申请实施例中时频谱图的示意图；
[0023]图3是本申请实施例中各个音频柱对应的绘图区域的示意图；
[0024]图4A是本申请实施例中音频柱效果图的示意图；
[0025]图4B是本申请实施例中音频柱效果图的另一个示意图；
[0026]图5A是本申请实施例中频谱数据对应柱状图的示意图；
[0027]图5B是本申请实施例中频谱数据对应柱状图的另一个示意图；
[0028]图5C是本申请实施例中频谱数据对应柱状图的又一个示意图；
[0029]图5D是本申请实施例中频谱数据对应柱状图的再一个示意图；
[0030]图6A是本申请实施例中投影包围盒的示意图；
[0031]图6B是本申请实施例中音频柱绘制区域的示意图；
[0032]图7是本申请实施例中基于音频数据的图像渲染装置的结构示意图；
[0033]图8是本申请实施例中计算机设备的结构示意图。
具体实施方式
[0034]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0036]在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本专利技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本专利技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本专利技术的描述变得晦涩。因此，本专利技术并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
[0037]现有技术中，音频数据的可视化效果图的生成方法主要有两种，一种是将音频数据转换成相应的频谱信息，进而基于频谱信息制作成跳动的柱状频谱图，然后按照序列帧动画的方式，将柱状频谱图保存为序列帧贴图；在渲染呈现到虚拟模型时，按照时间轴提取出每一帧序列帧贴图(即柱状频谱图)渲染至虚拟模型上即可。另一种是实时获取音频数据的频谱信息，将连续的频谱数据划分成若干个音频分区，对每本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于音频数据的图像渲染方法，其特征在于，所述方法包括：获取音频数据的时频谱图；确定在虚拟模型上的音频柱绘制区域，并根据所述音频柱绘制区域中各个目标顶点的顶点坐标获取所述音频柱绘制区域的纹理坐标；对所述音频柱绘制区域进行划分得到多个音频柱对应的绘图区域，并根据所述音频柱绘制区域的纹理坐标在所述时频谱图中获取在不同时序帧下所述音频柱对应的频谱数据；根据不同时序帧下所述音频柱对应的频谱数据，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图。2.根据权利要求1所述的方法，其特征在于，所述确定在虚拟模型上的音频柱绘制区域的步骤，包括：获取投影包围盒的投影方向、包围盒位置以及包围盒大小；基于所述投影方向以及所述包围盒位置获取所述虚拟模型上的各个顶点在所述投影包围盒对应投影坐标系下的投影坐标数据；根据所述包围盒位置、所述包围盒大小以及各所述顶点的投影坐标数据，在各所述顶点中确定在所述投影包围盒内的目标顶点；基于所述目标顶点确定所述虚拟模型的音频柱绘制区域。3.根据权利要求2所述的方法，其特征在于，所述根据所述音频柱绘制区域中各个目标顶点的顶点坐标获取所述音频柱绘制区域的纹理坐标的步骤，包括：基于所述投影方向以及包围盒位置将所述目标顶点的顶点坐标转换为在所述投影包围盒对应投影坐标系下的目标投影坐标数据；根据所述包围盒大小对所述目标顶点的目标投影坐标数据进行归一化处理，将归一化后的所述目标顶点的目标纹理映射坐标确定为所述音频柱绘制区域的纹理坐标。4.根据权利要求1所述的方法，其特征在于，所述对所述音频柱绘制区域进行划分得到多个音频柱对应的绘图区域，并根据所述音频柱绘制区域的纹理坐标在所述时频谱图中获取在不同时序帧下所述音频柱对应的频谱数据的步骤，包括：基于预设的音频柱数量对所述音频柱绘制区域在第一方向上进行划分，得到各个音频柱对应的绘图区域；根据所述音频柱绘制区域的纹理坐标，获取各所述音频柱对应的绘图子区域在第一方向上的第一纹理坐标值；根据各所述音频柱对应的绘图子区域在第一纹理坐标值，在所述时频谱图中获取在不同时序帧下各所述音频柱的频谱数据。5.根据权利要求1或4任意一项所述的方法，其特征在于，所述根据不同时序帧下所述音频柱对应的频谱数据，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图的步骤，包括：针对不同时序帧中的目标时序帧，根据所述目标时序帧下所述音频柱的频谱数据获取所述音频柱对应高度值；基于所述音频柱对应高度值，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图。6.根据权利要求1或4任意一项所述的方法，其特征在于，所述根据不同时序帧下所述
音频柱对应的频谱数据，对所述音频柱对应的绘图区域进行渲染，得到所述音频数据对应的音频柱效果图的步...
【专利技术属性】
技术研发人员：贾凡，杨继鹏，王维，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。