用于数字绘图中的画笔和画布交互的实时生成音频制造技术

公开了用于数字绘图中的画笔和画布交互的实时生成音频的实施例。该方法可以包括接收用户输入和对工具的选择以用于生成针对数字绘图交互的音频。该方法还可以包括基于用户输入和工具选择来生成中间音频数据，其中中间音频数据包括音高和频率。该方法可还包括由经训练的音频变换模型且通过该经训练的音频变换模型的一系列一个或多个层来处理该中间音频数据。该方法可还包括调整经训练的音频变换模型的一系列一个或多个层以包括一个或多个附加层以产生经调整的音频变换模型。该方法可还包括由经调整的音频变换模型基于中间音频数据产生音频样本。据产生音频样本。据产生音频样本。

【技术实现步骤摘要】
用于数字绘图中的画笔和画布交互的实时生成音频

技术介绍

[0001]在数字绘图中，精确的实时音频和视觉反馈是产出的最具挑战性的方面之一，因为绘图所使用的画布和工具涉及复杂的交互。因为数字画布可以表示许多不同的物理材料，并且数字绘图工具可以表示许多不同类型的物理绘图工具，所以提出了进一步的挑战。数字绘图工具和数字画布允许用户通过模拟不同的物理工具和材料来定制绘图的外观，但是提供有限的音频反馈或没有音频反馈。音频反馈向用户提供关于压力、方向和笔划信息的信息，这些信息存在于物理绘图中，但在数字绘图中缺少。

技术实现思路

[0002]此处介绍的是涉及数字绘图和产生用于数字绘图中的画笔和画布交互的实时生成音频的技术。电子绘图系统接收对数字画布和数字绘图工具的类型的选择。通过数字绘图工具和数字画布之间的交互从用户接收绘图输入。由电子绘图系统生成表示绘图意图的参数集，诸如针对绘图输入的压力、速度、方位角。音频输出是通过利用神经网络来创建的，该神经网络是使用网络弯曲(network bending)来操纵的，该网络弯曲将用于实时绘图输入的参数集与神经网络相结合，该神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收用户输入和对工具的选择，以生成针对数字绘图交互的音频；基于所述用户输入和所述工具选择来生成中间音频数据，其中所述中间音频数据包括音高和频率；调整包括一系列一个或多个层的经训练的音频变换模型以包括一个或多个附加层，以产生经调整的音频变换模型；以及由所述经调整的音频变换模型基于所述中间音频数据来生成音频样本。2.根据权利要求1所述的方法，其中生成中间音频数据包括：生成白噪声信号；将滤波器应用于所述白噪声信号以创建经滤波的白噪声信号；以及从所述用户输入提取输入参数，其中所述输入参数包括所述工具的方位角、压力和速度。3.根据权利要求2所述的方法，还包括：将所述输入参数转换为结构化数据元素；将所述结构化数据元素中的所述输入参数应用于所述经滤波的白噪声信号，其中应用所述输入参数包括：确定固定带宽参数；基于所述输入参数来调整中心频率参数；以及基于所述输入参数来调整增益参数。4.根据权利要求3所述的方法，其中所述中心频率参数根据方位角、画笔速度和压力的组合而被计算。5.根据权利要求3所述的方法，其中调整所述经训练的音频变换模型包括：将多个确定性地控制的变换层插入到与所述变换模型相关联的计算图中，其中在激活映射被传递到所述经训练的音频变换模型的后续层之前每个确定性地控制的变换层被单独地应用于所述经训练的音频变换模型的每个激活映射。6.根据权利要求1所述的方法，还包括：向多媒体呈现设备输出感觉反馈，其中所述感觉反馈基于所述音频样本而被实时生成。7.根据权利要求1所述的方法，其中所述用户输入和对绘图工具的选择包括数字画布、笔划交互、以及物理绘图用具的表示。8.一种非暂态计算机可读存储介质，包括被存储在其上的指令，所述指令由至少一个处理器执行，使得所述至少一个处理器执行操作，所述操作包括：接收对绘图工具的选择；接收用户输入，所述用户输入表示数字画布与所述绘图工具之间的数字绘图交互；从多个经训练的音频变换模型选择经训练的音频变换模型，其中所述经训练的音频变换模型针对所述数字画布和所述绘图工具的组合而被训练；向所述经训练的音频变换模型提供所述用户输入；使用网络弯曲来修改所述经训练的音频变换模型以将一个或多个层插入到所述经训练的音频变换模型中；以及使用所述经训练的音频变换模型来生成音频样本。
9.根据权利要求8所述的非暂态计算机可读存储介质，所述操作还包括：将所述用户输入转换为结构化数据元素，其中所述结构化数据元素包括方位角、速度和压力；使用所述用户输入来生成中间音频数据；使用所述结构化数据元素来修改所述中间音频数据，所述修改包括：调整所述中间音频数据的中心频率参数；以及调整所述中间音频数据的增益参数。10....

【专利技术属性】
技术研发人员：P，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：