音信号合成方法、生成模型的训练方法、音信号合成系统及程序技术方案

由计算机实现的音信号合成方法，对包含与多个音名相对应的多个音名数据在内的音高数据的由应该合成的音信号的音名确定的音名数据，分别对与从其音信号的音高的其音名起的偏差相对应的热值进行设定，使用生成模型，对表示与所设定的音高数据相对应的音信号的输出数据进行推定，与推定出的输出数据相应地将音信号进行合成。信号进行合成。信号进行合成。

【技术实现步骤摘要】
【国外来华专利技术】音信号合成方法、生成模型的训练方法、音信号合成系统及程序


[0001]本专利技术涉及将音信号进行合成的音源技术。

技术介绍

[0002]提出有专利文献1所示的NSynth、或者非专利文献1所示的NPSS(Neural Parametric Singing Synthesizer)等使用神经网络(下面，称为“NN”)而生成与条件输入相对应的声音波形的音源(下面，称为“DNN(Deep Neural Network)音源”)。NSynth与嵌入(embedding/嵌入向量)相应地，针对每个采样周期而生成音信号的样本。NPSS的Timbre模型与音调及定时信息相应地，针对每个帧而生成音信号的频谱。
[0003]专利文献1：美国专利第10068557号说明书
[0004]非专利文献1：Merlijn Blaauw,Jordi Bonada，、“A Neural Parametric Singing Synthesizer Modeling Timbre and Expression from Natural Songs”，Appl.Sci.2017，7，1313

技术实现思路

[0005]在专利文献1的Nsynth或者非专利文献1的NPSS等DNN音源中，通过对期望的1个音阶进行指定的音高数据，对所要合成的音信号的音高进行控制。没有考虑关于从音调包络或者颤音(vibrato)等对音符等进行指定的音阶起的音高的动态偏移进行控制
[0006]在DNN音源的训练阶段，将音高数据作为输入，对推定表示音信号或者波形谱的输出数据的NN进行训练。DNN音源如果通过带有颤音的音信号进行训练，则生成带有颤音的音信号，如果通过带有弯音(Pitch bend)的音信号进行训练，则生成带有弯音的音信号。但是，无法将如颤音或者弯音那样的动态地变化的音高的偏移(弯音量)通过时间变化的数值进行控制。
[0007]本专利技术的目的在于，通过时间变化的数值对所要合成的音信号的动态的音调变化进行控制。
[0008]本专利技术的一个方式所涉及的音信号合成方法是由计算机实现的，生成表示应该合成的第1音信号的音高的第1音高数据，使用对表示第2音信号的音高的第2音高数据和所述第2音信号之间的关系进行了学习的生成模型，对表示与所述第1音高数据相对应的所述第1音信号的输出数据进行推定，在该音信号合成方法中，所述第1音高数据包含与不同的音名相对应的多个音名数据，在所述第1音高数据的生成时，将所述多个音名数据之中的与所述第1音信号的音高相对应的音名数据设定为与该音名数据相对应的音名的基准音高和该第1音信号的音高之间的差异所对应的热值。
[0009]本专利技术的一个方式所涉及的训练方法是由计算机实现的生成模型的训练方法，准备表示应该合成的音信号的音高的音高数据，以针对所述音高数据的输入而将表示所述音信号的输出数据输出的方式对生成模型进行训练，在该训练方法中，所述音高数据包含与
不同的音名相对应的多个音名数据，在所述音高数据的准备时，将所述多个音名数据之中的与所述音信号的音高相对应的音名数据，设定为与该音名数据相对应的音名的基准音高和该音信号的音高之间的差异所对应的热值。
[0010]本专利技术的一个方式所涉及的音信号合成系统具有1个以上的处理器和1个以上的存储器，在该音信号合成系统中，所述1个以上的存储器对生成模型进行存储，该生成模型对表示第2音信号的音高的第2音高数据和所述第2音信号之间的关系进行了学习，所述1个以上的处理器生成表示应该合成的第1音信号的音高的第1音高数据，使用所述生成模型，对表示与所述第1音高数据相对应的所述第1音信号的输出数据进行推定，所述第1音高数据包含与不同的音名相对应的多个音名数据，所述1个以上的处理器在所述第1音高数据的生成时，将所述多个音名数据之中的与所述第1音信号的音高相对应的音名数据，设定为与该音名数据相对应的音名的基准音高和该第1音信号的音高之间的差异所对应的热值。
[0011]本专利技术的一个方式所涉及的程序使计算机作为处理部及生成部起作用，该处理部生成表示应该合成的第1音信号的音高的第1音高数据，该生成部使用对表示第2音信号的音高的第2音高数据和所述第2音信号之间的关系进行了学习的生成模型，对表示与所述第1音高数据相对应的所述第1音信号的输出数据进行推定，在该程序中，所述第1音高数据包含与不同的音名相对应的多个音名数据，在所述第1音高数据的生成时，将所述多个音名数据之中的与所述第1音信号的音高相对应的音名数据，设定为与该音名数据相对应的音名的基准音高和该第1音信号的音高之间的差异所对应的热值。
附图说明
[0012]图1是表示音信号合成系统的硬件结构的框图。
[0013]图2是表示音信号合成系统的功能结构的框图。
[0014]图3是音高数据的说明图。
[0015]图4是通过训练部和生成部进行的处理的说明图。
[0016]图5是按照1热度记法的音高数据的说明图。
[0017]图6是准备处理的流程图。
[0018]图7是音生成处理的流程图。
[0019]图8是按照2热度记法的音高数据的说明图。
[0020]图9是按照4热度记法的音高数据的说明图。
[0021]图10是表示各音名和音信号的音高的接近度的变形例的图。
具体实施方式
[0022]A：第1实施方式
[0023]图1是例示本专利技术的音信号合成系统100的结构的框图。音信号合成系统100是通过具有控制装置11、存储装置12、显示装置13、输入装置14和放音装置15的计算机系统实现的。音信号合成系统100例如为移动电话、智能手机或者个人计算机等信息终端。音信号合成系统100除了由单体的装置实现以外，也由相互地分体构成的多个装置(例如服务器－客户端系统)实现。
[0024]控制装置11是对构成音信号合成系统100的各要素进行控制的单个或者多个处理
器。具体地说，例如通过CPU(Central Processing Unit)、SPU(Sound Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)或者ASIC(Application Specific Integrated Circuit)等1种以上的处理器而构成控制装置11。控制装置11生成表示合成音的波形的时间区域的音信号V。
[0025]存储装置12是对由控制装置11执行的程序和控制装置11所使用的各种数据进行存储的单个或者多个存储器。存储装置12例如由磁记录介质或者半导体记录介质等公知的记录介质，或者多种记录介质的组合而构成。此外，也可以准备与音信号合成系统100分体的存储装置12(例如云储存器)，控制装置11经由移动体通信网或者互联网等通信网而执行相对于存储装置12的写入及读出。即，存储装置12可以从音信号合成系统100被省略。
[0026]显示装本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种音信号合成方法，其是由计算机实现的，生成表示应该合成的第1音信号的音高的第1音高数据，使用对表示第2音信号的音高的第2音高数据和所述第2音信号之间的关系进行了学习的生成模型，对表示与所述第1音高数据相对应的所述第1音信号的输出数据进行推定，在该音信号合成方法中，所述第1音高数据包含与不同的音名相对应的多个音名数据，在所述第1音高数据的生成时，将所述多个音名数据之中的与所述第1音信号的音高相对应的音名数据设定为与该音名数据相对应的音名的基准音高和该第1音信号的音高之间的差异所对应的热值。2.根据权利要求1所述的音信号合成方法，其中，在所述第1音高数据的生成时，将所述多个音名数据之中的除了与所述第1音信号的音高相对应的音名数据以外的音名数据设定为表示与所述第1音信号的音高无关的冷值。3.根据权利要求1或2所述的音信号合成方法，其中，所述第1音信号的音高动态地变化，所述第1音高数据表示在所述第1音信号中动态地变化的音高。4.根据权利要求1至3中任一项所述的音信号合成方法，其中，所述第2音信号的音高动态地变化，所述第2音高数据表示在所述第2音信号中动态地变化的音高，所述生成模型是使用所述第2音信号和所述第2音高数据进行训练的。5.根据权利要求1至3中任一项所述的音信号合成方法，其中，所述第1音信号的音高在与一个音名相对应的发音期间内动态地变化，在与所述第1音信号的音高相对应的音名数据中设定的热值与该音高相应地变化。6.根据权利要求1至5中任一项所述的音信号合成方法，其中，与所述第1音信号的音高相对应的音名数据，是与不同的音名相对应的多个单位范围之中的与包含该音高的1个单位范围相对应的音名的音名数据。7.根据权利要求1至5中任一项所述的音信号合成方法，其中，与所述第1音信号的音高相对应的音名数据，是与不同的音名相对应的多个基准音高之中的、与隔着该音高的2个基准音高分别对应的2个音名数据。8.根据权利要求1至5中任一项所述的音信号合成方法，其中，与所述第1音信号的音高相对应的音名数据，是与不同的音名相对应的多个基准音高之中的、与该音高接近的N个基准音高分别所对应的N个音名数据，其中，N为1...

【专利技术属性】
技术研发人员：西村方成，
申请(专利权)人：雅马哈株式会社，
类型：发明
国别省市：