音乐作品的生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种音乐作品的生成方法、装置、设备及存储介质，用于根据预置的矢量量化变分自动编码VQ

【技术实现步骤摘要】
音乐作品的生成方法、装置、设备及存储介质


[0001]本专利技术涉及音频转换领域，尤其涉及一种音乐作品的生成方法、装置、设备及存储介质。

技术介绍

[0002]音乐是用组织音构成的听觉意象，是表达人们的思想感情与社会现实生活的一种艺术形式，远非机械的节奏与音高的输出。音乐的作用很大程度上来源于其的感染力，这种感染力来自于每位演奏家独特的乐曲处理方式和演奏风格，不同演奏者会将自己的经历和对乐曲的独特理解带入演奏中，从而产生具有感染力的音乐效果。
[0003]在现有技术中，通过将乐谱展示作为输入生成乐曲，忽略了音乐表演情感和表达上的独特性，具体表现为节奏的准确性和音高的控制，并且只能处理有限种类的乐器，造成了音乐效果的损失。

技术实现思路

[0004]本专利技术提供了一种音乐作品的生成方法，用于根据预置的矢量量化变分自动编码VQ
‑
VAE模型和原始音频数据生成音乐作品，提高了音乐生成效率，提升了音高和节奏的准确度，使音乐作品更有独特性和表现力。
[0005]本专利技术第一方面提供了一种音乐作品的生成方法，包括：获取原始数据，所述原始数据为待处理的音频数据；调用预置的自回归离散自编码器对所述原始数据进行特征提取，生成查询向量，所述查询向量用于查询关键信息；将所述查询向量进行量化处理，得到量化向量，所述量化向量包括数量化的音高和节奏信息；调用预置的矢量量化变分自动编码VQ
‑
VAE模型，将所述查询向量和所述量化向量代入预置的公式，计算并得到目标数据；将所述目标数据输入预置的解码器，生成音乐作品。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述调用预置的矢量量化变分自动编码VQ
‑
VAE模型，将所述查询向量和所述量化向量代入预置的公式，计算并得到目标数据包括：基于所述查询向量和所述量化向量按照预置的公式计算并得到目标数据，所述预置的公式为：
[0007]L
VQ
‑
VAE
＝
‑
logp(x|q')+(q'
‑
[q])2+β([q']‑
q)2；其中，L
VQ
‑
VAE
为损失函数，p(x|q')为所述量化向量q'在分类x的情况下出现的概率，q为所述查询向量，q'为所述量化向量，β为所述查询向量与所述量化向量之差的平均值的权重。
[0008]可选的，在本专利技术第一方面的第二种实现方式中，所述调用预置的自回归离散自编码器对所述原始数据进行特征提取，生成查询向量，所述查询向量用于查询关键信息包括：将所述原始数据输入预置的自回归离散自编码器，所述预置的自回归离散自编码器直接将原始数据作为学习的对象；对所述原始数据进行特征提取，得到多个目标特征，并基于预置的算法将所述多个目标特征转换为初始向量；对所述初始向量进行过滤处理，生成查询向量，所述查询向量用于查询关键信息。
[0009]可选的，在本专利技术第一方面的第三种实现方式中，所述对所述原始数据进行特征提取，得到多个目标特征，并基于预置的算法将所述多个目标特征转换为初始向量包括：基于预置的自回归离散自编码器，对所述原始数据进行特征提取，得到多个初始特征；调用预置的音乐知识库对所述多个初始特征进行归一化处理，得到多个目标特征，所述多个目标特征包括音高、节奏、速度和音色；将所述多个目标特征按照预置的算法进行转换，得到初始向量。
[0010]可选的，在本专利技术第一方面的第四种实现方式中，所述将所述查询向量进行量化处理，得到量化向量，所述量化向量包括数量化的音高和节奏信息包括：在所述查询向量中随机选择向量作为基础向量；在每一轮迭代中，随机选取一个迭代向量，计算所述迭代向量与所述基础向量的距离，确定簇标记，若所述簇标记相等，则将所述基础向量与所述迭代向量的距离减小，若所述簇标记不相等，则将所述基础向量与所述迭代向量的距离增大；当达到预置的迭代次数时，将当前基础向量作为最终结果，生成量化向量，所述量化向量包括数量化的音高和节奏信息。
[0011]可选的，在本专利技术第一方面的第五种实现方式中，所述将所述目标数据输入预置的解码器，生成音乐作品包括：调用预置的解码器中的调制器读取所述目标数据，所述预置的解码器包括调制器和预置的本地音乐模型；基于所述调制器将所述目标数据与所述预置的本地音乐模型结合，生成音乐作品。
[0012]可选的，在本专利技术第一方面的第六种实现方式中，在所述获取原始数据之前，所述方法还包括：构建预置的音乐知识库，所述预置的音乐知识库包括音乐的基本要素信息。
[0013]本专利技术第二方面提供了一种音乐作品的生成装置，包括：获取模块，用于获取原始数据，所述原始数据为待处理的音频数据；特征提取模块，用于调用预置的自回归离散自编码器对所述原始数据进行特征提取，生成查询向量，所述查询向量用于查询关键信息；量化模块，用于将所述查询向量进行量化处理，得到量化向量，所述量化向量包括数量化的音高和节奏信息；计算模块，用于调用预置的矢量量化变分自动编码VQ
‑
VAE模型，将所述查询向量和所述量化向量代入预置的公式，计算并得到目标数据；生成模块，用于将所述目标数据输入预置的解码器，生成音乐作品。
[0014]可选的，在本专利技术第二方面的第一种实现方式中，所述计算模块具体用于：基于所述查询向量和所述量化向量按照预置的公式计算并得到目标数据，所述预置的公式为：L
VQ
‑
VAE
＝
‑
logp(x|q')+(q'
‑
[q])2+β([q']‑
q)2；其中，L
VQ
‑
VAE
为损失函数，p(x|q')为所述量化向量q'在分类x的情况下出现的概率，q为所述查询向量，q'为所述量化向量，β为所述查询向量与所述量化向量之差的平均值的权重。
[0015]可选的，在本专利技术第二方面的第二种实现方式中，所述特征提取模块包括：输入单元，用于将所述原始数据输入预置的自回归离散自编码器，所述预置的自回归离散自编码器直接将原始数据作为学习的对象；特征提取单元，用于对所述原始数据进行特征提取，得到多个目标特征，并基于预置的算法将所述多个目标特征转换为初始向量；过滤单元，用于对所述初始向量进行过滤处理，生成查询向量，所述查询向量用于查询关键信息。
[0016]可选的，在本专利技术第二方面的第三种实现方式中，所述特征提取单元具体用于：基于预置的自回归离散自编码器，对所述原始数据进行特征提取，得到多个初始特征；调用预置的音乐知识库对所述多个初始特征进行归一化处理，得到多个目标特征，所述多个目标
特征包括音高、节奏、速度和音色；将所述多个目标特征按照预置的算法进行转换，得到初始向量。
[0017]可选的，在本专利技术第二方面的第四种实现方式中，所述量化模块包括：随机选择单元，用于在所述查询向量中随机选择向量作为基础向量；计算单元，用于在每一轮迭代中，随机选取一个迭代向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音乐作品的生成方法，其特征在于，所述音乐作品的生成方法包括：获取原始数据，所述原始数据为待处理的音频数据；调用预置的自回归离散自编码器对所述原始数据进行特征提取，生成查询向量，所述查询向量用于查询关键信息；将所述查询向量进行量化处理，得到量化向量，所述量化向量包括数量化的音高和节奏信息；调用预置的矢量量化变分自动编码VQ
‑
VAE模型，将所述查询向量和所述量化向量代入预置的公式，计算并得到目标数据；将所述目标数据输入预置的解码器，生成音乐作品。2.根据权利要求1所述的音乐作品的生成方法，其特征在于，所述调用预置的矢量量化变分自动编码VQ
‑
VAE模型，将所述查询向量和所述量化向量代入预置的公式，计算并得到目标数据包括：基于所述查询向量和所述量化向量按照预置的公式计算并得到目标数据，所述预置的公式为：L
VQ
‑
VAE
＝
‑
logp(x|q')+(q'
‑
[q])2+β([q']
‑
q)2；其中，L
VQ
‑
VAE
为损失函数，p(x|q')为所述量化向量q'在分类x的情况下出现的概率，q为所述查询向量，q'为所述量化向量，β为所述查询向量与所述量化向量之差的平均值的权重。3.根据权利要求1所述的音乐作品的生成方法，其特征在于，所述调用预置的自回归离散自编码器对所述原始数据进行特征提取，生成查询向量，所述查询向量用于查询关键信息包括：将所述原始数据输入预置的自回归离散自编码器，所述预置的自回归离散自编码器直接将原始数据作为学习的对象；对所述原始数据进行特征提取，得到多个目标特征，并基于预置的算法将所述多个目标特征转换为初始向量；对所述初始向量进行过滤处理，生成查询向量，所述查询向量用于查询关键信息。4.根据权利要求3所述的音乐作品的生成方法，其特征在于，所述对所述原始数据进行特征提取，得到多个目标特征，并基于预置的算法将所述多个目标特征转换为初始向量包括：基于预置的自回归离散自编码器，对所述原始数据进行特征提取，得到多个初始特征；调用预置的音乐知识库对所述多个初始特征进行归一化处理，得到多个目标特征，所述多个目标特征包括音高、节奏、速度和音色；将所述多个目标特征按照预置的算法...

【专利技术属性】
技术研发人员：刘奡智，党艺飞，韩宝强，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：