基于attention的主旋律提取方法、系统及计算机存储介质技术方案

本发明专利技术提出了一种基于attention的主旋律提取方法、系统及计算机存储介质。该主旋律提取方法将待提取主旋律的音频信号进行处理形成语谱图；将所述语谱图进行多次Tattention操作，先至少对一次Tattention的输出进行下采样，然后至少对一次Tattention的输出进行上采样，上采样次数与下采样次数一致，每次Tattention均以上一次Tattention的输出或采样结果为输入，根据最后一个Tattention的输出于所述语谱图中查找对应的频率，提取到音频信号的主旋律；所述Tattention将输入信息进行频域信息融合后通过时域attention，然后进行时域信息融合后通过通道域attention后输出。该主旋律提取方法通过两种Attention结合提高了主旋律提取的准确率。主旋律提取的准确率。主旋律提取的准确率。

【技术实现步骤摘要】
基于attention的主旋律提取方法、系统及计算机存储介质


[0001]本专利技术涉及音频信号处理领域，具体涉及一种基于attention的主旋律提取方法、系统及计算机存储介质。

技术介绍

[0002]主旋律提取是音乐信号处理领域的重要研究任务，具体内容是给定一段音乐，计算机自动分析音乐内容，并提取出该段音乐的主旋律。主旋律提取在音乐结构分析、音乐检索、音乐风格分类、翻唱识别等领域具有广泛应用。
[0003]传统的主旋律提取方法主要分为三类：基于音高显著性的主旋律提取、基于源分离的主旋律提取以及基于机器学习的方法。而随着深度学习的发展以及其在语音信号处理领域已经取得的巨大成就，许多人使用深度学习去提取音乐主旋律并且已经获得了很好的效果。

技术实现思路

[0004]为了克服上述现有技术中存在的缺陷，本专利技术的目的是提供一种基于attention的主旋律提取方法、系统及计算机存储介质。
[0005]为了实现本专利技术的上述目的，本专利技术提供了一种基于attention的主旋律提取方法，包括以下步骤：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于attention的主旋律提取方法，其特征在于，包括以下步骤：将待提取主旋律的音频信号进行处理形成语谱图；将所述语谱图进行多次Tattention操作，先至少对一次Tattention的输出进行下采样，然后至少对一次Tattention的输出进行上采样，上采样次数与下采样次数一致，每次Tattention均以上一次Tattention的输出或采样结果为输入，根据最后一个Tattention的输出于所述语谱图中查找对应的频率，提取到音频信号的主旋律；所述Tattention将输入信息进行频域信息融合后通过时域attention，然后进行时域信息融合后通过通道域attention后输出。2.根据权利要求1所述的基于attention的主旋律提取方法，其特征在于，将所述语谱图进行6次Tattention操作，分别对前两次Tattention的输出进行下采样，分别对倒数第二、三次Tattention的输出进行上采样，每次采样结果作为下一Tattention的输入。3.根据权利要求1所述的基于attention的主旋律提取方法，其特征在于，通过时域attention时，将频域的信息融合得到F*T的时域attention，F为频率，T为时间，此时，F＝1。4.根据权利要求1所述的基于attention的主旋律提取方法，其特征在于，通过通道域attention时，将时域融合得到C*T通道域的attention，T为时间，C为通道，此时，T＝1。5.根据权利要求1所述的基于attention的主旋律提取方法，其特征在于，所述Tattention的步骤为：对所述语谱图或输入信息X∈R
C*F*T
先进行二维卷积f1操作得到S1，然后对S1的F维取均值,记作U∈R
C*T
，C为通道，F为频率，T为时间，其中S
1ij
代表S1中第i行和第j列的元素；对U作一维卷积，结果记作V∈R
C*T
，V＝f(U)，同时对S1做二维卷积f2得到S2；以V作为attention map和S2相乘，结果记作Z...

【专利技术属性】
技术研发人员：文静，易俊，王翊，
申请(专利权)人：重庆大学，
类型：发明
国别省市：