一种复调音乐多音高估计方法技术

本分案申请涉及一种复调音乐多音高估计方法，属于数字语音信号处理领域，用于解决复调音乐的多个音高估计问题，技术要点是：步骤3：按照二维模板匹配互相关函数值从大到小排列，取出前10个频率作为候选音高；步骤4：计算各候选音高的加权谐波能量和，并选择具有最大加权谐波能量和的候选音高作为该次迭代输出音高，并保存音高值和相应的加权谐波能量；步骤5：移除该最显著音高的二维谐波成分；步骤6：重复步骤3‑5，直至本次输出音高的加权谐波能量和比前一音高的加权能量小20dB，输出所有迭代过程中估计的音高，效果是：在具有较少谐波成分的情况下也能正常工作，可区分具有重叠谐波频率成分的音符，该方法具有较小的运算量，易于实现，且可用于除复调音乐以外的谐波信号的基频提取。

【技术实现步骤摘要】
一种复调音乐多音高估计方法本申请为申请号2017103013149、申请日2017-05-02、专利技术名称“复调音乐多音高估计方法及伪双谱在多音高估计中的应用”的分案申请。
本专利技术属于数字语音信号处理领域，涉及一种音乐信号处理方法。
技术介绍
以算法原理为依据，复调音乐多音高估计方法可分为基于特征，基于统计模型和基于谱分解的方法，其中大部分方法都基于一维傅里叶变换谱。当不同音符具有相同的谐波频率成分时，一维傅里叶变换谱无法将这些重叠的谐波频率成分分离。和声是音乐的基本要素之一，从而在音乐信号中具有重叠谐波频率分量的情况普遍存在，因此准确分离具有重叠谐波频率的音符具有重要意义。最近，Argenti等人提出基于双谱的多音高估计方法，该方法将输入一维时间域信号映射到二维双谱域，在二维双谱平面上，谐波信号形成一个典型的二维双谱模板，可独立分离具有相同谐波频率成分的两音符而互不影响。然而，信号的双谱幅度是一维傅里叶变换谱三个频率分量幅度的乘积，故其中任一分量为0都会导致双谱幅度为0，进而使二维模板匹配失败。另外，由于频谱泄露也会导致基于双谱的多音高估计方法产生较多的低八度误差。
技术实现思路
为了解决复调音乐多音高估计问题，准确分离具有相同谐波频率成分的音符，本专利技术构建一个全新的二维谱变换,以下称其为“伪双谱”，并将其应用于复调音乐多音高估计。本专利技术提出如下技术方案：一种复调音乐多音高估计方法，对输入的音乐音频分帧；求每帧信号的伪双谱，根据二维模板与伪双谱的匹配互相关函数值从大到小排列，取出前若干个频率作为候选音高；计算各候选音高的加权谐波能量和，并选择具有最大加权谐波能量和的候选音高作为该次迭代输出的最显著估计音高。进一步的，移除所述最显著估计音高的二维谐波成分，迭代上述过程，直至本次输出最显著估计音高的加权谐波能量和比前一音高的加权谐波能量和小于设定值。进一步的，所述伪双谱由下式表示：其中X(f1)和X(f2)为x(t)的一维傅里叶变换，(·)*代表共轭转置运算，f1和f2为二维频率域中的自变量，t和τ分别为时间域信号x(t)和x(τ)的自变量。进一步的，Px为输入复调音乐伪双谱的离散化矩阵，每八度有Noct个对数分布离散频点，使用每个音符的前Hr个谐波成分，令Q＝(qi,j)是一个维度为Rq×Rq的稀疏矩阵，其中，是向正无穷方向取整，当且仅当基频频点索引平移i和j个索引值后都对应谐波分量时，qi,j＝1，由下式计算二维模板与伪双谱的匹配互相关函数值：进一步的，选择具有最大谐波加权能量和的频率作为最显著估计音高，由下式求得：其中α为常数，φk为音高fk的显著函数值，X(hfk)为fk的第h次谐波幅度。进一步的，输入信号为具有H个谐波分量的音符，表示为：其中al为第l次谐波幅度，f0为基频；z(t)的伪双谱为：其中δ(·)为狄拉克函数，l和m为谐波次数，al和am分别为第l次和第m次谐波幅度；由上述，对于具有H个谐波分量的音符作伪双谱变换生成H×H的二维模式，由下式作二维模式匹配：进一步的，输入信号为M个音符的混合信号，表示为：其中Hm和f0,m分别为第m个音符的谐波数和基频，为第m个音符的第lm次谐波幅度；由上述，z(t)的伪双谱为：其中为第m个音符的伪双谱，为zm(t)和zn(t)的交叉项，且其中(m,n)∈{1,,2,...,M}，且m≠n；Hm和f0,m分别为第m个音符的谐波数和基频，为第m个音符的第lm次谐波幅度；Hn和f0,n分别为第n个音符的谐波数和基频，为第n个音符的第kn次谐波幅度；对于具有M个音符的混合信号，由下式作二维模式匹配，匹配次数为M：一种伪双谱在多音高估计中的应用，所述伪双谱，由下式表示：其中X(f1)和X(f2)为x(t)的一维傅里叶变换，(·)*代表共轭转置运算，f1和f2为二维频率域中的自变量，t和τ分别为时间域信号x(t)和x(τ)的自变量。有益效果：多音高估计是音乐信号处理领域中一项重要且基础的研究课题，在自动音频检索、音乐标记、音乐学分析、听觉场景分析等领域中具有广泛应用。本专利技术提出一种新的二维谱──伪双谱，并将其应用于多音高估计。伪双谱非常适合处理谐波信号，所提出的多音高估计方法不需先验知识，在具有较少谐波成分的情况下也能正常工作，可区分具有重叠谐波频率成分的音符，该方法具有较小的运算量，易于实现，且可用于除复调音乐以外的谐波信号的基频提取。附图说明图1复调音乐多音高估计流程图；图2演奏A3音符的音频信号一维傅里叶变换谱示意图；图3演奏A3音符的音频信号伪双谱示意图；图4同时演奏A3与E4两个音符的音频信号的一维傅里叶变换谱示意图；图5同时演奏A3与E4两个音符的音频信号的伪双谱示意图；图6某复调音乐的各音高真实值示意图；图7该段复调音乐的各音高估计值示意图；图8谐波信号的典型伪双谱模式(以具有4次谐波频率成分为例)；图9演奏A3音符的音频信号伪双谱；图10演奏A3和D4音符的音频信号伪双谱。具体实施方式实施例1:本实施例定义了伪双谱，并将其应用于复调音乐多音高估计。该伪双谱适合各种一维具有谐波结构的信号基频估计问题而不局限于复调音乐的多音高估计。首先对输入的音乐音频进行分帧；然后求每帧信号的伪双谱；根据本实施例的公式(10)，按照二维模板匹配互相关函数值从大到小排列，取出前10个频率作为候选音高；再根据本实施例的公式(11)计算各候选音高的加权谐波能量和，并选择具有最大加权谐波能量和的候选音高作为该次迭代输出音高，并保存音高值和相应的加权谐波能量和；最后，移除该最显著音高的二维谐波成分，迭代上述过程直至本次输出音高的加权谐波能量比前一音高的加权能量小20dB。为了方便叙述，用如下形式表示：步骤1：对输入的音乐音频进行分帧；步骤2：求每帧信号的伪双谱；步骤3：根据公式(10)，按照二维模板匹配互相关函数值从大到小排列，取出前10个频率作为候选音高；步骤4：根据公式(11)计算各候选音高的加权谐波能量和，并选择具有最大加权谐波能量和的候选音高作为该次迭代输出音高，并保存音高值和相应的加权谐波能量；步骤5：移除该最显著音高的二维谐波成分；步骤6：重复步骤3-5，直至本次输出音高的加权谐波能量和比前一音高的加权能量小20dB，输出所有迭代过程中估计的音高。在一种实施例中，其具体方法如下：设x(t)为复调音乐信号,则该信号的伪双谱定义为：其中X(f1)和X(f2)为x(t)的一维傅里叶变换，(·)*代表共轭运算。f1和f2为二维频率域中的自变量，t和τ分别为时间域信号x(t)和x(τ)的自变量。具有H个谐波分量的音符可表示为：其中al为第l次谐波幅度，f0为基频，则根据公式(1)可得z(t)的伪双谱为其中δ(·)为狄拉克函数，l和m为谐波次数，al和am分别为第l次和第m次谐波幅度；由此可见，对于具有H个谐波分量的谐波信号，伪双谱变换生成H×H的二维模式。音符音高的确定(即二维模式匹配)，可通过如下公式实现：假设复调音乐由M个音符的混合信号组成，即可表示为：其中Hm和f0,m分别为第m个音符的谐波数和音高，为第m个音符的第lm次谐波幅度。对于公式(5)所表示的混合信号的伪双谱为：其中为第m个音符的伪双谱，为zm(t)和zn(t)的交叉项，且其中(m,n)∈{1,2,本文档来自技高网...

【技术保护点】
一种复调音乐多音高估计方法，其特征在于：包括如下步骤：步骤1：对输入的音乐音频进行分帧；步骤2：求每帧信号的伪双谱；步骤3：按照二维模板匹配互相关函数值从大到小排列，取出前10个频率作为候选音高；步骤4：计算各候选音高的加权谐波能量和，并选择具有最大加权谐波能量和的候选音高作为该次迭代输出音高，并保存音高值和相应的加权谐波能量；步骤5：移除该最显著音高的二维谐波成分；步骤6：重复步骤3‑5，直至本次输出音高的加权谐波能量和比前一音高的加权能量小20dB，输出所有迭代过程中估计的音高。

【技术特征摘要】
1.一种复调音乐多音高估计方法，其特征在于：包括如下步骤：步骤1：对输入的音乐音频进行分帧；步骤2：求每帧信号的伪双谱；步骤3：按照二维模板匹配互相关函数值从大到小排列，取出前10个频率作为候选音高；步骤4：计算各候选音高的加权谐波能量和，并选择...

【专利技术属性】
技术研发人员：张维维，陈喆，殷福亮，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：辽宁,21