用于处理一连串信号以进行复调音符辨识的方法和装置制造方法及图纸

本发明专利技术提供一种方法和装置，其中将时域数字音频信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段临时存储于存储器中。所述方法包括使用信号处理算法，用于以固定序列或根据来自决策制定算法的请求从所述短期区段提取多个信号特征。所述决策制定算法进行关于由所述提取特征引起的频带占用的类型的试探性或最终决策。所述决策制定算法可以从所述信号处理算法请求从特定短期区段提取另外的特定特征，并且进行关于由所述请求特征引起的频带占用的类型的进一步试探性或最终决策。接着，所述决策制定算法存储其关于频带占用的试探性决策并制定最终决策，用于连同来自后续短期区段的结果一起进行处理。最终，所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。

Method and apparatus for processing a series of signals for polyphonic note recognition

The invention provides a method and a device, which will be the time domain digital audio signal is split into multiple narrowband time domain digital audio signal is limited to a specific frequency band, a short section of the narrowband time domain digital audio signal is temporarily stored in the memory. The method includes using a signal processing algorithm for extracting a plurality of signal characteristics from a short segment in a fixed sequence or in accordance with a request from a decision making algorithm. The decision making algorithm performs an exploratory or final decision on the type of frequency band occupation caused by the extracted features. The decision making algorithm from the signal processing algorithm to extract the specific characteristics of another request from a specific short section, and the type of which is caused by the characteristics of the frequency band occupied the request for further tentative or final decision. Next, the decision making algorithm stores its tentative decisions regarding frequency band occupancy and formulates final decisions for processing along with results from subsequent short sections. Ultimately, the decision making algorithm together with the timing on each note to produce a set of notes from a recent time interval has played in the information together with the group of notes in the form of output from the final decision of the present and past short sections are.

【技术实现步骤摘要】
【国外来华专利技术】用于处理一连串信号以进行复调音符辨识的方法和装置
本专利技术涉及通过用于处理一连串信号的方法识别音乐信号中的音符的任务。更确切地说，本专利技术涉及一种用于从捕捉或回放的音乐信号辨识同时且连续演奏的多个音符的复调音符的方法和装置。
技术介绍
尤其因为数字音频技术以及以数字方式处理数字音频信号的技术的引入，已经存在许多研发旨在从数字信号当中识别正演奏哪些连串的单个或多个音符。在许多应用中，例如当使用计算机程序辅助音乐学者演奏乐器时，额外要求是实时地表现这种识别，延时适中且具有高级别可靠性。在对识别音频信号中的音符的问题的当今解决方案中，使用一连串以数字方式译码的样本来表示音频信号。音符识别的任务因此是在存在由环境声引起的以及由演奏的乐器引起的非所要噪音的情况下从一连串数字样本中提取指向音符的瞬时存在的信号特征。众所周知的是，对于大多数乐器，任何给定的持续音符可以历经较短观察阶段描述为基频处的正弦振荡和谐频处的若干正弦振荡的时变总和，每个谐频的值是基频的值的若干整数倍，并且每个振荡具有瞬时振幅和相位。在本领域中通常选择连续组样本并且以离散傅里叶变换分析其在频域中的频谱含量。这种变换产生多个复值或实值，所述值可以用来等效地表征等距的恒定宽度的频谱带中存在的信号能量的振幅或量。相对于总能量以及相对于相邻频带的能量具有低能量的频谱带被视为空，而具有大量能量的频谱带被识别并表征为峰。接着使用与每个峰相关联的通常定义为下截止频率和上截止频率的算术平均值或定义为其几何平均值的峰值频率进行进一步处理，并且音符检测变为以下任务：寻找由音符的可能组合产生的基音以及和声的哪些模式最佳匹配此类峰值频率的模式。在下文中，基于三个参考进一步论述现有技术水平，这三个参考即这些文档：参考1：专利US8592670，《复调音符检测(PolyphonicNoteDetection)》。参考2：JudithC.Brown和MillerS.Puckette，《针对常数Q变换的计算的高效算法(AnefficientalgorithmforthecalculationofaconstantQtransform)》，《美国声学学会杂志(J.Acoust.Soc.Am)》，92(5)：2698-2701(1992)。参考3：R.C.Maher和J.W.Beauchamp，《使用双向不匹配程序的音乐信号基频估计(Fundamentalfrequencyestimationofmusicalsignalsusingatwo-waymismatchprocedure)》，《美国声学学会杂志(J.Acoust.Soc.Am)》，94(4)，2254-2263(1994)。参考1是用于复调音符检测的此类方法的新近实例。以上方法虽然相当简单明了，但是由于与时域中的基音以及和声特性直接相关的原因而通常低效。例如，和音通常包含正好相隔一个八度音阶的两个音符。在这种情况下，较低音符的第二和声将与较高音符的基音处于同一频带。这使得较高音符的基音的检测更为困难，因为其自身以及所有其和声将处于也由较低音符的和声占用的频带中。另外，源自这两种音符且在同一频带中存在的频谱分量将展示节拍的熟知现象，其中具有较小频率差的两个正弦振荡将替代地加强或部分地彼此消除。因此，历经较短时间段，频带相当可能呈现几乎为空且因此不被识别为峰。因为简单明了的傅里叶变换执行基于等距频带的瞬时频率分析，而音符以及许多心理声学效应的常见定义是基于对数频率调整，因此所属领域执行傅里叶变换的技术人员通常基于具有与绝对带宽相反的恒定相对带宽的频带使用频域分析的变化形式，如参考2所说明。当将此方法应用于音符辨识时，常见的做法是计算历经较短时间间隔在频带中存在的能量并接着定义频率峰值，所述频率峰值现在相关于与常规傅里叶分析的等距频带相反的非等距频带。然而，显然保留了在个别频带由源自不同音符的频谱分量多重占用的情况下遇到的相同基音缺点。源自不同音符且在给定的个别频带内同时存在的分量可经受更精确的分析，例如通过提高由频率分析提供的解析度。这可以通过显著增加频带的数目来实现，但是具有同时增加待通过傅里叶变换处理的样本的数目的缺点，这反过来会增加检测方法的响应时间。因此，大量关注在于开发用于音符以及和音检测的方法，从而提供关于给定频带是仅被噪音占用还是被短期相消的具有显著振幅的两个信号占用的精确、详细且可靠的决策，以及关于给定频带是被具有显著振幅的一个单个信号占用还是被若干此类信号占用的更好决策。迄今为止遇到的所有用于音符检测的方法常见的一个特征涉及信息减少。如参考1中所描述的且涉及音频信号的连续时间区段的傅里叶变换针对每个频带计算每个频带中存在的频率分量的能量的平均值。这对如参考2中所描述的所属领域的技术人员也熟知的另一类处理也适用，其组合傅里叶变换与频带特定的窗口函数且产生具有不均匀频带的频谱分析。这种变换还在输入信号的一个区段上操作，接着是输入信号的具有相同长度的下一个区段等，并且其输出也对应于特定频带中存在的频率分量的能量的平均值。类似地，将信号拆分成频带并计算历经一些时间间隔在每个频带内存在的信号能量以进行进一步处理相当于在进行进一步处理之前计算平均值。在这两种情况下，基于短期信号平均值定义峰值，并且通过仅仅考虑峰值频率或如参看参考3偶尔进行的通过也考虑峰值的能量值来进行关于可能的音符和音符组合的后续决策。换句话说，在存在于频带中的信息的非常显著的减少(通过求平均值)之后进行决策。因此，复杂度和有效性的自然的下一步骤(虽然是在对音符以及和音检测的问题的任何现有解决方案中尚未遇到的一个)是通过算法方法定义峰值，所述算法方法制止了将现有信息减少到仅仅峰值能量，因此允许出于解析频带占用中的不明确性或检测精确度起见对频带信号特性进行进一步处理。复杂度和有效性的另一进一步且自然的步骤(且同样是在对音符以及和音检测的问题的任何现有解决方案中尚未遇到的一个)是避免频带到非峰值或峰值的初始二元分配，并且基于从所有频带提取几类短期特征而进行决策，因此允许基于更大量的信息的更稳定的决策制定过程。在这两种进一步的自然步骤中，重要的是确保额外处理步骤不会过分增加延时，即，达成关于所考虑的时间间隔演奏哪些音符(若有的话)的决策所需的时间。
技术实现思路
本专利技术解决了基于由复调乐器产生的声学信号或自其导出的信号的短期低延时分析确定在所述乐器上演奏哪些音符的问题。本专利技术的一个目的是与早期在决策过程中舍弃大量信息相反，在决策过程期间尽可能长地考虑尽可能多的可用信息。本专利技术的又一目的是使得可能每当适当时详细分析所有可用信息以便在最佳可能条件的情形下解析频带被和声以及所有基音的占用，这仅基于简单的峰值定义是不可能解析的。本专利技术的再一个目的是使得可能针对在普通演奏条件下遇到的频带占用的大多数情形使用产生快速、可靠且精确的解析度的算法。本专利技术的又一目的是使得可能使用对复调音符检测的整个计算复杂度不具有显著影响的算法，因为这是在如乐器的软件辅助学习的此类情境中实施实时的、几乎瞬时的复调音符检测时的重要边界条件。本专利技术的实施例克服了
技术介绍
中描述的困难，因为本专利技术的方法历经就其而言必须进行决策的时间间隔的整个长度保持所有可用的信息，而不是在制定关于假设的一本文档来自技高网...

【技术保护点】
一种用于处理一连串信号的方法，其中将时域数字音频信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段临时存储于存储器中，使信号处理算法以固定序列或根据来自决策制定算法的请求从所述短期区段提取多个信号特征，使所述决策制定算法进行关于由所述提取特征引起的频带占用的类型的试探性或最终决策，使所述决策制定算法从所述信号处理算法请求从特定短期区段提取另外的特定特征，并且进行关于由所述请求特征引起的频带占用的类型的试探性或最终决策，使所述决策制定算法存储其关于频带占用的试探性以及最终决策，连同来自后续短期区段的结果一起进行处理，以及使所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。

【技术特征摘要】
【国外来华专利技术】2014.12.11 EP 14197438.61.一种用于处理一连串信号的方法，其中将时域数字音频信号拆分成局限于特定频带的多个窄带时域数字音频信号，所述窄带时域数字音频信号的短期区段临时存储于存储器中，使信号处理算法以固定序列或根据来自决策制定算法的请求从所述短期区段提取多个信号特征，使所述决策制定算法进行关于由所述提取特征引起的频带占用的类型的试探性或最终决策，使所述决策制定算法从所述信号处理算法请求从特定短期区段提取另外的特定特征，并且进行关于由所述请求特征引起的频带占用的类型的试探性或最终决策，使所述决策制定算法存储其关于频带占用的试探性以及最终决策，连同来自后续短期区段的结果一起进行处理，以及使所述决策制定算法连同关于从新近的某一时间间隔内已经演奏的一组音符中产生的每个音符的时序的信息一起以所述音符组的形式输出从当前和过去的短区段导出的最终决策。2.根据权利要求1所述的方法，其中所述决策制定还考虑从所述初始时域数字音频信号提取的信号特征。3.根据权利要求1或2中的一项所述的方法，其中所述决策制定还考虑与发起所述时域数字音频信号的乐器的类型和可能使用相关的先验信息，并且提取以及输出与所述乐器的实际使用相关的额外决策信息。4.根据前述权利要求中的一项所述的方法，其中所述决策制定包含对所有实际演奏的音符的实际基频的连续估计、此类频率到调音信息的转译，以及输出此类调音信息的能力。5.根据前述权利要求中的一项所述的方法，其中所述决策制定包含音符起始的具体辨识、与起始相关的时序信息的提取，以及输出此类时序信息的能力。6.根据前述权利要求中的一项所述的方法，其中所述决策制定还存储持续区段、特征和/或决策，并且从所述持续区段、特征和/或决策提取尤其涉及当前乐器及其当前调音的信息。7.根据前述权利要求中的一项所述的方法，其中所述决策制定还存储持续区段、特征和/或决策，并且从所述持续区段、特征和/或决策提取汇总信息，可以出于在本地或在中心改进所述决...

【专利技术属性】
技术研发人员：M·伯莱克，
申请(专利权)人：优博肖德工程公司，
类型：发明
国别省市：德国,DE