音频处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种音频处理方法、装置、电子设备及存储介质；方法包括：获取待识别音频数据的声学特征，所述声学特征用于表征音高；根据待识别音频数据的声学特征，确定电子乐谱中与待识别音频数据相对应的音符的位置。本发明专利技术实施例提供的音频处理方法、装置、电子设备及存储介质，基于待识别音频数据的声学特征，实现了待识别音频数据中的音符在电子乐谱中的定位。

Audio processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
音频处理方法、装置、电子设备及存储介质
本专利技术涉及音频
，尤其涉及一种音频处理方法、装置、电子设备及存储介质。
技术介绍
音乐家在进行乐器演奏时，多数情况需要参照乐谱，纸质乐谱存在因为翻页而引起的各种问题：1、翻页操作严重影响演奏的流畅度，提高了演奏难度；2、即使演奏者能够流畅翻页，也对现场观众的观感产生一些影响。为了解决上述问题，技术人员专利技术了一系列自动或半自动的翻页设备，主要分为以下几类：1、半自动机械翻页设备：需要演奏者使用类似脚踏板一类的机械装置来控制纸质乐谱翻页；2、半自动电子翻页设备：需要演奏者对电子设备屏幕指定区域进行触碰以控制电子乐谱翻页3、时间控制全自动电子或机械翻页设备：通过提前预设翻页的时间点，定时进行机械或电子设备的翻页行为。上述设备在实际使用中被发现还是存在一定的缺陷。对于半自动机械翻页设备和半自动电子翻页设备来说，虽然极大降低了演奏者的操作复杂度，但仍然需要人为干预控制，有干扰演奏的风险。对于全自动时间控制的电子或机械翻页设备来说，需要提前对定时装置进行操作，并且对时间的要求比较苛刻，一旦发生时间错位，将影响整个演奏的流程。若能采集音乐家现场演奏的音乐声并将所采集的音乐声与乐谱中的音符进行比对，就可以实时了解音乐家现场演奏的进度，进而实现电子乐谱的自动翻页。但在现有技术中尚不存在能将音频数据与电子乐谱中的音符自动匹配的方法或装置。
技术实现思路
本专利技术实施例提供一种音频处理方法、装置、电子设备及存储介质，用以解决现有技术中尚不存在能将音频数据与电子乐谱中的音符自动匹配的方法或装置的缺陷。本专利技术第一方面实施例提供了一种音频处理方法，包括：获取待识别音频数据的声学特征，所述声学特征用于表征音高；根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置。上述技术方案中，还包括：电子乐谱中与所述待识别音频数据相对应的音符的位置与电子乐谱中带有翻页标记的音符的位置相重合，对所述电子乐谱的显示页面进行翻页操作；其中，所述翻页标记是为电子乐谱在显示时位于显示页面末尾的音符所做的标记。上述技术方案中，所述获取待识别音频数据的声学特征包括：对待识别音频数据进行分帧处理，得到待识别音频数据的帧数据；将所述待识别音频数据的帧数据从时域空间转化到频域空间，得到所述待识别音频数据的频谱图；根据所述待识别音频数据的频谱图，提取所述待识别音频数据中各音符的声学特征；其中，所述声学特征是一个12维向量，所述12维向量中的每个维度的数值表示了音符在该维度所对应的半度音区间中出现的频率。上述技术方案中，所述根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置包括：将所述待识别音频数据的声学特征转换为第一音符集，从所述电子乐谱中获取多个连续音符形成第二音符集，计算所述第一音符集中的音符与所述第二音符集中的音符之间的差别，根据所述差别确定所述待识别音频数据与所述电子乐谱中音符的匹配情况；根据所述匹配情况确定电子乐谱中与所述待识别音频数据相对应的音符的位置；其中，所述第一音符集中的音符与所述第二音符集中的音符具有相同的格式且所述第一音符集中的音符个数与所述第二音符集中的音符个数相同；或，对从所述电子乐谱中所获取的多个连续音符进行转换与映射，得到第一声学特征集；计算所述待识别音频数据的声学特征与所述第一声学特征集之间的差别，根据所述差别确定所述待识别音频数据与所述电子乐谱中音符的匹配情况；根据所述匹配情况确定电子乐谱中与所述待识别音频数据相对应的音符的位置；其中，所述第一声学特征集中所包含的声学特征的个数与所述待识别音频数据的声学特征的个数相同。上述技术方案中，还包括：将待转换的乐谱输入乐谱转换模型，生成电子乐谱；其中，所述待转换的乐谱为能被光学字符识别技术识别的乐谱；所述乐谱转换模型是以乐谱音符和对乐谱音符的标注为训练输入数据，采用机器学习方式训练得到的用于获取电子乐谱的模型；其中，所述标注用于表示乐谱音符在电子乐谱中的编码方式。上述技术方案中，还包括：获取多个乐谱音符表示图；所述乐谱音符表示图是用于表示乐谱音符的图片，所述图片是能被光学字符识别技术识别的图片；获取所述多个乐谱音符表示图的标注；将所述多个乐谱音符表示图和所述多个乐谱音符表示图的标注作为训练输入数据，采用机器学习的方法训练出能够将待转换的乐谱转换为电子乐谱的乐谱转换模型。上述技术方案中，还包括：为电子乐谱在显示时位于显示页面末尾的音符标注翻页标记。本专利技术第二方面实施例提供了一种音频处理装置，包括：声学特征获取模块，用于获取待识别音频数据的声学特征，所述声学特征用于表征音高；定位模块，用于根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置。本专利技术第三方面实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面实施例所提供的音频处理方法的步骤。本专利技术第四方面实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面实施例所提供的音频处理方法的步骤。本专利技术实施例提供的音频处理方法、装置、电子设备及存储介质，基于待识别音频数据的声学特征，实现了待识别音频数据中的音符在电子乐谱中的定位。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的音频处理方法的流程图；图2为本专利技术再一实施例提供的音频处理方法的流程图；图3为本专利技术另一实施例提供的音频处理方法的流程图；图4为本专利技术又一实施例提供的音频处理方法的流程图；图5为部分MIDI编码格式的示意图；图6为本专利技术实施例提供的音频处理装置的示意图；图7示例了一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的音频处理方法的流程图，如图1所示，本专利技术实施例提供的音频处理方法包括：步骤101、获取待识别音频数据的声学特征。在本专利技术实施例中，待识别本文档来自技高网...

【技术保护点】
1.一种音频处理方法，其特征在于，包括：/n获取待识别音频数据的声学特征，所述声学特征用于表征音高；/n根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置。/n

【技术特征摘要】
1.一种音频处理方法，其特征在于，包括：
获取待识别音频数据的声学特征，所述声学特征用于表征音高；
根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置。


2.根据要求1所述的音频处理方法，其特征在于，还包括：
电子乐谱中与所述待识别音频数据相对应的音符的位置与电子乐谱中带有翻页标记的音符的位置相重合，对所述电子乐谱的显示页面进行翻页操作；其中，所述翻页标记是为电子乐谱在显示时位于显示页面末尾的音符所做的标记。


3.根据权利要求1所述的音频处理方法，其特征在于，所述获取待识别音频数据的声学特征包括：
对待识别音频数据进行分帧处理，得到待识别音频数据的帧数据；
将所述待识别音频数据的帧数据从时域空间转化到频域空间，得到所述待识别音频数据的频谱图；
根据所述待识别音频数据的频谱图，提取所述待识别音频数据中各音符的声学特征；其中，所述声学特征是一个12维向量，所述12维向量中的每个维度的数值表示音符在该维度所对应的半度音区间中出现的频率。


4.根据权利要求1所述的音频处理方法，其特征在于，所述根据所述待识别音频数据的声学特征，确定电子乐谱中与所述待识别音频数据相对应的音符的位置包括：
将所述待识别音频数据的声学特征转换为第一音符集，从所述电子乐谱中获取多个连续音符形成第二音符集，计算所述第一音符集中的音符与所述第二音符集中的音符之间的差别，根据所述差别确定所述待识别音频数据与所述电子乐谱中音符的匹配情况；根据所述匹配情况确定电子乐谱中与所述待识别音频数据相对应的音符的位置；其中，
所述第一音符集中的音符与所述第二音符集中的音符具有相同的格式且所述第一音符集中的音符个数与所述第二音符集中的音符个数相同；
或，对从所述电子乐谱中所获取的多个连续音符进行转换与映射，得到第一声学特征集；计算所述待识别音频数据的声学特征与所述第一声学特征集之间的差别，根据所述差别确定所述待...

【专利技术属性】
技术研发人员：马丹，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11