基于多传感器数据融合的记谱方法及系统技术方案

本发明专利技术涉及语音识别技术领域，具体涉及一种基于多传感器数据融合的记谱方法及系统，通过获取同一乐器演奏场景下的乐器演奏视频和乐器演奏音频，根据乐器演奏视频，确定乐器演奏区域和人体手部重合的目标视频帧以及目标视频帧的音符标签；根据乐器演奏音频，确定各个音频段；确定各个音频段对应的音符标签，结合与各个音频段对应的音符标签相同的各个标准音频数据段，确定各个音频段的音频差异段，进而确定目标音频差异段，根据目标音频差异段，对乐器演奏音频进行去噪处理，从而得到乐谱数据。本发明专利技术结合乐器演奏视频和乐器演奏音频，对乐器演奏音频进行去噪，使音符识别结果更加准确，有效提高了生成乐谱的准确性。有效提高了生成乐谱的准确性。有效提高了生成乐谱的准确性。

【技术实现步骤摘要】
基于多传感器数据融合的记谱方法及系统


[0001]本专利技术涉及语音识别
，具体涉及一种基于多传感器数据融合的记谱方法及系统。

技术介绍

[0002]随着信息化时代的到来，音乐艺术作品快速地大量产生，音乐产业也成为现代文化市场的重要组成部分。在当下网络以及流媒体发展趋于成熟的背景下，音乐艺术教育也越来越注重线上远程模式的发展。对线上远程进行音乐艺术教育而言，音乐作品依赖专业人进行乐谱的分析标注，耗时耗力，成本较高，而借助计算机实现乐谱的自动化生成更加适应当前远程教育的背景。
[0003]音乐艺术内容涉及到多种多样的数据类型，包括音频数据，乐谱数据甚至演奏视频，这些数据分别从不同的角度描述音乐艺术内容。其中，乐谱作为对音乐旋律的形式化表现，根据音频数据自动化地提取乐谱信息，将有助于音乐远程教学的教学效率。为了实现乐谱信息的自动化提取这一目的，现有技术主要利用神经网络算法对音频数据进行识别，通过识别出的结果进行乐谱的自动生成。但这种方式需要根据音频数据的振幅来对完整音频进行分段，然后通过将音频片段输入训练好的神经网络来进行乐谱音符的识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器数据融合的记谱方法，其特征在于，包括以下步骤：获取同一乐器演奏场景下对应的乐器演奏视频和乐器演奏音频；对乐器演奏视频的各视频帧中的乐器演奏区域和人体手部进行识别，获取各目标视频帧及其对应的音符标签，所述目标视频帧中乐器演奏区域和人体手部重合；获取乐器演奏音频中的各个极值点，并根据各个极值点，确定乐器演奏音频的各个分段时刻，利用各个分段时刻对乐器演奏音频进行分割，得到各个音频段；获取各个音频段对应的目标视频帧，并根据目标视频帧对应的音符标签，确定各个音频段对应的音符标签；获取各个音频段对应的标准音频数据段，每个音频段与其对应的标准音频数据段具有相同的音符标签，并根据各个音频段及其对应的标准音频数据段，确定各个音频段的音频差异段；根据各个音频差异段及其对应的音频段的音符标签和演奏时间，确定各个音频差异段对应的噪音适配度，根据所述噪音适配度，确定目标音频差异段；根据目标音频差异段，对乐器演奏音频进行去噪处理，并对去噪之后的乐器演奏音频进行音符识别，从而得到乐谱数据。2.根据权利要求1所述的一种基于多传感器数据融合的记谱方法，其特征在于，确定各个音频差异段对应的噪音适配度，包括：根据各个音频差异段，计算任意两个音频差异段之间的动态时间规整距离；根据各个音频差异段对应的音频段的演奏时间，按照演奏时间顺序对音频段进行编号，并将各个音频段的编号作为对应各个音频差异段的音频段序号；根据每个音频差异段与其他各个音频差异段之间的动态时间规整距离、每个音频差异段与其他各个音频差异段对应的音频段的音符标签的音调差异和音频段序号的差异，计算每个音频差异段对应的噪音适配度。3.根据权利要求2所述的一种基于多传感器数据融合的记谱方法，其特征在于，计算每个音频差异段对应的噪音适配度对应的计算公式为：，其中，为第i个音频差异段对应的噪音适配度，为第i个音频差异段，为第j个音频差异段，为第i个音频差异段和第j个音频差异段之间的动态时间规整距离，为第i个音频差异段对应的音频段的音符标签的音调，为第j个音频差异段对应的音频段的音符标签的音调，为第i个音频差异段和第j个音频差异段对应的音频段的音符标签的音调差异，F为音符标签的最大音调差异，i为第i个音频差异段对应的音频段的音频段序号，j为第j个音频差异段对应的音频段的音频段序号，为第i个音频差异段和第j个音频差异段对应的音频段的音频段序号的差异，N为音频差异段的总
数目，为以自然常数e为底数的指数函数。4.根据权利要求3所述的一种基于多传感器数据融合的记谱方法，其特征在于，确定目标音...

【专利技术属性】
技术研发人员：颜山，
申请(专利权)人：北京卓颜翰景科技有限公司，
类型：发明
国别省市：