视频、唱谱音频和曲谱同步播放方法、装置、设备和介质制造方法及图纸

本公开的实施例公开了视频、唱谱音频和曲谱同步播放方法、装置、设备和介质。该方法的一具体实施方式包括：将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息；获取目标曲目的唱谱音频；响应于确定唱谱音频是真人唱谱音频，将电子曲谱和真人唱谱音频进行匹配，得到第二匹配信息；根据第一匹配信息和第二匹配信息，确定第三匹配信息；利用第三匹配信息对真人唱谱音频进行伸缩处理，得到伸缩后真人唱谱音频；响应于检测到预设操作，利用第一匹配信息，对示范视频和伸缩后真人唱谱音频进行同步播放，以及同步显示电子曲谱。该实施方式可以自动将示范视频和唱谱音频进行匹配，并同时对应到曲谱中的相应位置，提高了用户的学习效率。学习效率。学习效率。

【技术实现步骤摘要】
视频、唱谱音频和曲谱同步播放方法、装置、设备和介质


[0001]本公开的实施例涉及计算机
，具体涉及视频、唱谱音频和曲谱同步播放方法、装置、设备和介质。

技术介绍

[0002]唱谱是帮助用户在学习乐曲过程中熟悉旋律的常用方法。传统场景下的唱谱示范视频需要录制示范视频和唱谱音频后，人工把曲谱和示范视频及唱谱音频的声音做逐帧对应。
[0003]然而，上述方式经常会存在如下技术问题：
[0004]第一，初学者难以将示范视频弹奏的内容和唱谱音频的声音进行匹配，并对应到曲谱中的相应位置，从而降低了学习效率；
[0005]第二，难以根据唱谱音频的进度，快速准确地对应到电子曲谱中的音符，降低了用户学习乐曲时的准确率；
[0006]第三，难以将示范视频和唱谱音频同步，导致示范视频弹奏的内容与唱谱音频的声音不匹配，为学习乐曲的用户提供错误的学习信息。

技术实现思路

[0007]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0008]本公开的一些实施例提出了视频、唱谱音频和曲谱同步播放方法、装置、设备和介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0009]第一方面，本公开的一些实施例提供了一种视频、唱谱音频和曲谱同步播放方法，该方法包括：将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，上述示范视频是示范者演奏上述目标曲目的视频，上述第一匹配信息表征上述示范视频和上述电子曲谱的匹配关系；获取上述目标曲目的唱谱音频，其中，上述唱谱音频是真人唱谱音频或智能唱谱音频；响应于确定上述唱谱音频是真人唱谱音频，将上述电子曲谱和上述真人唱谱音频进行匹配，得到第二匹配信息，其中，上述第二匹配信息表征上述电子曲谱和上述真人唱谱音频的匹配关系；根据上述第一匹配信息和上述第二匹配信息，确定第三匹配信息，其中，上述第三匹配信息表征上述示范视频和上述真人唱谱音频的匹配关系；利用上述第三匹配信息对上述真人唱谱音频进行伸缩处理，得到和上述示范视频时长一致的伸缩后真人唱谱音频；响应于检测到预设操作，利用上述第一匹配信息，对上述示范视频和上述伸缩后真人唱谱音频进行同步播放，以及同步显示上述电子曲谱。
[0010]在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，包括：
[0011]响应于确定所述唱谱音频识别信息序列中唱谱音频识别信息的数量和所述电子曲谱解析信息序列中电子曲谱解析信息的数量相同，将所述唱谱音频识别信息序列与所述电子曲谱解析信息中次序相同的唱谱音频识别信息和电子曲谱解析信息确定为相匹配的唱谱音频识别信息和电子曲谱解析信息。
[0012]在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：
[0013]响应于确定所述唱谱音频识别信息序列中唱谱音频识别信息的数量和所述电子曲谱解析信息序列中电子曲谱解析信息的数量不相同，确定所述唱谱音频识别信息序列中每个唱谱音频识别信息包括的音高信息与所述电子曲谱解析信息序列中各个电子曲谱解析信息包括音高信息之间的距离值，得到距离值矩阵；
[0014]对于所述距离值矩阵中的每个距离值，执行以下步骤：
[0015]将与所述距离值位置相邻的左侧、左上侧和上侧位置的距离值确定为候选距离值，得到候选距离值集合，其中，所述候选距离值集合中候选距离值的个数小于等于三个；
[0016]将所述距离值与所述候选距离值集合中最小的候选距离值的和作为新距离值，加入新距离值矩阵对应的位置。
[0017]在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：
[0018]将所述新距离值矩阵中位于第一行、第一列位置的新距离值作为目标距离值，加入目标距离值集合；
[0019]对于所述新距离值矩阵中的新距离值，执行以下筛选步骤：
[0020]将与目标距离值位置相邻的右侧、右下侧和下侧位置的距离值确定为新候选距离值，得到新候选距离值集合，其中，新候选距离值集合中的新候选距离值的个数小于等于三个；
[0021]将新候选距离值集合中最小的新候选距离值作为目标距离值，加入目标距离值集合；
[0022]响应于确定目标距离值在所述新距离值矩阵中位于最后一行、最后一列的位置，结束所述筛选步骤，得到目标距离值集合。
[0023]在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：
[0024]响应于确定目标距离值在所述新距离值矩阵中不是位于最后一行、最后一列的位置，继续执行所述筛选步骤。
[0025]在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：
[0026]将所述目标距离值集合中各个目标距离值的行值对应的唱谱音频识别信息和列值对应的电子曲谱解析信息确定为相匹配的唱谱音频识别信息和电子曲谱解析信息，得到
第二匹配信息，其中，所述行值、列值是目标距离值在所述新距离值矩阵中所处的行数、列数。
[0027]第二方面，本公开的一些实施例提供了一种视频、唱谱音频和曲谱同步播放装置，装置包括：第一匹配单元，被配置成将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，上述示范视频是示范者演奏上述目标曲目的视频，上述第一匹配信息表征上述示范视频和上述电子曲谱的匹配关系；获取单元，被配置成获取上述目标曲目的唱谱音频，其中，上述唱谱音频是真人唱谱音频或智能唱谱音频；第二匹配单元，被配置成响应于确定上述唱谱音频是真人唱谱音频，将上述电子曲谱和上述真人唱谱音频进行匹配，得到第二匹配信息，其中，上述第二匹配信息表征上述电子曲谱和上述真人唱谱音频的匹配关系；第三匹配单元，被配置成根据上述第一匹配信息和上述第二匹配信息，确定第三匹配信息，其中，上述第三匹配信息表征上述示范视频和上述真人唱谱音频的匹配关系；伸缩单元，被配置成利用上述第三匹配信息对上述真人唱谱音频进行伸缩处理，得到和上述示范视频时长一致的伸缩后真人唱谱音频；同步单元，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频、唱谱音频和曲谱同步播放方法，包括：将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，所述示范视频是示范者演奏所述目标曲目的视频，所述第一匹配信息表征所述示范视频和所述电子曲谱的匹配关系；获取所述目标曲目的唱谱音频，其中，所述唱谱音频是真人唱谱音频或智能唱谱音频；响应于确定所述唱谱音频是真人唱谱音频，将所述电子曲谱和所述真人唱谱音频进行匹配，得到第二匹配信息，其中，所述第二匹配信息表征所述电子曲谱和所述真人唱谱音频的匹配关系；根据所述第一匹配信息和所述第二匹配信息，确定第三匹配信息，其中，所述第三匹配信息表征所述示范视频和所述真人唱谱音频的匹配关系；利用所述第三匹配信息对所述真人唱谱音频进行伸缩处理，得到和所述示范视频时长一致的伸缩后真人唱谱音频；响应于检测到预设操作，利用所述第一匹配信息，对所述示范视频和所述伸缩后真人唱谱音频进行同步播放，以及同步显示所述电子曲谱。2.根据权利要求1所述的方法，其中，所述方法还包括：响应于确定所述唱谱音频是智能唱谱音频、以及检测到所述预设操作，利用所述第一匹配信息，对所述示范视频和所述智能唱谱音频进行同步播放，以及同步显示所述电子曲谱。3.根据权利要求2所述的方法，其中，所述将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，包括：对所述电子曲谱进行解析，得到电子曲谱解析信息序列，其中，所述电子曲谱解析信息序列中的电子曲谱解析信息包括音高信息和音符编号信息；根据各个音符的音符编号信息对所述电子曲谱中各个音符的显示位置和所述电子曲谱解析信息序列进行匹配，得到所述电子曲谱中各个音符的显示位置和所述电子曲谱解析信息序列的对应关系；从所述示范视频中提取示范音频数据；识别所述示范音频数据中的音高信息和时间信息，得到示范音频识别信息序列，其中，所述示范音频识别信息序列中的示范音频识别信息包括示范音频音高信息和示范音频时间信息，所述示范音频时间信息是对应的示范音频音高信息出现的时间点；利用电子曲谱解析信息中的音高信息和示范音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述示范音频识别信息序列中的示范音频识别信息进行匹配，得到第一匹配信息。4.根据权利要求3所述的方法，其中，所述响应于确定所述唱谱音频是真人唱谱音频，将所述电子曲谱和所述真人唱谱音频进行匹配，得到第二匹配信息，包括：识别所述真人唱谱音频对应的音高信息和时间信息，得到唱谱音频识别信息序列，其中，所述唱谱音频识别信息序列中的唱谱音频识别信息包括唱谱音频音高信息和唱谱音频时间信息，所述唱谱音频时间信息是对应的唱谱音频音高信息出现的时间点；利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识
别信息进行匹配，得到第二匹配信息。5.根据权利要...

【专利技术属性】
技术研发人员：贾金宇，徐豪骏，李山亭，
申请(专利权)人：上海妙克信息科技有限公司，
类型：发明
国别省市：