基于相似矩阵的音乐自动剪辑实现方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种基于相似矩阵的音乐自动剪辑实现方法、装置及存储介质，包括S1.获取待剪辑的音频文件和预设剪辑时长范围；S2.将所述音频文件转换为对应的色谱图，并利用相似矩阵对副歌片段进行定位；S3.通过预设窗口对所述副歌片段的能量进行分析，获取所述副歌片段中的高潮片段；S4.通过微调窗口对所述高潮片段进行微调，获取所述高潮片段的起始时间点；S5.通过人声检测模型进行人声检测，获取所述高潮片段的结束时间点；S6.根据所述起始时间点和所述结束时间点剪辑得到对应的音频片段。通过上述方式，提高了音频剪辑的效率和准确性，降低了剪辑成本。降低了剪辑成本。降低了剪辑成本。

【技术实现步骤摘要】
基于相似矩阵的音乐自动剪辑实现方法、装置及存储介质


[0001]本专利技术涉及互联网
，具体而言，涉及一种基于相似矩阵的音乐自动剪辑实现方法、装置及存储介质。

技术介绍

[0002]目前，除开普通用户对于音乐的需求以外，现兴起的短时频、直播行业同样对音乐有着很大的需求。因此，对于音乐售卖方，能够提供一个片段让用户进行试听选择的功能至关重要。但是，音乐行业还是一个偏传统的行业，音乐编辑仍然需要人工使用编辑软件对每一首歌试听后截取高潮片段；这不但增加了人工成本，而且效率也不高。所以需要提供一种方案以便于在提高音乐剪辑的效率和准确性的同时降低剪辑成本。

技术实现思路

[0003]本专利技术的目的在于提供一种基于相似矩阵的音乐自动剪辑实现方法、装置及存储介质，用以实现在提高音乐剪辑的效率和准确性的同时降低剪辑成本的技术效果。
[0004]第一方面，本专利技术提供了一种基于相似矩阵的音乐自动剪辑实现方法，包括：
[0005]S1.获取待剪辑的音频文件和预设剪辑时长范围；
[0006]S2.将所述音频文件转换为对应的色谱图，并利用相似矩阵对副歌片段进行定位；
[0007]S3.通过预设窗口对所述副歌片段的能量进行分析，获取所述副歌片段中的高潮片段；
[0008]S4.通过微调窗口对所述高潮片段进行微调，获取所述高潮片段的起始时间点；
[0009]S5.通过人声检测模型进行人声检测，获取所述高潮片段的结束时间点；
[0010]S6.根据所述起始时间点和所述结束时间点剪辑得到对应的音频片段。
[0011]进一步地，所述S2包括：
[0012]以一帧为单位构建所述音频文件的色谱图；
[0013]根据所述色谱图分析各帧歌曲的相似度；
[0014]将所述相似度按照时间维度构建相似矩阵；
[0015]根据所述相似矩阵分析最优副歌片段。
[0016]进一步地，将所述相似度按照时间维度构建相似矩阵的步骤包括：
[0017]根据公式(1)计算两帧歌曲的相似度；根据公式(2)构建相似矩阵：
[0018][0019]M[x][y]＝similarity(x,y)
ꢀꢀ
(2)
[0020]式中，x和y表示不同的两帧歌曲对应的音符向量；similarity表示相似度；M表示相似度矩阵。
[0021]进一步地，根据所述相似矩阵分析最优副歌片段的步骤包括：
[0022]根据所述相似度矩阵构建延时矩阵，将所述相似度矩阵中倾斜的对角线通过线性
变换转换为平铺的直线；
[0023]根据设置的阈值对所述延时矩阵进行降噪平滑处理；
[0024]将降噪平滑处理后的延时矩阵中的线条按照时间点进行统计；
[0025]定义每一条直线的权重，根据各个时间点重叠的线条数进行加权求和，计算该直线的总权重；
[0026]将总权重最大的直线对应的歌曲片段作为最优副歌片段。
[0027]进一步地，根据所述相似度矩阵构建延时矩阵，将所述相似度矩阵中倾斜的对角线通过线性变换转换为平铺的直线的步骤通过公式(3)进行线性变换：
[0028]T[x][y]＝M[x][x
‑
y]＝similarity(x,x
‑
y)
ꢀꢀ
(3)
[0029]式中，T表示延时矩阵；M表示相似度矩阵；x和y表示不同的两帧歌曲对应的音符向量；similarity表示相似度。
[0030]进一步地，所述S3包括：
[0031]根据获取音频文件时的文件采样率和最小切片时长设置预设窗口；
[0032]根据所述预设窗口将所述副歌片段划分为多个片段；
[0033]计算各个所述片段中的平均能量值，并将平均能量值最高的片段作为高潮片段。
[0034]进一步地，所述S4包括：
[0035]获取高潮片段的起点作为初步起始时间点；
[0036]根据设置的检测片段时间长度和所述文件采样率设置微调窗口；
[0037]根据预设的滑动检测区域和所述初步起始时间点构建目标检测区域；
[0038]根据所述微调窗口将所述目标检测区域划分为多个检测片段；
[0039]计算各个所述检测片段中的平均能量值，并将平均能量值最小的检测片段对应的起点作为所述高潮片段的最终起始时间点。
[0040]进一步地，所述S5包括：
[0041]采用五个卷积层块和一个全连接层构建神经网络模型；
[0042]利用含有人声和不含人声的环境音、噪音和纯音乐音频样本对所述神经网络模型进行训练得到对应的人声检测模型；
[0043]根据所述起始时间点和所述剪辑时长范围的最小值计算剪辑结束的预估位置；
[0044]从所述预估位置开始按照预设时间间隔获取所述音频文件中的数字信号对应的Mel频谱图；
[0045]利用所述人声检测模型对所述预估位置对应的Mel频谱图进行分析，确认是否含有人声；若含有人声，则逐帧向后进行检测，直到连续多帧未检测到人声时以当前的时间点作为结束时间点。
[0046]第二方面，本专利技术提供一种基于相似矩阵的音乐自动剪辑实现系统，包括：获取模块，用于获取待剪辑的音频文件和预设剪辑时长范围；
[0047]副歌片段定位模块，用于将所述音频文件转换为对应的色谱图，并利用相似矩阵对副歌片段进行定位；
[0048]高潮片段定位模块，用于通过预设窗口对所述副歌片段的能量进行分析，获取所述副歌片段中的高潮片段；
[0049]起始时间点分析模块，用于通过微调窗口对所述高潮片段进行微调，获取所述高
潮片段的起始时间点；
[0050]结束时间点分析模块，用于通过人声检测模型进行人声检测，获取所述高潮片段的结束时间点；
[0051]剪辑模块，用于根据所述起始时间点和所述结束时间点进行剪辑得到对应的音频片段。
[0052]第三方面，本专利技术提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现上述方法的步骤。
[0053]本专利技术能够实现的有益效果是：本专利技术首先通过相似度矩阵对副歌片段进行定位；其次，通过设置的窗口对高潮片段的起始时间点进行更为准确的微调；然后，实用人声检测模型对高潮片段的结束时间点进行分析；最后根据分析到的起始时间点和结束时间点自动剪辑得到对应的音频片段；在提高音乐剪辑的效率和准确性的同时降低剪辑成本。
附图说明
[0054]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0055]图1为本专利技术实施例提供的一种基于相似矩阵的音乐自动剪辑实现方法流程示意图；
[0056]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似矩阵的音乐自动剪辑实现方法，其特征在于，包括：S1.获取待剪辑的音频文件和预设剪辑时长范围；S2.将所述音频文件转换为对应的色谱图，并利用相似矩阵对副歌片段进行定位；S3.通过预设窗口对所述副歌片段的能量进行分析，获取所述副歌片段中的高潮片段；S4.通过微调窗口对所述高潮片段进行微调，获取所述高潮片段的起始时间点；S5.通过人声检测模型进行人声检测，获取所述高潮片段的结束时间点；S6.根据所述起始时间点和所述结束时间点剪辑得到对应的音频片段。2.根据权利要求1所述的方法，其特征在于，所述S2包括：以一帧为单位构建所述音频文件的色谱图；根据所述色谱图分析各帧歌曲的相似度；将所述相似度按照时间维度构建相似矩阵；根据所述相似矩阵分析最优副歌片段。3.根据权利要求2所述的方法，其特征在于，将所述相似度按照时间维度构建相似矩阵的步骤包括：根据公式(1)计算两帧歌曲的相似度；根据公式(2)构建相似矩阵：M[x][y]＝similarity(x,y)
ꢀꢀꢀꢀ
(2)式中，x和y表示不同的两帧歌曲对应的音符向量；similarity表示相似度；M表示相似度矩阵。4.根据权利要求3所述的方法，其特征在于，根据所述相似矩阵分析最优副歌片段的步骤包括：根据所述相似度矩阵构建延时矩阵，将所述相似度矩阵中倾斜的对角线通过线性变换转换为平铺的直线；根据设置的阈值对所述延时矩阵进行降噪平滑处理；将降噪平滑处理后的延时矩阵中的线条按照时间点进行统计；定义每一条直线的权重，根据各个时间点重叠的线条数进行加权求和，计算该直线的总权重；将总权重最大的直线对应的歌曲片段作为最优副歌片段。5.根据权利要求4所述的方法，其特征在于，根据所述相似度矩阵构建延时矩阵，将所述相似度矩阵中倾斜的对角线通过线性变换转换为平铺的直线的步骤通过公式(3)进行线性变换：T[x][y]＝M[x][x
‑
y]＝similarity(x,x
‑
y)
ꢀꢀꢀ
(3)式中，T表示延时矩阵；M表示相似度矩阵；x和y表示不同的两帧歌曲对应的音符向量；similarity表示相似度。...

【专利技术属性】
技术研发人员：尹学渊，王东明，江天宇，
申请(专利权)人：成都潜在人工智能科技有限公司，
类型：发明
国别省市：