一种音乐结构的确定方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供一种音乐结构的确定方法、装置、设备及介质，用以提高确定出的音乐结构的准确性。所述音乐结构的确定方法，包括：获取待检测音乐的音频内容和歌词内容；对所述音频内容进行分析，确定所述音频内容的边界分割信息；对所述歌词内容进行分析，确定所述歌词内容的边界分割时间信息；对所述边界分割信息和所述边界分割时间信息进行融合，得到融合边界信息；对所述融合边界信息进行聚类，确定所述待检测音乐中每个段落的段落类别以及所述待检测音乐的结构。

【技术实现步骤摘要】
一种音乐结构的确定方法、装置、设备及介质
本专利技术涉及数据处理
，尤其涉及一种音乐结构的确定方法、装置、设备及介质。
技术介绍
流行歌曲一般来说结构简单，形式活泼，易于传唱。从作曲和编曲的角度，流行歌曲通常包含以下几个部分：主歌、副歌、桥段。主歌可以说是内容，是每首音乐的主干，副歌是指内容区别于主歌、发展与概括性比较强的且在节奏情感曲调上与主歌形成对比的段落。副歌是歌曲感情最强烈抒发的部分，乐器使用多且音量较大、饱满，概括性很强，并且对于每一首流行歌曲，其副歌都具有至少2次的旋律重复，因此它通常是每首流行歌曲中最先为听众熟知的部分。随着数字音乐行业的发展，音乐内容大量增长，越来越多的用户喜欢直接试听副歌，来选择自己喜欢的歌曲，或者将歌曲的副歌截取出来作为手机铃声或背景音。因此，如果能够准确确定音乐的结构，并直接将歌曲的副歌位置检测出来展现给用户，无疑会给用户带来很大的便利。
技术实现思路
本专利技术实施例提供一种音乐结构的确定方法、装置、设备及介质，用以提高确定出的音乐结构的准确性。第一方面，本专利技术实施例提供一种音乐结构的确定方法，该方法包括：获取待检测音乐的音频内容和歌词内容；对音频内容进行分析，确定音频内容的边界分割信息；对歌词内容进行分析，确定歌词内容的边界分割时间信息；对边界分割信息和边界分割时间信息进行融合，得到融合边界信息；对融合边界信息进行聚类，确定待检测音乐中每个段落的段落类别以及待检测音乐的结构。本专利技术实施例提供的音乐结构的确定方法，获取待检测音乐的音频内容和歌词内容之后，首先对音频内容进行分析，确定音频内容的边界分割信息，然后对歌词内容进行分析，确定歌词内容的边界分割时间信息，然后在边界分割信息的基础上，融合边界分割时间信息，得到融合边界信息，并基于融合边界信息，确定待检测音乐的结构，使得音乐结构位置的确定结果更加精准。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，对音频内容进行分析，确定音频内容的边界分割信息，包括：对音频内容进行常Q变换谐波转换离散(ConstantQTransform，CQT)变换，得到音频内容的CQT特征；提取音频内容的梅尔倒谱系数(Mel-scaleFrequencyCepstralCoefficients，MFCC)特征；基于CQT特征和MFCC特征确定音频内容的音频特征图；计算音频特征图的拉普拉斯矩阵，并对拉普拉斯矩阵进行奇异值分解，得到分解结果；对分解结果进行聚类，得到音频内容的第一类边界分割信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，对音频内容进行分析，确定音频内容的边界分割信息，包括：提取音频内容的音级轮廓(PitchClassProfiles，PCP)特征；基于PCP特征，计算音频内容的音频相似度矩阵，对音频相似度矩阵进行时滞变换，并对时滞变换的变换结果进行平滑处理，对平滑处理结果进行累加滤波处理，得到用于表征音频内容边界点重复度的频率统计曲线；将频率统计曲线中统计值大于预设阈值的时刻作为分割点，得到音频内容的第二类边界分割信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，对歌词内容进行分析，确定歌词内容的边界分割时间信息，包括：基于歌词内容的文本信息和句长信息，确定歌词内容的相似度矩阵；对歌词内容的相似度矩阵进行线性变换，得到歌词内容的时滞矩阵，时滞矩阵中包括多条表征歌词内容中重复句子的线段；对歌词内容的时滞矩阵进行分割，得到歌词内容中部分或全部分割点，将分割点作为初步边际信息，分割点为时滞矩阵中不同线段的分界点；计算初步边际信息中每个分割点的连续性得分；基于初步边际信息中每个分割点的连续性得分，调整每个分割点的位置，并将所有分割点的连续性得分之和最大时每个分割点的位置，确定为歌词内容中重复歌词的边界分割时间信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，计算初步边际信息中每个分割点的连续性得分，包括：剔除初步边际信息中的无效分割点，无效分割点位未处于时滞矩阵中线段端点处的分割点；计算剔除无效分割点之后的初步边际信息中每个分割点的连续性得分。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，基于歌词内容的文本信息和句长信息，确定歌词内容的相似度矩阵，包括：利用编辑距离对歌词内容的文本信息进行划分，确定歌词内容的编辑距离相似度矩阵；利用歌词内容所包含的句子时间信息，句长时间差相似度矩阵；将编辑距离相似度矩阵和句长时间差相似度矩阵以预设权重值加权求和，得到歌词内容的相似度矩阵。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，对边界分割信息和边界分割时间信息进行融合，得到融合边界信息，包括：分别计算边界分割信息的置信度和边界分割时间信息的置信度；基于边界分割信息的置信度和边界分割时间信息的置信度，对边界分割信息和边界分割时间信息进行融合，得到融合边界信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，若边界分割信息仅包括第一类边界分割信息，基于边界分割信息的置信度和边界分割时间信息的置信度，对边界分割信息和边界分割时间信息进行融合，包括：分别计算第一类边界分割信息的置信度和边界分割时间信息的置信度；基于第一类边界分割信息的置信度和边界分割时间信息的置信度，对第一类边界分割信息和边界分割时间信息进行融合，得到融合边界信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，若边界分割信息包括第一类边界分割信息和第二类边界分割信息，基于边界分割信息的置信度和边界分割时间信息的置信度，对边界分割信息和边界分割时间信息进行融合，包括：分别计算第一类边界分割信息的置信度、第二类边界分割信息的置信度和边界分割时间信息的置信度；基于第一类边界分割信息的置信度、第二类边界分割信息的置信度和边界分割时间信息的置信度，对第一类边界分割信息、第二类边界分割信息和边界分割时间信息进行融合，得到融合边界信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，基于第一类边界分割信息的置信度、第二类边界分割信息的置信度和边界分割时间信息的置信度，对第一类边界分割信息、第二类边界分割信息和边界分割时间信息进行融合，得到融合边界信息，包括：基于第一类边界分割信息的置信度和第二类边界分割信息的置信度，对第一类边界分割信息和第二类边界分割信息进行融合，得到中间融合信息；基于边界分割时间信息的置信度，对中间融合信息和边界分割时间信息进行融合，得到融合边界信息。在一种可能的实施方式中，本专利技术实施例提供的上述方法中，基于第一类边界分割信息的置信度和第二类边界分割信息的置信度，对第一类边界分割信息和第二类边界分割信息进行融合，得到中间融合信息，包括：基于第一类边界分割信息的置信度和第二类边界分割信息的置信度，采用如本文档来自技高网...

【技术保护点】
1.一种音乐结构的确定方法，其特征在于，所述方法包括：/n获取待检测音乐的音频内容和歌词内容；/n对所述音频内容进行分析，确定所述音频内容的边界分割信息；/n对所述歌词内容进行分析，确定所述歌词内容的边界分割时间信息；/n对所述边界分割信息和所述边界分割时间信息进行融合，得到融合边界信息；/n对所述融合边界信息进行聚类，确定所述待检测音乐中每个段落的段落类别以及所述待检测音乐的结构。/n

【技术特征摘要】
1.一种音乐结构的确定方法，其特征在于，所述方法包括：
获取待检测音乐的音频内容和歌词内容；
对所述音频内容进行分析，确定所述音频内容的边界分割信息；
对所述歌词内容进行分析，确定所述歌词内容的边界分割时间信息；
对所述边界分割信息和所述边界分割时间信息进行融合，得到融合边界信息；
对所述融合边界信息进行聚类，确定所述待检测音乐中每个段落的段落类别以及所述待检测音乐的结构。


2.根据权利要求1所述的方法，其特征在于，所述对所述音频内容进行分析，确定所述音频内容的边界分割信息，包括：
对所述音频内容进行常Q变换谐波转换离散CQT变换，得到所述音频内容的CQT特征；
提取所述音频内容的梅尔倒谱系数MFCC特征；
基于所述CQT特征和所述MFCC特征确定所述音频内容的音频特征图；
计算所述音频特征图的拉普拉斯矩阵，并对所述拉普拉斯矩阵进行奇异值分解，得到分解结果；
对所述分解结果进行聚类，得到所述音频内容的第一类边界分割信息。


3.根据权利要求2所述的方法，其特征在于，所述对所述音频内容进行分析，确定所述音频内容的边界分割信息，包括：
提取所述音频内容的音级轮廓PCP特征；
基于所述PCP特征，计算所述音频内容的音频相似度矩阵，对所述音频相似度矩阵进行时滞变换，并对所述时滞变换的变换结果进行平滑处理，对所述平滑处理结果进行累加滤波处理，得到用于表征所述音频内容边界点重复度的频率统计曲线；
将所述频率统计曲线中统计值大于预设阈值的时刻作为分割点，得到所述音频内容的第二类边界分割信息。


4.根据权利要求1所述的方法，其特征在于，所述对所述边界分割信息和所述边界分割时间信息进行融合，得到融合边界信息，包括：
分别计算所述边界分割信息的置信度和所述边界分割时间信息的置信度；
基于所述边界分割信息的置信度和所述边界分割时间信息的置信度，对所述边界分割信息和所述边界分割时间信息进行融合，得到融合边界信息。


5.根据权利要求4所述的方法，其特征在于，若所述边界分割信息仅包括第一类边界分割信息，所述基于所述边界分割信息的置信度和所述边界分割时间信息的置信度，对所述边界分割信息和所述边界分割时间信息进行融合，包括：
分别计算所述第一类边界分割信息的置信度和所述边界分割时间信息的置信度；
基于所述第一类边界分割信息的置信度和所述边...

【专利技术属性】
技术研发人员：张凯翔，朱一闻，曹偲，郑博，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：浙江;33