提取音频片段的方法、装置以及电子设备制造方法及图纸

本公开提供了一种提取音频片段的方法、装置以及电子设备，涉及计算机技术领域。该方法包括：对待处理的音频数据进行特征提取，得到特征集合，特征集合中包括至少两个特征；基于预置的、待提取的音频片段的时长，将特征集合划分为至少两个特征子集合，特征子集合的长度与时长相对应；确定各个特征子集合对应的矩阵轮廓MP值；基于MP值，从至少两个特征子集合中确定目标特征子集合；从音频数据中提取与目标特征子集合对应的音频片段，并基于目标特征子集合对应的音频片段生成目标音频信息，以作为预定视频信息的背景音乐。本公开加快了音频数据的处理速度。

Methods, devices and electronic devices for extracting audio clips

【技术实现步骤摘要】
提取音频片段的方法、装置以及电子设备
本公开涉及计算机
，具体而言，本公开涉及一种提取音频片段的方法、装置以及电子设备。
技术介绍
在视频播放特别是短视频播放的过程中，常常需要给视频配乐，视频的配乐一般是音乐中重复次数最多或者说精华的部分，例如音乐的副歌。目前服务器可以通过深度学习算法、机器学习算法等确定音乐的副歌从而给视频配乐，深度学习算法、机器学习算法是通过大量的算法参数进行模型训练与模型优化得到的，具体的算法参数通常高达几十万甚至上百万个，从而导致服务器中数据运算量过大，需要较长的数据处理时间才能从音乐中提取出音乐副歌，服务器的负载压力也很大，同时设置于服务器侧的算法无法离线处理数据，音乐的选择一般由服务器选择，用户无法选择音乐。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的第一方面提供了一种提取音频片段的方法，包括：对待处理的音频数据进行特征提取，得到特征集合，特征集合中包括至少两个特征；基于预置的、待提取的音频片段的时长，将特征集合划分为至少两个特征子集合，特征子集合的长度与时长相对应；确定各个特征子集合对应的矩阵轮廓MP值；基于MP值，从至少两个特征子集合中确定目标特征子集合；从音频数据中提取与目标特征子集合对应的音频片段，并基于目标特征子集合对应的音频片段生成目标音频信息，以作为预定视频信息的背景音乐。本公开的第二方面提供了一种提取音频片段的装置，包括：特征提取模块，用于对待处理的音频数据进行特征提取，得到特征集合，特征集合中包括至少两个特征；特征划分模块，用于基于预置的、待提取的音频片段的时长，将特征集合划分为至少两个特征子集合，特征子集合的长度与时长相对应；第一确定模块，用于确定各个特征子集合对应的矩阵轮廓MP值；第二确定模块，用于基于MP值，从至少两个特征子集合中确定目标特征子集合；音频片段提取模块，用于从音频数据中提取与目标特征子集合对应的音频片段，并基于目标特征子集合对应的音频片段生成目标音频信息，以作为预定视频信息的背景音乐。本公开第三方面提供了一种电子设备，其特征在于，包括：电子设备包括存储器和处理器；存储器中存储有计算机程序；处理器，用于在运行计算机程序时执行第一方面中任一项的方法。本公开第四方面提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行第一方面中任一项的方法。本公开提供的技术方案带来的有益效果是：本公开通过提取得到特征集合后，可以基于待提取的音频片段的时长将特征集合划分为至少两个特征子集合，如上述MP值可以反映音频片段的重复情况，可以确定各特征子集合对应的MP值，基于各特征子集合的MP值从至少两个特征子集合中确定目标特征子集合，并从音频中提取与目标特征子集合对应的音频片段，由于特征子集合的长度与预置的待提取的音频片段的时长相对应，这样提取得到的音频片段可以是音频的副歌部分且提取得到音频片段的时长也满足待提取的音频片段的时长要求，基于提取得到的音频片段生成目标音频信息可以作为预定视频的背景音乐，相对于现有的通过模型训练和神经网络算法为视频配乐的方案，本公开的算法是一种传统的信号处理方法，只需要基于各特征子集合对应的MP值，确定目标特征子集合就可以获取到音频片段，这种方式程序算法的运算量很小，加快了处理音频数据的速度，同时算法占用的内存也比较小，可以部署在移动端，在移动端侧部署的算法支持离线的情况下使用，支持用户自己上传歌曲，分摊了服务器侧的数据处理压力，适用面更加广泛，当然本公开的算法也可以部署在服务器端，无论部署在移动端还是服务器端，数据处理速度都很快，部署在服务器端会更加明显。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1为本公开形成矩阵轮廓的示意图；图2为本公开提取音频片段的方法的一个实施例示意图；图3为本公开矩阵轮廓MP与时间序列的关系示意图；图4为本公开音乐的矩阵轮廓的示意图；图5为本公开提取音频片段的装置的结构示意图；图6为本公开电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对装置、模块或单元进行区分，并非用于限定这些装置、模块或单元一定为不同的装置、模块或单元，也并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。首先对本公开涉及的几个名词进行介绍和解释：矩阵概要(MatrixProfile，MP)也可以称之为矩阵轮廓，它是一种算法，由于其通用性、多功能性、简单性和可扩展性而具有强大的时间序列的数据挖掘能力，特别擅长发现时间序列中重复出现的片段，进行语义分割、可视化、异常检测、聚类等任务。MP的命名由来是因为其最简单粗暴计算方法就是：对于某一音频的时间序列，对所有长度为m的子序列计算距离矩阵(计算的矩阵距离的具体方式将在后面的实施例中介绍)，如下图1所示，同一音频的时间序列，对于某一长度为m的子序列分别与其他长度为m的子序列计算矩阵距离，就可以确定该某一长度为m的子序列的最小矩阵距离，即为该子序列的MP值，m为大于0的整数，确定得到每一子序列的MP值，就可以形成图1中的矩阵轮廓的曲线。上述子序列的长度m指的是子序列的矩阵长度，子序列的本文档来自技高网...

【技术保护点】
1.一种提取音频片段的方法，其特征在于，包括：/n对待处理的音频数据进行特征提取，得到特征集合，所述特征集合中包括至少两个特征；/n基于预置的、待提取的音频片段的时长，将所述特征集合划分为至少两个特征子集合，所述特征子集合的长度与所述时长相对应；/n确定各个特征子集合对应的矩阵轮廓MP值；/n基于所述MP值，从所述至少两个特征子集合中确定目标特征子集合；/n从所述音频数据中提取与所述目标特征子集合对应的音频片段，并基于所述目标特征子集合对应的音频片段生成目标音频信息，以作为预定视频信息的背景音乐。/n

【技术特征摘要】
1.一种提取音频片段的方法，其特征在于，包括：
对待处理的音频数据进行特征提取，得到特征集合，所述特征集合中包括至少两个特征；
基于预置的、待提取的音频片段的时长，将所述特征集合划分为至少两个特征子集合，所述特征子集合的长度与所述时长相对应；
确定各个特征子集合对应的矩阵轮廓MP值；
基于所述MP值，从所述至少两个特征子集合中确定目标特征子集合；
从所述音频数据中提取与所述目标特征子集合对应的音频片段，并基于所述目标特征子集合对应的音频片段生成目标音频信息，以作为预定视频信息的背景音乐。


2.根据权利要求1所述的方法，其特征在于，所述基于预置的、待提取的音频片段的时长，将所述特征集合划分为至少两个特征子集合，所述特征子集合的长度与所述时长相对应，包括：
确定所述音频数据的采样率以及每一特征对应的音频点的数量，其中，所述音频数据的采样率为单位时间内采样的音频点的数量；
基于预置的、待提取的音频片段的时长、所述采样率以及所述每一特征对应的音频点的数量，确定所述时长的音频片段对应的特征数量；
依据所述特征数量，将所述特征集合划分为至少两个特征子集合，所述特征子集合的长度与所述时长相对应。


3.根据权利要求1或2所述的方法，其特征在于，确定任一特征子集合对应的矩阵轮廓MP值，包括：
确定任一特征子集合对应的矩阵与其他各特征子集合对应的矩阵之间的矩阵距离；
确定所述矩阵距离中最小的矩阵距离，并将所述最小的矩阵距离作为所述任一特征子集合对应的MP值；
其中，所述矩阵距离包括：欧式距离或标准化欧式距离。


4.根据权利要求1或2所述的方法，其特征在于，所述基于所述MP值，从所述至少两个特征子集合中确定目标特征子集合，包括：
从所述至少两个特征子集合中确定最小的MP值对应的特征子集合为所述目标特征子集合。


5.根据权利要求2所述的方法，其特征在于，所述从所述音频数据中提取与所述目标特征子集合对应的音频片段，包括：
确定所述目标特征子集合的相关信息；
基于所述相关信息，从所述音频数据中提取与所述目标特征子集合对应的音频片段；
所述相关信息包括...

【专利技术属性】
技术研发人员：华威，李为，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11