音视频摘要提取方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，公开了一种音视频摘要提取方法、装置、设备及存储介质，方法包括：获取待处理音视频，按照预设步长和预设切割长度将音频信息切割成若干个音频片段，利用预设的人声识别模型对各个音频片段进行分析，以从各个音频片段中筛选人声片段，从各个人声片段中提取第一用户音频以及第二用户音频，对第一用户音频进行关键词提取，得到第一关键词集，并对第二用户音频进行关键词提取，得到第二关键词集；根据第一关键词集以及第二关键词集从视频帧集中筛选关键视频帧，并根据各个关键视频帧生成视频摘要。根据各个关键视频帧生成视频摘要。根据各个关键视频帧生成视频摘要。

【技术实现步骤摘要】
音视频摘要提取方法、装置、设备及存储介质


[0001]本申请涉及人工智能的
，尤其涉及一种音视频摘要提取方法、装置、设备及存储介质。

技术介绍

[0002]当前，用户可以通过查看音视频对应的音视频摘要，来在短时间内获知音视频的核心内容。而现有技术中，通常通过人工的方式去进行音视频摘要提取，基于人工提取的方法提取内容虽然准确，但这种方式需要人工看完整段音视频后，才能基于音视频内容给出摘要结果。现急需一种方法来实现音视频摘要的智能提取。

技术实现思路

[0003]本申请的主要目的在于提供一种音视频摘要提取方法、装置、设备及存储介质，旨在实现对音视频摘要的智能提取。
[0004]第一方面，本申请提供一种音视频摘要提取方法，包括：
[0005]获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频；
[0006]按照预设步长和预设切割长度将所述音频信息切割成若干个音频片段，其中，所述预设步长小于所述预设切割长度；
[0007]利用预设的人声识别模型对各个所述音频片段进行分析，以从各个所述音频片段中筛选人声片段；
[0008]提取各个所述人声片段的语音特征，并根据所述语音特征对各个所述人声片段进行分组后按时间顺序进行存储，得到第一人声片段集以及第二人声片段集；
[0009]对所述第一人声片段集中的所述人声片段进行拼接，得到第一用户音频，并对所述第二人声片段集中的所述人声片段进行拼接，得到第二用户音频；
[0010]对所述第一用户音频进行关键词提取，得到第一关键词集，并对所述第二用户音频进行关键词提取，得到第二关键词集；
[0011]根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，并根据各个所述关键视频帧生成视频摘要。
[0012]第二方面，本申请还提供一种音视频摘要提取装置，所述音视频摘要提取装置包括：
[0013]处理对象获取模块，用于获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频；
[0014]音频信息切割模块，用于按照预设步长和预设切割长度将所述音频信息切割成若干个音频片段，其中，所述预设步长小于所述预设切割长度；
[0015]人声识别模块，用于利用预设的人声识别模型对各个所述音频片段进行分析，以
从各个所述音频片段中筛选人声片段；
[0016]人声分类模块，用于提取各个所述人声片段的语音特征，并根据所述语音特征对各个所述人声片段进行分组后按时间顺序进行存储，得到第一人声片段集以及第二人声片段集；
[0017]人声拼接模块，用于对所述第一人声片段集中的所述人声片段进行拼接，得到第一用户音频，并对所述第二人声片段集中的所述人声片段进行拼接，得到第二用户音频；
[0018]关键词提取模块，用于对所述第一用户音频进行关键词提取，得到第一关键词集，并对所述第二用户音频进行关键词提取，得到第二关键词集；
[0019]视频摘要生成模块，用于根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，并根据各个所述关键视频帧生成视频摘要。
[0020]第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的音视频摘要提取方法的步骤。
[0021]第四方面，本申请还提供一种存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的音视频摘要提取方法的步骤。
[0022]本申请提供一种音视频摘要提取方法、装置、设备及存储介质，本申请中，获取待处理音视频，获取待处理音视频对应的视频帧集以及音频信息，对音频信息进行去噪处理并进行人声分离，得到第一用户音频以及第二用户音频，分别对第一用户音频以及第二用户音频进行关键词提取，得到第一关键词集以及第二关键词集；根据第一关键词集以及第二关键词集从视频帧集中筛选关键视频帧，并根据各个关键视频帧生成视频摘要。通过本申请所提供的技术方案，实现了对音视频摘要的智能提取。
附图说明
[0023]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的一种音视频摘要提取方法的步骤流程示意图；
[0025]图2为本申请实施例提供的一种音视频摘要提取装置的示意性框图；
[0026]图3为本申请实施例提供的一种计算机设备的结构示意性框图。
[0027]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0028]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际
执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
[0030]本申请实施例提供一种音视频摘要提取方法、装置、设备及存储介质。其中，该音视频摘要提取方法可应用于终端设备或服务器中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该音视频摘要提取方法应用于服务器为例进行解释说明。
[0031]下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0032]请参照图1，图1为本申请实施例提供的一种音视频摘要提取方法的步骤流程示意图。
[0033]如图1所示，该音视频摘要提取方法包括步骤S10至步骤S16。
[0034]步骤S10、获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频。
[0035]可以理解，当该方法执行主体接收到摘要提取指令时，执行主体可以根据该摘要提取指令获取待处理音视频，以对待处理音视频进行摘要提取。其中，待处理音视频包括视频帧集以及音频信息。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频摘要提取方法，其特征在于，包括：获取待处理音视频，所述待处理音视频包括视频帧集以及音频信息，且所述待处理音视频为第一用户拜访第二用户，以对所述第二用户讲解演示文稿的音视频；按照预设步长和预设切割长度将所述音频信息切割成若干个音频片段，其中，所述预设步长小于所述预设切割长度；利用预设的人声识别模型对各个所述音频片段进行分析，以从各个所述音频片段中筛选人声片段；提取各个所述人声片段的语音特征，并根据所述语音特征对各个所述人声片段进行分组后按时间顺序进行存储，得到第一人声片段集以及第二人声片段集；对所述第一人声片段集中的所述人声片段进行拼接，得到第一用户音频，并对所述第二人声片段集中的所述人声片段进行拼接，得到第二用户音频；对所述第一用户音频进行关键词提取，得到第一关键词集，并对所述第二用户音频进行关键词提取，得到第二关键词集；根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，并根据各个所述关键视频帧生成视频摘要。2.根据权利要求1所述的方法，其特征在于，所述对所述第一用户音频进行关键词提取，得到第一关键词集，包括：对所述第一用户音频进行语音识别，得到所述第一用户音频对应的文字信息；对所述文字信息进行分词处理，得到第一词集；利用预设的无用词滤除模型滤除所述第一词集中的无用词，得到第二词集；计算所述第二词集中各个第二词语的词频，并根据计算得到的词频结果设置各个所述第二词语的权重；根据各个所述第二词语的权重从所述第二词集中筛选关键词，得到第一关键词集。3.根据权利要求1
‑
2中任一项所述的方法，其特征在于，所述根据所述第一关键词集以及所述第二关键词集从所述视频帧集中筛选关键视频帧，包括：滤除所述视频帧集中的重复视频帧以及无用视频帧，得到目标视频帧集；提取所述目标视频帧集中各个目标视频帧的文字特征；根据所述第一关键词词集以及所述文字特征，计算各个所述目标视频帧的第一得分；根据所述第二关键词词集以及所述文字特征，计算各个所述目标视频帧的第二得分；根据所述第一得分以及所述第二得分，计算各个所述目标视频帧的综合得分；根据所述综合得分从所述目标视频帧集中筛选关键视频帧。4.根据权利要求3所述的方法，其特征在于，所述滤除所述视频帧集中的重复视频帧以及无用视频帧，得到目标视频帧集，包括：逐个获取所述视频帧集中的视频帧，得到第一视频帧；将所述第一视频帧与所述视频帧集中的比对视频帧进行比对，得到所述第一视频帧与所述比对视频帧的比对相似度，其中，所述比对视频帧为所述视频帧集中除所述第一视频帧之外的视频帧；当所述比对相似度大于预设值时，确定所述比对视频帧为重复视频帧，将所述比对视频帧从所述视频帧集中移除；
当所述视频帧集中的所有所述重复视频帧均被移除时，滤除所述视频帧集中的无用视频帧，得到目标视频帧集。5.根据权利要求4所述的方法，其特征在于，所述滤除所述视频帧集中的无用视频帧，得到目标视频帧集，包括：逐个获取所述视频帧集中的视频帧，得到第二视频帧；获取所...

【专利技术属性】
技术研发人员：刘钊，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：