一种视频摘要的生成方法和装置以及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频摘要的生成方法和装置以及计算机可读存储介质，提高视频摘要的处理速度，实现视频摘要的快速生成。一种视频摘要的生成方法，包括：获取待处理的目标视频，目标视频包括：连续多个的图像帧；使用图像分类预测模型对连续多个的图像帧进行识别，从连续多个的图像帧中识别出至少一个目标图像帧，图像分类预测模型使用属于预设目标类型的画面样本和不属于预设目标类型的画面样本通过机器学习算法完成模型训练；从目标视频中分别截取至少一个目标图像帧对应的视频片段，视频片段包括目标图像帧以及与目标图像帧相邻的图像帧；根据截取到的至少一个目标图像帧对应的视频片段，生成目标视频的视频摘要，视频摘要包括视频片段。

Method and device for generating video summarization and computer readable storage medium

The embodiment of the invention discloses a method and device for generating video summary and a computer readable storage medium, which can improve the processing speed of video summary and realize the fast generation of video summary. A method for generating video abstracts includes: acquiring target video to be processed, including: consecutive multiple image frames; recognizing consecutive multiple image frames using an image classification prediction model; recognizing at least one target image frame from consecutive multiple image frames; and using an image classification prediction model A picture sample belonging to the preset target type and a picture sample not belonging to the preset target type complete the model training by machine learning algorithm; a video clip corresponding to at least one target image frame is intercepted from the target video, and the video clip includes the target image frame and the image frame adjacent to the target image frame; and according to the interception A video clip corresponding to at least one target image frame is obtained, and a video summary of the target video is generated. The video summary includes a video clip.

【技术实现步骤摘要】
一种视频摘要的生成方法和装置以及计算机可读存储介质
本专利技术涉及计算机
，尤其涉及一种视频摘要的生成方法和装置以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，网络视频越来越受到用户的欢迎。为了实现更好的用户体验，视频网站通常提供视频摘要，以引导用户观看视频内容。现有技术中，不同的网络视频所需要提取的视频摘要往往是不相同的，例如体育赛事直播类软件需要提供精彩赛事的视频摘要，战术竞技类游戏需要提供精彩的游戏战斗视频摘要。现有技术中视频摘要的提供工作往往由人工完成，需要大量人员以人工的方式浏览一遍网络视频，从中找到精彩的片段，然后用视频编辑软件对视频片段进行剪辑，完成视频摘要的生成工作。现有技术提供的视频摘要的生成方法中，若网络视频很长，且需要剪辑出很多的视频片段时，存在视频摘要的处理速度慢以及可能存在误筛选的问题，降低了视频摘要的生成效率。
技术实现思路
本专利技术实施例提供了一种视频摘要的生成方法和装置以及计算机可读存储介质，用于提高视频摘要的处理速度，实现视频摘要的快速生成。本专利技术实施例提供以下技术方案：第一方面，本专利技术实施例提供一种视频摘要的生成方法，包括：获取待处理的目标视频，所述目标视频包括：连续多个的图像帧；使用图像分类预测模型对所述连续多个的图像帧进行识别，从所述连续多个的图像帧中识别出至少一个目标图像帧，所述目标图像帧是所述图像分类预测模型预测出的属于预设目标类型的画面，所述图像分类预测模型使用属于预设目标类型的画面样本和不属于预设目标类型的画面样本通过机器学习算法完成模型训练；从所述目标视频中分别截取所述至少一个目标图像帧对应的视频片段，所述视频片段包括所述目标图像帧以及与所述目标图像帧相邻的图像帧；根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，所述视频摘要包括所述视频片段。第二方面，本专利技术实施例还提供一种视频摘要的生成装置，包括：视频获取模块，用于获取待处理的目标视频，所述目标视频包括：连续多个的图像帧；图像识别模块，用于使用图像分类预测模型对所述连续多个的图像帧进行识别，从所述连续多个的图像帧中识别出至少一个目标图像帧，所述目标图像帧是所述图像分类预测模型预测出的属于预设目标类型的画面，所述图像分类预测模型使用属于预设目标类型的画面样本和不属于预设目标类型的画面样本通过机器学习算法完成模型训练；片段截取模块，用于从所述目标视频中分别截取所述至少一个目标图像帧对应的视频片段，所述视频片段包括所述目标图像帧以及与所述目标图像帧相邻的图像帧；摘要生成模块，用于根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，所述视频摘要包括所述视频片段。在第二方面中，视频摘要的生成装置的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤，详见前述对第一方面以及各种可能的实现方式中的说明。第三方面，本专利技术实施例提供一种视频摘要的生成装置，该视频摘要的生成装置包括：处理器、存储器；存储器用于存储指令；处理器用于执行存储器中的指令，使得视频摘要的生成装置执行如前述第一方面中任一项的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。在本专利技术实施例中，由于本专利技术实施例中可以提前训练好图像分类预测模型，该图像分类预测模型可以识别出目标视频中所有的图像帧是否是目标图像帧，并且还可以从目标视频中截取出目标图像帧对应的视频片段，通过目标图像帧对应的视频片段可以视频摘要。本专利技术实施例中视频摘要的生成可以通过图像分类预测模型以及视频片段的截取来自动完成，因此可以使目标视频的视频摘要生成工作免去人工操作的麻烦，可以实现视频摘要的自动化生成，另外通过图像分类预测模型具有很高的识别准确度和精确度，提高视频摘要的生成效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术一个实施例提供的一种视频摘要的生成方法的流程方框示意图；图2为本专利技术另一个实施例提供的一种视频摘要的生成方法的流程方框示意图；图3为本专利技术另一个实施例提供的一种视频摘要的生成方法的流程方框示意图；图4为本专利技术另一个实施例提供的一种视频摘要的生成方法的流程方框示意图；图5为本专利技术实施例提供的视频摘要的生成方法的一种应用场景示意图；图6为本专利技术实施例提供的图像分类预测模型的样本采集过程示意图；图7为本专利技术实施例提供的图像分类预测模型的模型训练过程示意图；图8为本专利技术实施例提供的视频摘要的生成方法的视频片段合并过程示意图；图9-a为本专利技术实施例提供的一种视频摘要的生成装置的组成结构示意图；图9-b为本专利技术实施例提供的一种图像识别模块的组成结构示意图；图9-c为本专利技术实施例提供的一种片段截取模块的组成结构示意图；图9-d为本专利技术实施例提供的一种摘要生成模块的组成结构示意图；图9-e为本专利技术实施例提供的另一种视频摘要的生成装置的组成结构示意图；图10为本专利技术实施例提供的视频摘要的生成方法应用于终端的组成结构示意图；图11为本专利技术实施例提供的视频摘要的生成方法应用服务器的组成结构示意图。具体实施方式本专利技术实施例提供了一种视频摘要的生成方法和装置以及计算机可读存储介质，用于提高视频摘要的处理速度，实现视频摘要的快速生成。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。以下分别进行详细说明。本专利技术视频摘要的生成方法的一个实施例，具体可以应用于从目标视频中自动生成相应的视频摘要。本专利技术实施例中视频摘要的生成可以通过图像分类预测模型以及视频片段的截取来自动完成，使目标视频的视频摘要生成工作免去人工操作的麻烦，通过图像分类预测模型具有很高的识别准确度和精确度。本专利技术实施例中图像分类预测模型采用的机器学习方法可以有多种，例如卷积神经网络(ConvolutionalNeuralNetwork,CNN)算法，或者循环神经网络(Recurrentneuralnetworks,简称RNN)算法，只要训练出的图像分类预测模型能够用于图像的分类识别都可以用于本专利技术实施例提供的视频摘要的生成方法中，详见后续实施例中的举例说明。请参阅图1所示，本专利技术一个实施例提供的视频摘要的生成方法，本实施例以该视频摘要的生成方法可以由视频摘要的生成装置来执行，该视频摘要的生成装置具体可以为终端或者服务器，后续步骤先以服务器执行视频摘要的生成方法为例进行说明，视频摘要的生成方法本文档来自技高网...

【技术保护点】
1.一种视频摘要的生成方法，其特征在于，包括：获取待处理的目标视频，所述目标视频包括：连续多个的图像帧；使用图像分类预测模型对所述连续多个的图像帧进行识别，从所述连续多个的图像帧中识别出至少一个目标图像帧，所述目标图像帧是所述图像分类预测模型预测出的属于预设目标类型的画面，所述图像分类预测模型使用属于预设目标类型的画面样本和不属于预设目标类型的画面样本通过机器学习算法完成模型训练；从所述目标视频中分别截取所述至少一个目标图像帧对应的视频片段，所述视频片段包括所述目标图像帧以及与所述目标图像帧相邻的图像帧；根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，所述视频摘要包括所述视频片段。

【技术特征摘要】
1.一种视频摘要的生成方法，其特征在于，包括：获取待处理的目标视频，所述目标视频包括：连续多个的图像帧；使用图像分类预测模型对所述连续多个的图像帧进行识别，从所述连续多个的图像帧中识别出至少一个目标图像帧，所述目标图像帧是所述图像分类预测模型预测出的属于预设目标类型的画面，所述图像分类预测模型使用属于预设目标类型的画面样本和不属于预设目标类型的画面样本通过机器学习算法完成模型训练；从所述目标视频中分别截取所述至少一个目标图像帧对应的视频片段，所述视频片段包括所述目标图像帧以及与所述目标图像帧相邻的图像帧；根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，所述视频摘要包括所述视频片段。2.根据权利要求1所述的方法，其特征在于，所述使用图像分类预测模型对所述连续多个的图像帧进行识别，从所述连续多个的图像帧中识别出至少一个目标图像帧，包括：使用所述图像分类预测模型预测第一图像帧是否属于预设目标类型的画面，所述第一图像帧为所述连续多个的图像帧中的任意一个图像帧；若所述第一图像帧属于预设目标类型的画面，将所述第一图像帧保存到目标图像帧数组，然后使用所述图像分类预测模型预测第二图像帧是否属于预设目标类型的画面，所述第二图像帧为所述连续多个的图像帧中除所述第一图像帧以外的另一个画面帧；若所述第一图像帧不属于预设目标类型的画面，使用所述图像分类预测模型预测第二图像帧是否属于预设目标类型的画面；若所述第二图像帧属于预设目标类型的画面，将所述第二图像帧保存到目标图像帧数组；若所述第二图像帧不属于预设目标类型的画面，按照前述对所述第一图像帧和所述第二图像帧的处理方式，遍历完成对所述连续多个的图像帧中所有图像帧的处理，得到目标图像帧数组，所述目标图像帧数组中保存有所述至少一个目标图像帧。3.根据权利要求1所述的方法，其特征在于，所述从所述目标视频中分别截取所述至少一个目标图像帧对应的视频片段，包括：确定所述至少一个目标图像帧在所述目标视频中对应的播放时刻；以所述播放时刻为中心，从所述目标视频中截取处于所述播放时刻之前的n个图像帧，以及从所述目标视频中截取处于所述播放时刻之后的m个图像帧，所述n和所述m为正整数；根据所述目标图像帧、所述n个图像帧和所述m个图像帧生成所述视频片段。4.根据权利要求3所述的方法，其特征在于，所述n和所述m的取值根据所述目标图像帧在所述目标视频中所处的播放时刻确定。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，包括：分别获取所述至少一个目标图像帧对应的视频片段的起始时刻和结束时刻；根据每个视频片段的起始时刻和结束时刻确定各个视频片段的播放顺序；按照所述各个视频片段的播放顺序将所述各个视频片段合并在一起，得到所述视频摘要。6.根据权利要求5所述的方法，其特征在于，所述根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要，还包括：分别获取所述至少一个目标图像帧对应的视频片段的起始时刻和结束时刻之后，确定是否存在重叠的视频片段；若存在重叠的视频片段，去除掉所述重叠的视频片段，然后再触发执行如下步骤：根据每个视频片段的起始时刻和结束时刻确定各个视频片段的播放顺序。7.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据截取到的所述至少一个目标图像帧对应的视频片段，生成所述目标视频的视频摘要之后，所述方法还包括：根据目标视频的视频摘要为所述目标视频提供播放增强服务，所述播放增强服务包括：视频摘要提示服务，和/或视频摘要播放服务。8.一种视频摘要的生成装置，其特征在于，包括：视频获取模块，用于获取待处理的目标视频，所...

【专利技术属性】
技术研发人员：刘笑江，王文，王丰，李俊，郑萌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44