一种视频自动剪辑方法、装置及便携式终端制造方法及图纸

本发明专利技术提供了一种视频自动剪辑方法、装置及便携式终端。所述方法包括：获取待剪辑视频；提取待剪辑视频的关键帧；将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选满足预设剪辑规则的复数个视频段；通过预训练图像质量评分方法分别计算复数个视频段的平均分；分别获取每个镜头类型平均分最高的视频段进行拼接。本发明专利技术技术方案通过预训练场景分类方法和预训练图像质量评分方法，生成剪辑规则和流程，避免了由于人为因素导致的剪辑效率低以及准确性低的问题，实现了一种视频自动剪辑的效果。

An Automatic Video Clipping Method, Device and Portable Terminal

The invention provides an automatic video clipping method, a device and a portable terminal. The methods include: acquiring video to be clipped; extracting key frames of video to be clipped; inputting key frames into pre-training scene classification method and pre-training target detection method to obtain scene type and target object markers respectively; screening multiple video segments satisfying pre-training clipping rules; calculating average scores of multiple video segments by pre-training image quality scoring method respectively. The video segments with the highest average score for each shot type are obtained for mosaic. The technical scheme of the invention generates editing rules and processes by means of pre-training scene classification method and pre-training image quality scoring method, avoids the problems of low editing efficiency and accuracy caused by human factors, and achieves the effect of an automatic video editing.

【技术实现步骤摘要】
一种视频自动剪辑方法、装置及便携式终端
本专利技术属于视频领域，尤其涉及一种视频自动剪辑方法、装置及便携式终端。
技术介绍
随着多媒体技术的发展，各种图像及音视频为人们的生活增添了诸多乐趣。人们在观看影片、电视剧或者自己拍摄的短片等视频文件时，通常会选择自己感兴趣的片段进行观看，但是准确的找到这些片段是比较困难的，尤其对于习惯使用移动终端观看视频的用户来说，基本使用手指在触摸屏上对进度条进行相关操作，因此观看很不方便。传统的视频剪辑大多采用人工的方法，即由人工预览每一个待剪辑视频，自行判断一场比赛中的精彩部分，并进行剪辑。这种方法不仅使视频剪辑效率低且由于存在人为操作误差导致视频剪辑准确性低。本专利技术通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。
技术实现思路
本专利技术提出一种视频自动剪辑方法、装置及便携式终端，旨在避免由于人为因素导致的剪辑效率低以及准确性低的问题，实现一种视频自动剪辑的效果。第一方面，本专利技术提供了一种视频自动剪辑方法，所述方法包括：获取待剪辑视频；提取待剪辑视频的关键帧；将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选满足预设剪辑规则的复数个视频段；通过预训练图像质量评分方法分别计算复数个视频段的平均分；分别获取每个镜头类型平均分最高的视频段进行拼接。第二方面，本专利技术提供了一种视频自动剪辑装置，所述装置包括：获取模块：用于获取待剪辑视频；提取关键帧模块：用于提取待剪辑视频的关键帧；标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选模块：用于筛选满足预设剪辑规则的复数个视频段；计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。第三方面，本专利技术提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种视频自动剪辑方法的步骤。第四方面，本专利技术提供了一种便携式终端，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种视频自动剪辑方法的步骤。在本专利技术中，通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。本专利技术技术方案能够避免由于人为因素导致的剪辑效率低以及准确性低的问题，提高视频剪辑的效率。附图说明图1是本专利技术实施例一提供的一种视频自动剪辑方法流程图。图2是本专利技术实施例一提供的筛选满足预设剪辑规则的视频段的流程图。图3是本专利技术实施例二提供的一种视频自动剪辑模块示意图。图4是本专利技术实施例三提供的便携式终端的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一：请参阅图1，本专利技术实施例一提供的一种视频自动剪辑方法包括以下步骤：S101.获取待剪辑视频；所述待剪辑视频的数量为n个，n≥5；需要说明的是，本申请实施例中所述待剪辑视频可以是影片、电视剧或者用户自己拍摄的短片等视频文件，还可以是其他类型或者来源的视频文件，或者是通用格式的视频文件，如mp4、insv等，本申请不做限定。S102.提取待剪辑视频的关键帧；提取所述待剪辑视频的关键帧可以采用但不限于使用第三方库ffmpeg提取关键帧；需要说明的是，关键帧描述了图像背景和运动主体的信息，通过读取关键帧图像数据，可以获取到视频的图像内容；视频文件封装格式都有关键帧列表的标示，比如mp4格式视频，stssbox就是标示关键帧列表的信息，它包含了每一个关键帧的视频时刻和所处视频文件位址偏离量，通过读取stssbox信息即可获取到待剪辑视频的每一个关键帧的图像。S103.针对关键帧采用预训练场景分类方法和预训练目标检测方法分别提取场景类型的标记和目标对象的标记；预训练场景分类方法中场景类型有p个，可以包含但不限于街道，办公室，地铁站，机场，商店，沙滩等，p对应预设的场景类型排列的顺序，p≥100；将第i个关键帧输入预训练场景分类方法，判断关键帧的场景类型，得到场景类型的标记，记为Si；Si∈[0,p]；预设的目标对象有k个，可以包含但不限于人，交通工具，美食，球类，电子设备，动植物等，k对应预设的目标对象排列的顺序，k≥50；将第i个关键帧输入预训练目标检测方法，检测关键帧中的目标对象，得到目标对象的标记Di，Di∈[0,k]；需要说明的是：预训练场景分类方法是预先训练好的基于深度卷积网络的场景分类算法，可以判断图像的场景类型；预训练目标检测方法是预先训练好的基于深度卷积网络的目标检测算法，可以检测出图像中是否存在预设的目标对象。S104.筛选满足预设剪辑规则的复数个视频段；预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数；预设剪辑规则中预设镜头类型由场景类型和目标对象综合确定，即一个预设镜头类型由一个预设场景类型和一个或多个目标对象确定；预设的镜头类型可以包含但不限于工作，旅游，逛街，风景，运动等日常生活场景；例如：预设镜头类型为工作的场景类型可以为办公室或会议室，和/或目标对象可以为电脑、桌子、键盘和/或鼠标等；请参阅图2，筛选满足预设剪辑规则的视频段具体包括：S1041：依次检测每个镜头类型；预设剪辑规则中预设镜头类型为j个，j≥3；S1042：依次判断每个关键帧是否为当前检测的镜头类型；通过函数fj(i)依次判断第i个关键帧的镜头类型是否为第j个镜头类型:公式(1)中，SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合，Si和Di分别为步骤S103中得到的第i个关键帧的场景类型和目标对象，fj(i)＝1为当前检测的镜头类型，fj(i)＝0则不是当前检测的镜头类型；S1043：剪辑视频段，依次判断所述剪辑视频段是否满足当前检测的镜头类型；预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t，t≥3；判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断：公式(2)中，mj(i,t)＝1为满足，mj(i,t)＝0为不满足；S1044：分别获取满足每个镜头类型的视频段；当检测第j个镜头类型时，第i个关键帧对应的视频段记为maskj(i,t)；maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。S105.通过预训练的图像质量评分方法分别计算复数个视频段的平均分；分别计算复数个满足预设剪辑规则的视频段的平均分具体为：计算视频段maskj(i,t)的平均分Mj(i,t)的公式为：公式(3)中，li为第i个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，li+t-1为第i+t-1个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，t为视频段maskj(i,t)的连续关键帧数；需要说明的是，预训练的图像质量评分方法是预先训练好的基于深度卷积网络的图本文档来自技高网...

【技术保护点】
1.一种视频自动剪辑方法，其特征在于，包括以下步骤：获取待剪辑视频；提取待剪辑视频的关键帧；将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选满足预设剪辑规则的复数个视频段；通过预训练图像质量评分方法分别计算复数个视频段的平均分；分别获取每个镜头类型平均分最高的视频段进行拼接。

【技术特征摘要】
1.一种视频自动剪辑方法，其特征在于，包括以下步骤：获取待剪辑视频；提取待剪辑视频的关键帧；将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选满足预设剪辑规则的复数个视频段；通过预训练图像质量评分方法分别计算复数个视频段的平均分；分别获取每个镜头类型平均分最高的视频段进行拼接。2.如权利要求1所述的视频自动剪辑方法，其特征在于：所述待剪辑视频的数量为n个，n≥5。3.如权利要求1所述的视频自动剪辑方法，其特征在于：所述将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记具体包括：预训练场景分类方法中场景类型有p个，p对应预设的场景类型排列顺序，p≥100；将第i个关键帧输入预训练场景分类方法，判断关键帧的场景类型，得到场景类型的标记Si，Si∈[0,p]；预设的目标对象有k个，k对应预设的目标对象排列的顺序，k≥50；将第i个关键帧输入预训练的目标检测方法，检测关键帧中的目标对象，得到目标对象的标记Di，Di∈[0,k]。4.如权利要求1所述的视频自动剪辑方法，其特征在于：所述预设剪辑规则包括预设镜头类型和预设镜头类型剪辑视频段的关键帧数；筛选满足预设剪辑规则的复数个视频段具体包括：依次检测每个镜头类型：预设剪辑规则中预设镜头类型为j个，j≥3；判断每个关键帧是否为当前检测的镜头类型：通过函数fj(i)判断第i个关键帧的镜头类型是否为第j个镜头类型:公式(1)中，SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合，Si和Di分别为第i个关键帧的场景类型和目标对象，fj(i)＝1为当前检测的镜头类型，当fj(i)＝0则不属于当前检测的镜头类型；判断剪辑视频段是否满足当前检测的镜头类型：预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t，t≥3；判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断：公式(2)中，mj(...

【专利技术属性】
技术研发人员：姜文杰，蔡锦霖，刘靖康，
申请(专利权)人：深圳岚锋创视网络科技有限公司，
类型：发明
国别省市：广东,44