一种智能剪辑视频的方法技术

本发明专利技术涉及视频剪辑技术领域，具体地说，涉及一种智能剪辑视频的方法。其方法步骤为：用户通过界面或其他方式预设一个视频输出的画幅比例；导入本次需要剪辑的视频素材；对导入的视频素材，进行解码，每帧抽取一张图片作为分析对象；将视频按镜头进行切分；对上一步剪出的单个视频镜头进行画面裁剪；把所有镜头裁剪出来的结果，按照时间的顺序进行合成，得出最后的视频。该智能剪辑视频的方法中，通过人脸检测、物体检测等算法，找到视频画面中最重要的内容，并能根据输入的画幅比例，动态调节裁剪区域，并通过美学打分的方式，找到最美的视频裁剪方案，使得拍摄出来的视频能够以较低的成本，分发到多个对画幅比例要求不同的平台上。

A method of intelligent video clip

【技术实现步骤摘要】
一种智能剪辑视频的方法
本专利技术涉及视频剪辑
，具体地说，涉及一种智能剪辑视频的方法。
技术介绍
由于智能手机的普及，而70％的智能手机使用者长期都是通过竖屏来使用智能手机的，因此，通过竖屏观看视频的用户越来越多。在很多App里面(比如抖音、淘宝)，提供的视频也主要是以竖屏为主(9:16或者3：4)。然而市面上大部分成品视频，依然还是以横屏为主(比例为16:9或者4：3)，这样的视频在手机上观看体验不是很好。因此专利技术了本方法，目的是为了快速从16:9或4：3这类横屏视频中又好又快地裁剪出竖版视频，进而能实现指定任意比例，均可剪出好视频的目的。
技术实现思路
本专利技术的目的在于提供一种智能剪辑视频的方法，以解决上述
技术介绍
中提出的某种或某些缺陷。为实现上述目的，本专利技术提供一种智能剪辑视频的方法，其方法步骤如下：S1、用户通过界面或其他方式预设一个视频输出的画幅比例；S2、导入本次需要剪辑的视频素材；S3、对导入的视频素材，进行解码，每帧抽取一张图片作为分析对象；S4、将视频按镜头进行切分；S5、对上一步剪出的单个视频镜头进行画面裁剪；S6、把所有镜头裁剪出来的结果，按照时间的顺序进行合成，得出最后的视频。作为优选，S4中，视频按镜头切分步骤如下：①、给定一段视频流，视频逐帧绘制直方图；②、计算和上一帧的差值，如果靠近的两帧之间，差值明显变大，则可以判断为是一个镜头边缘帧；③、根据计算出来的镜头边缘帧，对视频进行切割，直方图之间的差异可以用以下公式进行计算：作为优选，S5中，剪出的单个视频镜头进行画面裁剪步骤如下：①、通过人脸检测算法，来检测每帧画面中出现的人脸，得到每个人脸在画面中的坐标和面积；②、通过物体检测算法，检测每帧画面中出现的特写物体，得到每个物体在画面中的坐标和面积；③、根据预设的视频画幅裁剪比例；④、为每个裁剪画面打上美感分，并选出最“美”的裁剪方案。作为优选，人脸检测算法采用MTCNN算法，其包括如下步骤：步骤一：人脸检测，人脸检测采用交叉熵损失函数实现分类任务，交叉熵损失函数如下：步骤二：人脸特征点定位，人脸特征点定位为回归问题，目标是特征点与标定好的数据的平方和损失，其算法如下：步骤三：边界框回归，当IOU小于设定的阈值时，将预测的窗口进行一系列微调，使预测窗与真实值更加接近；步骤四：训练目标函数，引入一个指示值，用于指示该样本是否需要计算某一项损失，其函数为：作为优选，物体检测算法采用YOLO3检测方法，包括以下步骤：步骤一：命令语句介绍：直接在darknet.exe同级目录新建.cmd格式文件，然后在文件内写入执行的命令语句，保存后双击该.cmd格式文件便可执行命令，训练命令语句为：darknet.exedetectortraindata/obj-leaf.datayolov3-leaf.cfgdarknet53.conv.74；步骤二：开始训练：①新建命令文件：新建.cmd格式文件并命名为“yolov3_leaf_train”，右键—>编辑，将训练命令语句复制进去并保存；②排错调试：双击“yolov3_leaf_train.cmd”，开始训练。作为优选，为每个裁剪画面打上美感分包括如下步骤：步骤一：基于图像美学算法，对每个裁剪方案的画面进行分析，并对视频画面的打上美感分；步骤二：根据美感分对裁剪方案进行倒序排列，找出最“美”的裁剪方案；步骤三：根据该裁剪方案，对该镜头进行裁剪，得出剪辑好的镜头。作为优选，图像美学算法采用NIMA算法模型，其步骤如下：①、使用预训练的图像网络作为基线(baseline)，图像网络包括MobileNet，VGG16，Inception现成的图像算法；②、在基线(baseline)的基础上，将最后一层替换掉，使用随机初始化的分类器(FC)进行任务预训练；；③、对预训练的结果用softmax进行归一化；④、训练损失函数用EMD(经验模态分解)，损失函数的表达式如下：其中，也就是预测评分的概率的累加值，而不是独立的预测获得每一个评分的概率，以此代替分布；⑤、基于该算法，每输入一张图片，算法均可以给出一个分数(0-10分)，来评估图片质量的好坏，分数越高，图片质量越好。作为优选，根据美感分对裁剪方案进行倒序排列采用核校准函数，给定核函数K，K，，则公式如下：每给定一组有限样本集合S＝(x1，x2，...，xm)，核矩阵K∈Rm+m以及K，∈Rm+m间的校准公式如下：式中，<...>F为Frobenius积，而||.||F指Frobenius范数；给定训练集，将不同核函数应用到不同的特征上后可得特征核矩阵{K1，K2，...，Kp}，而利用训练集样本的标签则可以得到目标核矩阵KY，特征核矩阵和目标核矩阵的核校准值越高，表示两者相关度越高，核矩阵融合的目标即使得融合的核矩阵与目标核矩阵校准值最大化，即：定义向量a＝(<K1，KY)F，(K2，KY>F...<Kp，KY>F)T，矩阵M∈Rp*p，其中Mi，j＝<Ki，Kj>F，则优化问题公式为：与现有技术相比，本专利技术的有益效果：1、该智能剪辑视频的方法中，在画幅变化的需求场景下，可以大幅度提升机器自动裁剪出来的质量，通过人脸检测、物体检测等算法，找到视频画面中最重要的内容，并能根据输入的画幅比例，动态调节裁剪区域，并通过美学打分的方式，找到最美的视频裁剪方案。2、该智能剪辑视频的方法中，通过机器能在较大程度上取代人的重复工作，提高视频剪辑整体的效率。3、该智能剪辑视频的方法中，根据输入的画幅比例，动态调节裁剪区域，并通过美学打分的方式，找到最美的视频裁剪方案，使得拍摄出来的视频能够以较低的成本，分发到多个对画幅比例要求不同的平台上。附图说明图1为本专利技术的整体方法流程图；图2为本专利技术的结构单个视频镜头进行画面裁剪步骤流程图；图3为本专利技术的裁剪画面美感分步骤流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-图3所示，本专利技术提供一种技术方案：本专利技术提供一种智能剪辑视频的方法，其方法步骤如下：S1、用户通过界面或其他方式预设一个视频输出的画幅比例；S2、导入本次需要剪辑的视频素材；S3、对导入的视频素材，进行解码本文档来自技高网...

【技术保护点】
1.一种智能剪辑视频的方法，其方法步骤如下：/nS1、用户通过界面或其他方式预设一个视频输出的画幅比例；/nS2、导入本次需要剪辑的视频素材；/nS3、对导入的视频素材，进行解码，每帧抽取一张图片作为分析对象；/nS4、将视频按镜头进行切分；/nS5、对上一步剪出的单个视频镜头进行画面裁剪；/nS6、把所有镜头裁剪出来的结果，按照时间的顺序进行合成，得出最后的视频。/n

【技术特征摘要】
1.一种智能剪辑视频的方法，其方法步骤如下：
S1、用户通过界面或其他方式预设一个视频输出的画幅比例；
S2、导入本次需要剪辑的视频素材；
S3、对导入的视频素材，进行解码，每帧抽取一张图片作为分析对象；
S4、将视频按镜头进行切分；
S5、对上一步剪出的单个视频镜头进行画面裁剪；
S6、把所有镜头裁剪出来的结果，按照时间的顺序进行合成，得出最后的视频。


2.根据权利要求1所述的智能剪辑视频的方法，其特征在于：S4中，视频按镜头切分步骤如下：
①、给定一段视频流，视频逐帧绘制直方图；
②、计算和上一帧的差值，如果靠近的两帧之间，差值明显变大，则可以判断为是一个镜头边缘帧；
③、根据计算出来的镜头边缘帧，对视频进行切割，直方图之间的差异可以用以下公式进行计算：





3.根据权利要求1所述的智能剪辑视频的方法，其特征在于：S5中，剪出的单个视频镜头进行画面裁剪步骤如下：
①、通过人脸检测算法，来检测每帧画面中出现的人脸，得到每个人脸在画面中的坐标和面积；
②、通过物体检测算法，检测每帧画面中出现的特写物体，得到每个物体在画面中的坐标和面积；
③、根据预设的视频画幅裁剪比例；
④、为每个裁剪画面打上美感分，并选出最“美”的裁剪方案。


4.根据权利要求3所述的智能剪辑视频的方法，其特征在于：人脸检测算法采用MTCNN算法，其包括如下步骤：
步骤一：人脸检测，人脸检测采用交叉熵损失函数实现分类任务，交叉熵损失函数如下：



步骤二：人脸特征点定位，人脸特征点定位为回归问题，目标是特征点与标定好的数据的平方和损失，其算法如下：



步骤三：边界框回归，当IOU小于设定的阈值时，将预测的窗口进行一系列微调，使预测窗与真实值更加接近；
步骤四：训练目标函数，引入一个指示值，用于指示该样本是否需要计算某一项损失，其函数为：





5.根据权利要求3所述的智能剪辑视频的方法，其特征在于：物体检测算法采用YOLO3检测方法，包括以下步骤：
步骤一：命令语句介绍：
直接在darknet.exe同级目录新建.cmd格式文件，然后在文件内写入执行的命令语句，保存后双击该.cmd格式文件便可执行命令，训练命令语句为：darknet.exedetectortraindata/obj-leaf.datayolov3-leaf.cfgdarknet53.conv.74；...

【专利技术属性】
技术研发人员：陈凌云，吴伟平，
申请(专利权)人：新华智云科技有限公司，
类型：发明
国别省市：浙江;33