视频片段截取方法及系统、计算机设备及可读存储介质技术方案

本发明专利技术涉及一种视频片段截取方法及系统、计算机设备及计算机可读存储介质，采用全新方法设计，首先应用手势检测模型对视频帧进行手势检测，获得包含手势的各个待处理帧序号，并进一步获得各个连续视频帧组；接着通过补齐缺失帧序号的方式，更新各个连续视频帧组，即获得各个视频片段；如此实现关于手势视频片段的获取，整个设计方法高效、简洁，且所获各手势视频片段具有准确时刻，为合成长视频准备，有效提高了视频截取的工作效率。提高了视频截取的工作效率。提高了视频截取的工作效率。

【技术实现步骤摘要】
视频片段截取方法及系统、计算机设备及可读存储介质


[0001]本专利技术涉及一种视频片段截取方法及系统、计算机设备及计算机可读存储介质，属于视频剪辑


技术介绍

[0002]现在社会有很多视频内容生成需求，现有合成视频的方法是把多个短的视频片段(例如0.5秒)合成更长的视频内容。例如为了合成一个主播说话的视频，可以把主播摊手、主播坐直、主播摇头等一系列短视频合起来。但是为了保证拼接的连贯性和视觉效果，需要短视频时刻的准确性，因此获得大量准确时刻的短视频片段，是一个十分消耗人工的过程。本专利技术提出了一种可以从其它长视频素材中，自动截取短视频片段，为准备再次合成长视频。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供了一种视频片段截取方法及系统、计算机设备及计算机可读存储介质，基于手势检测模型自动实现短视频片段截取，实现准确时刻短视频片段的获取，为合成长视频准备。
[0004]本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种视频片段截取方法，用于获得目标视频中包含手势动作的各个视频片段，包括如下步骤：
[0005]步骤A.分别针对目标视频中的各个视频帧，应用手势检测模型对视频帧进行手势检测，若该视频帧中手的个数大于0，则检测获得该视频帧中手势所对应预设各手势类型中的手势类型，并获得该视频帧的帧序号，作为待处理帧序号；若该视频帧中手的个数等于0，则不对该视频帧进行处理；待完成对目标视频中全部视频帧的手势检测后，进入步骤B；
[0006]步骤B.基于各待处理帧序号由小至大的排序，由各待处理帧序号组成各个连续视频帧组，然后进入步骤C；
[0007]步骤C.分别针对各个连续视频帧组，根据目标视频中各视频帧的帧序号，补齐连续视频帧组中各待处理帧序号之间缺失的帧序号，更新连续视频帧组，进而分别更新各个连续视频帧组，然后进入步骤D；
[0008]步骤D.分别针对各个连续视频帧组，由连续视频帧组中各帧序号分别对应的视频帧顺序组成视频片段，作为目标视频所对应的视频片段；进而获得目标视频所对应的各个视频片段，然后进入步骤E；
[0009]步骤E.分别针对各个视频片段，统计视频片段中各手势类型分别对应视频帧的数量，并选择最多数量视频帧所对应的手势类型，作为该视频片段所对应的手势类型；进而获得各视频片段分别所对应的手势类型，即获得目标视频所对应各个视频片段、以及各视频片段分别所对应的手势类型。
[0010]作为本专利技术的一种优选技术方案，还包括步骤F如下，执行完步骤 E之后，进入步骤F；
[0011]步骤F.针对各个视频片段，调整各视频片段中前景人物的尺寸，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。
[0012]作为本专利技术的一种优选技术方案，所述步骤F包括如下步骤F1至步骤F2；
[0013]步骤F1.分别针对各视频片段中的各视频帧，获得包围视频帧中人脸区域的人脸框，其中若相邻视频帧中人脸框的尺度距离大于预设人脸尺度阈值，则判定该相邻视频帧之间需要执行尺度缩放，然后进入步骤F2；
[0014]步骤F2.分别针对需要执行尺度缩放的各视频片段，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放；进而针对需要执行尺度缩放的各视频片段执行操作，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。
[0015]作为本专利技术的一种优选技术方案：所述步骤F2中，针对需要执行尺度缩放各视频片段中的各视频帧，按如下步骤F2
‑
1至步骤F2
‑
4，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放；
[0016]步骤F2
‑
1.应用前景精细分割，分割获得视频帧的前景人物构成掩膜mask，并按缩放比例，应用opencv中的cv2.resize()针对该掩膜 mask进行缩放，获得缩放后的掩膜mask；
[0017]步骤F2
‑
2.基于该视频帧前景底部边缘中点与掩膜mask底部边缘中点的彼此对齐，由该视频帧前景底部边缘中点位置坐标乘以缩放比例，获得掩膜mask底部边缘中点位置坐标，并获得该两位置坐标之间的偏差，作为待处理位置坐标；
[0018]步骤F2
‑
3.若缩放比例大于1，以待处理位置坐标为左上角点，裁剪掩膜mask至该视频帧尺寸大小，更新掩膜mask；若缩放比例小于 1，新建一个和该视频帧大小相同的空白帧，从空白帧上对应待处理位置坐标为起始，填补缩小掩膜mask到空白帧上，更新掩膜mask；
[0019]步骤F2
‑
4.按透明度叠加融合掩膜mask与空白背景，完成对该视频帧的缩放。
[0020]作为本专利技术的一种优选技术方案，所述步骤B包括如下步骤B1至步骤B6：
[0021]步骤B1.基于各待处理帧序号由小至大的排序，初始化参数n＝1，并进入步骤B2；
[0022]步骤B2.获得第n个帧序号与第n+1个帧序号之间的帧序号差值，判断该帧序号差值是否小于预设帧序号差值阈值，是则判定第n个帧序号至第n+1个帧序号构成一个连续视频帧组，并进入步骤B3；否则判定第n个帧序号与第n+1个帧序号之间为非连续间隔；
[0023]步骤B3.若n＝1，则进入步骤B6；若n>1，则进入步骤B4；
[0024]步骤B4.判断第n个帧序号至第n+1个帧序号所构连续视频帧组上游方向是否存在非连续间隔，是则进入步骤B5；否则分别针对第1 个帧序号至第n
‑
1个帧序号中的各个帧序号，由帧序号至第n+1个帧序号构成一个连续视频帧组，进而获得各个连续视频帧组，然后进入步骤 B5；
[0025]步骤B5.判断第n个帧序号至第n+1个帧序号所构连续视频帧组上游相邻非连续间隔上对应下游方向的帧序号是否为第n个帧序号，是则进入步骤B6；否则针对第n个帧序号至第n+1个帧序号所构连续视频帧组上游方向相邻非连续间隔，进一步分别针对该非连续
间隔对应下游方向的帧序号至第n
‑
1个帧序号中的各个帧序号，由帧序号至第 n+1个帧序号构成一个连续视频帧组，进而获得各个连续视频帧组，然后进入步骤B6；
[0026]步骤B6.判断n+1是否等于待处理帧序号的个数，是则即获得全部待处理帧序号所对应的各个连续视频帧组；否则将n+1的值赋给n，并返回步骤B2。
[0027]作为本专利技术的一种优选技术方案：所述步骤B2中预设帧序号差值阈值等于5。
[0028]作为本专利技术的一种优选技术方案：还包括步骤BC如下，执行完步骤B之后，进入步骤BC，执行完步骤BC之后，进入步骤C；
[0029]步骤BC.分别针对各个连续视频帧组，按如下各情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频片段截取方法，用于获得目标视频中包含手势动作的各个视频片段，其特征在于，包括如下步骤：步骤A.分别针对目标视频中的各个视频帧，应用手势检测模型对视频帧进行手势检测，若该视频帧中手的个数大于0，则检测获得该视频帧中手势所对应预设各手势类型中的手势类型，并获得该视频帧的帧序号，作为待处理帧序号；若该视频帧中手的个数等于0，则不对该视频帧进行处理；待完成对目标视频中全部视频帧的手势检测后，进入步骤B；步骤B.基于各待处理帧序号由小至大的排序，由各待处理帧序号组成各个连续视频帧组，然后进入步骤C；步骤C.分别针对各个连续视频帧组，根据目标视频中各视频帧的帧序号，补齐连续视频帧组中各待处理帧序号之间缺失的帧序号，更新连续视频帧组，进而分别更新各个连续视频帧组，然后进入步骤D；步骤D.分别针对各个连续视频帧组，由连续视频帧组中各帧序号分别对应的视频帧顺序组成视频片段，作为目标视频所对应的视频片段；进而获得目标视频所对应的各个视频片段，然后进入步骤E；步骤E.分别针对各个视频片段，统计视频片段中各手势类型分别对应视频帧的数量，并选择最多数量视频帧所对应的手势类型，作为该视频片段所对应的手势类型；进而获得各视频片段分别所对应的手势类型，即获得目标视频所对应各个视频片段、以及各视频片段分别所对应的手势类型。2.根据权利要求1所述一种视频片段截取方法，其特征在于，还包括步骤F如下，执行完步骤E之后，进入步骤F；步骤F.针对各个视频片段，调整各视频片段中前景人物的尺寸，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。3.根据权利要求2所述一种视频片段截取方法，其特征在于，所述步骤F包括如下步骤F1至步骤F2；步骤F1.分别针对各视频片段中的各视频帧，获得包围视频帧中人脸区域的人脸框，其中若相邻视频帧中人脸框的尺度距离大于预设人脸尺度阈值，则判定该相邻视频帧之间需要执行尺度缩放，然后进入步骤F2；步骤F2.分别针对需要执行尺度缩放的各视频片段，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放；进而针对需要执行尺度缩放的各视频片段执行操作，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。4.根据权利要求3所述一种视频片段截取方法，其特征在于：所述步骤F2中，针对需要执行尺度缩放各视频片段中的各视频帧，按如下步骤F2
‑
1至步骤F2
‑
4，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放；步骤F2
‑
1.应用前景精细分割，分割获得视频帧的前景人物构成掩膜mask，并按缩放比例，应用opencv中的cv2.resize()针对该掩膜mask进行缩放，获得缩放后的掩膜mask；步骤F2
‑
2.基于该视频帧前景底部边缘中点与掩膜mask底部边缘中点的彼此对齐，由该视频帧前景底部边缘中点位置坐标乘以缩放比例，获得掩膜mask底部边缘中点位置坐
标，并获得该两位置坐标之间的偏差，作为待处理位置坐标；步骤F2
‑
3.若缩放比例大于1，以待处理位置坐标为左上角点，裁剪掩膜mask至该视频帧尺寸大小，更新掩膜mask；若缩放比例小于1，新建一个和该视频帧大小相同的空白帧，从空白帧上对应待处理位置坐标为起始，填补缩小掩膜mask到空白帧上，更新掩膜mask；步骤F2
‑
4.按透明度叠加融合掩膜mask与空白背景，完成对该视频帧的缩放。5.根据权利要求1所述一种视频片段截取方法，其特征在于，所述步骤B包括如下步骤B1至步骤B6：步骤B1.基于各待处理帧序号由小至大的排序，初始化参数n＝1，并进入步骤B2；步骤B2.获得第n个帧序号与第n+1个帧序号之间的帧序号差值，判断该帧序号差值是否小于预设帧序号差值阈值，是则判定第n个帧序号至第n+1个帧序号构成一个连续视频帧组，并进入步骤B3；否则判定第n个帧序号与第n+1个帧序号之间为非连续间隔；步骤B3.若n＝1，则进入步骤B6；若n>1，则进入步骤B4；步骤B4.判断第n个帧序号至第n+1个帧序号所构连续视频帧组上游方向是否存在非连续间隔，是则进入步骤B5；否则分别针对第1个帧序号至第n
‑
1个帧序号中的各个帧序号，由帧序号至第n+1个帧序号构成一个连续视频帧组，进而获得各个连续视频帧组，然后进入步骤B5；步骤B5.判断第n个帧序号至第n+1个帧序号所构连续视频帧组上游相邻非连续间隔上对应下游方向的帧序号是否为第n个帧序号，是则进入步骤B6；否则针对第n个帧序号至第n+1个帧序号所构连续视频帧组上游方向相邻非连续间隔，进一步分别针对该非连续间隔对应下游方向的帧序号至第n
‑
1个帧序号中的各个帧...

【专利技术属性】
技术研发人员：包英泽，冯富森，舒科，卢景熙，
申请(专利权)人：北京跳悦智能科技有限公司，
类型：发明
国别省市：