基于人体关键点的视频帧对齐方法、装置、设备及介质制造方法及图纸

本申请涉及一种基于人体关键点的视频帧对齐方法、装置、设备及介质，其中方法包括：获取用户视频与特效资源包；提取用户视频中的人体关键点，并基于人体关键点计算人体关节点角度；基于人体关节点角度、模特关节点角度、模特特征以及人体关键点，计算用户视频与模特视频中视频帧的人体姿态距离；基于人体姿态距离，构建用户视频与模特视频对应的路径曲线；根据路径曲线，将用户视频与特效视频进行映射处理，以使得用户视频与特效视频的帧对齐。本发明专利技术实施例避免了用户视频与特效视频的直接帧对齐，有利于提高特效视频与用户视频的视频帧对齐精准度。对齐精准度。对齐精准度。

【技术实现步骤摘要】
基于人体关键点的视频帧对齐方法、装置、设备及介质


[0001]本申请涉及视频图像处理
，尤其涉及一种基于人体关键点的视频帧对齐方法、装置、设备及介质。

技术介绍

[0002]随着移动互联网和人工智能的发展的发展，短视频得到了广泛的应用，基于视频内容的创意玩法越来越多，也越来越复杂。有一种玩法是专业的设计师设计好特效视频和场景，用户按照指示配合该特效视频进行拍摄，最后产出一段具有电影特效感觉的短视频。这些场景中，有些要添加的特效内容和人体的动作是存在时序上的对应关系的。例如类似动漫里从蓄势到发射冲击波这样的特效，特效和动作都是在时间上连续的，随着动作的连续变化，特效内容也是连续变化的，并且特效内容不仅包括手上的光波，还包括场景特效。这种情况，一种办法是由角色自己配合特效视频，这种做法的麻烦在于时间点不好掌控，拍出来的效果失真，普通用户很难做好；另一种做法是使用视频编辑软件，借助曲线变速将特效视频调整后叠加到拍摄视频的目标时段中，这种做法的麻烦在于操作比较耗时，手机上操作还比较麻烦，不太符合手机的使用场景。所以在制作特效视频时，特效视频与用户视频的视频帧对齐是一个亟需解决的问题；
[0003]现有的特效视频与用户视频的视频帧对齐方法是基于人体关键点的坐标，利用深度学习进行特征提取，然后进行时序动作识别。然而深度学习模型本身的计算量比较大，而视频的帧数又比较多，导致计算压力较大，并且识别过程往往只能解决触发的逻辑，导致连续动作对齐精准度较差。现亟需一种能够提高特效视频与用户视频的视频帧对齐精准度的方法。/>
技术实现思路

[0004]本申请实施例的目的在于提供一种基于人体关键点的视频帧对齐方法、装置、设备及介质，以提高特效视频与用户视频的视频帧对齐精准度。
[0005]为了解决上述技术问题，本申请实施例提供一种基于人体关键点的视频帧对齐方法，包括：
[0006]获取用户视频与特效资源包，其中，所述特效资源包中包括模特视频、特效视频、模特特征以及模特关节点角度；
[0007]提取所述用户视频中的人体关键点，并基于所述人体关键点计算人体关节点角度；
[0008]基于所述人体关节点角度、所述模特关节点角度、所述模特特征以及人体关键点，计算所述用户视频与所述模特视频中视频帧的人体姿态距离；
[0009]基于所述人体姿态距离，构建所述用户视频与所述模特视频对应的路径曲线；
[0010]根据所述路径曲线，将所述用户视频与所述特效视频进行映射处理，以使得所述用户视频与所述特效视频的帧对齐。
[0011]为了解决上述技术问题，本申请实施例提供一种基于人体关键点的视频帧对齐装置，包括：
[0012]用户视频获取模块，用于获取用户视频与特效资源包，其中，所述特效资源包中包括模特视频、特效视频、模特特征以及模特关节点角度；
[0013]人体关节点角度计算模块，用于提取所述用户视频中的人体关键点，并基于所述人体关键点计算人体关节点角度；
[0014]人体姿态距离计算模块，用于基于所述人体关节点角度、所述模特关节点角度、所述模特特征以及人体关键点，计算所述用户视频与所述模特视频中视频帧的人体姿态距离；
[0015]路径曲线构建模块，用于基于所述人体姿态距离，构建所述用户视频与所述模特视频对应的路径曲线；
[0016]视频帧对齐模块，用于根据所述路径曲线，将所述用户视频与所述特效视频进行映射处理，以使得所述用户视频与所述特效视频的帧对齐。
[0017]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于人体关键点的视频帧对齐方法。
[0018]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于人体关键点的视频帧对齐方法。
[0019]本专利技术实施例提供了一种基于人体关键点的视频帧对齐方法、装置、设备及介质。其中方法包括：获取用户视频与特效资源包，其中，特效资源包中包括模特视频、特效视频、模特特征以及模特关节点角度；提取用户视频中的人体关键点，并基于人体关键点计算人体关节点角度；基于人体关节点角度、模特关节点角度、模特特征以及人体关键点，计算用户视频与模特视频中视频帧的人体姿态距离；基于人体姿态距离，构建用户视频与模特视频对应的路径曲线；根据路径曲线，将用户视频与特效视频进行映射处理，以使得用户视频与特效视频的帧对齐。本专利技术实施例通过计算用户视频与模特视频的人体姿态距离，并基于人体姿态距离构建路径曲线，最后根据路径曲线，将用户视频与特效视频进行视频帧对齐，避免了用户视频与特效视频的直接帧对齐，有利于提高特效视频与用户视频的视频帧对齐精准度。
附图说明
[0020]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的基于人体关键点的视频帧对齐方法流程的一实现流程图；
[0022]图2是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的一实现流程图；
[0023]图3是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的又一实
现流程图；
[0024]图4是本申请实施例提供的用户视频中人体的目标关节点示意图；
[0025]图5是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的又一实现流程图；
[0026]图6是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的又一实现流程图；
[0027]图7是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的又一实现流程图；
[0028]图8是本申请实施例提供的基于人体关键点的视频帧对齐方法中子流程的又一实现流程图；
[0029]图9是本申请实施例提供的基于人体关键点的视频帧对齐装置示意图；
[0030]图10是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0031]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0032]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体关键点的视频帧对齐方法，其特征在于，包括：获取用户视频与特效资源包，其中，所述特效资源包中包括模特视频、特效视频、模特特征以及模特关节点角度；提取所述用户视频中的人体关键点，并基于所述人体关键点计算人体关节点角度；基于所述人体关节点角度、所述模特关节点角度、所述模特特征以及人体关键点，计算所述用户视频与所述模特视频中视频帧的人体姿态距离；基于所述人体姿态距离，构建所述用户视频与所述模特视频对应的路径曲线；根据所述路径曲线，将所述用户视频与所述特效视频进行映射处理，以使得所述用户视频与所述特效视频的帧对齐。2.根据权利要求1所述的基于人体关键点的视频帧对齐方法，其特征在于，所述获取用户视频与特效资源包之前，所述方法还包括：获取多个所述模特视频，并对多个所述模特视频进行特征提取，得到初始特征；基于所述初始特征，计算所述模特关节点角度；从所述多个模特视频中确定模板视频，并将所述模板视频与多个所述模特视频进行帧对齐处理，且获取帧对齐后的模板视频与多个所述模特视频中的特征，作为所述模特特征；将所述模特特征、所述模特关节点角度以及多个所述模特视频进行打包处理，得到所述特效资源包。3.根据权利要求1所述的基于人体关键点的视频帧对齐方法，其特征在于，所述提取所述用户视频中的人体关键点，并基于所述人体关键点计算人体关节点角度，包括：基于人体骨骼点检测方式，提取所述用户视频中的所述人体关键点；选取人体的预设关节点作为目标关节点，并生成所述目标关节点对应的关节点向量；基于所述关节点向量，通过第一预设公式，计算所述目标关节点对应的所述人体关节点角度。4.根据权利要求3所述的基于人体关键点的视频帧对齐方法，其特征在于，所述选取人体的预设关节点作为目标关节点，并生成所述目标关节点对应的关节点向量，包括：选取人体的预设关节点作为所述目标关节点，其中，所述目标关节点包括右肘、左肘、左肩、右肩、左髋、右髋、左膝以及右膝；针对任一所述目标关节点，获取目标关节点对应的人体关键点，作为原点关键点；获取距离所述原点关键点最近的两个人体关键点，作为基础关键点；将两个所述基础关键点分别与所述原点关键点的坐标点进行相减处理，得到所述关节点向量。5.根据权利要求1所述的基于人体关键点的视频帧对齐方法，其特征在于，所述基于所述人体关节点角度、所述模特关节点角度、所述模特特征以及人体关键点，计算所述用户视频与所述模特视频中视频帧的人体姿态距离，包括：通过第二预设公式，计算所述人体关节点角度和所述模特关节点角度的角度差，得到目标角度差；基于所述目标角度差、所述模特特征以及人体...

【专利技术属性】
技术研发人员：谢衍涛，王鼎，
申请(专利权)人：杭州云像科技有限公司，
类型：发明
国别省市：