一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置制造方法及图纸

本发明专利技术提供了一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置，设计计算机技术领域，特别是计算机视觉相关技术。具体的实施步骤包括：根据预设的多个视角影像采集传感器采集多角度的运动场地视频，从待处理视频中确定运动员的人体运动姿态，估计其三维空间中的运动信息，识别出其运动动作，根据目标动作片段，对待处理视频进行剪辑，以得到高质量的视频片段。该实施方式能有效提高视频处理分析效率，对运动训练的科学分析提供有力分析工具，具备较高的实际使用价值。具备较高的实际使用价值。具备较高的实际使用价值。

【技术实现步骤摘要】
一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置


[0001]本专利技术涉及计算机
，尤其涉及基于计算机视觉技术的一种基于动作识别的视频分析剪辑方法和装置。

技术介绍

[0002]目前，体育运动在国内蓬勃发展，相应的运动辅助训练器材也成为了研究热点。在运动训练视频的采集剪辑，目前普遍采用人工操作，将视频人工分段，并对各段标注信息(标注段落时间，进攻动作，进攻方向等)，存在制作效率低，人工投入大的缺点，需要进一步改进。
[0003]随着人工智能特别计算机视觉技术的飞速发展，人体的动作识别取得了巨大进步，在动作的准确度和计算的开销都已达到实用水平，使得基于动作识别结果进行运动训练视频的剪辑成为可能。但篮球这种人员密集，身体接触频繁的运动，很容易造成动作姿态无法准确识别，现有的基于视频进行二维动作识别方法在人员密集有遮挡的情况下很难保持准确度，而基于三维的动作识别通常对采集设备的安装和时间的同步性要求很高，因此提出一种基于立体空间的低成本动作识别算法，并应用于体育运动视频的剪辑方法，就显得尤其重要和必要。

技术实现思路

[0004]本专利技术实施一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法和装置，部署方便，部署完成后可以自动采集处理分析视频数据，可以极大降低人工成本。
[0005]为实现上述目的，该视频采集剪辑方法包括：
[0006]通过一种低成本的多视角影像采集传感器部署方法，以获取所需要的多视角视频内容信息与时间信息，影像采集传感器的参数位姿信息。使用前需要对多相机的相机进行相机标定，并保持稳定。
[0007]根据所采集的待处理视频，检测N个运动员的位置信息，以及估计出N 个运动员的二维人体姿态信息，所述N为大于或等于1的正整数。
[0008]可选地，上述人体二维姿态估计的具体方法如下：
[0009]使用基于卷积神经网络的YoloX目标检测算法对图像中的人体进行检测，并对结果进行过滤，取其高置信度人体矩形框对原始图像进行裁剪，姿态估计骨干网络采用High
‑
resoulution Net(HRNet)结构，损失函数采用常用的均方方差损失，通过训练后，推理得到人体框中各预设人体主要关节点在图像中的二维坐标信息，同时输出对应的置信度。
[0010]通过连续获取多个视角不同时间序列二维多人人体姿态序列，检测跟踪估算出多人人体的三维空间姿态信息。
[0011]可选地，上述多视角多人的人体三维姿态估计的具体方法如下：
[0012]输入为跨视角的多路视频的多人的二维姿态，通过跨视角的几何关联单元，利用
不同视角之间的二维几何关联方法以及三维估计的几何关联方法，并进行结果融合，得到多人检测结果与多人跟踪结果的相似度矩阵，并基于此进行匹配。通过时间增量的三维姿态更新单元，将新匹配中的二维姿态更新到该目标的跟踪结果中，得到其估计的三维姿态。此外还构建人体目标的增删模块完成算法的初始化以及失败目标的删除。
[0013]本专利技术所使用的人体三维姿态估计方法由于利用多视角几何约束信息，具有准确性高的优点；由于其无需模型的训练，算法性能开销小，具有很强的实时性；由于其对不同视角输入图像无严格时间同步采集的要求，从而对同时能接入的采集设备数量限制少，提高对采集视频的丢帧，网络异常的情况有很强的容忍性，所以本专利技术具有很强的实用性。
[0014]根据所述得到的多人人体的三维空间姿态序列，识别出运动员的动作类型。
[0015]可选地，上述人体动作识别的具体方法如下：
[0016]通过构建语义引导的神经网络，将的连续多帧人体姿态骨骼线序列作为网络输入，通过关节动力学表示模块提取位置和速度特征，通过关节级模块融入各关节的语义特征，通过时间帧级模块融入时间序列特征，最终输出骨骼姿态是否含有目标动作和相应的置信度。
[0017]根据上述分析方法，获得待处理视频中所有运动员的不同时间中的动作，进行剪辑，可以根据设置的一个或多个动作标识，从待处理视频中剪辑，以得到所需的视频片段。
[0018]根据专利技术实施例的另一方面，提供了一种视频采集设备与视频分析剪辑装置。包括如下部分：
[0019]N个影像采集传感器，通过网络将数据传输到分析剪辑设备，所述N为大于1的正整数。
[0020]一个或多个处理器，用于处理本专利技术提供的动作识别算法和智能剪辑方法。
[0021]存储装置，用于储存一个或多个程序，以及保存剪辑的视频。
[0022]该专利技术的实施例中，由于采集装置对于场地条件、相机类型、安装位置精度、时间信息精度均要求较低，所以具有方便部署，成本低，适用范围广的特点；智能剪辑装置由于使用了计算机视觉方法的自动识别辅助，克服了剪辑方式处理效率低，人工成本高的缺点，而且其计算效率具备一定的实时性能，对人体运动的辅助训练器材的快速发展有一点促进意义。
附图说明
[0023]图1为根据专利技术实施例的视频剪辑方法的主要流程示意图
[0024]图2为三维的人体姿态估计方法流程的示意图
[0025]图3为人体动作识别防的流程示意图
[0026]图4为本专利技术实施例的设备模块的示意图
具体实施方式
[0027]本专利技术实施例提供一一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置，可以方便部署在活动的体育运动场地边缘，安装成本低，对场地无苛刻要求，采集多个视角的运动场地比赛训练视频，并对其采集内容进行智能分析，利用计算机视觉算法识别运动员的动作，进而自动从采集视频中剪辑出精彩片段，无需人工干预，提升了
视频剪辑的效率，降低人力成本。
[0028]图1和图2为本专利技术的实施例的方法流程，包括如下步骤：
[0029]S1：相机标定方法，获得相机位置姿态信息。
[0030]S2：获取多视角输入视频，以捕获运动员的训练动作。
[0031]S3：识别器对S2中各视角视频的各帧使用卷积神经网络进行人体检测以及人体二维动作姿态识别。
[0032]S4：根据S1和S3中获得的相机位姿信息、时间信息，逐帧姿态信息，将跨视角人体进行几何关联，时间关联，迭代估计人体三维运动信息，并进行时间空间的匹配跟踪，去除跟踪失败的目标，对新建的目标进行初始化。
[0033]S5：根据S4得到每个人体的动作姿态序列，提取每个关节点的坐标信息，时间信息以及语义信息，构建语义引导的神经网络(Semantics
‑
Guided NeuralNetwork，SGN)训练动作识别算法，得到模型后，用于在线的运动动作识别，用篮球运动举例，例如投篮、突破、封盖等。
[0034]S6：根据设定的规则进行视频剪辑，得到包含有各事件标注信息的动作视频集合，用于后续的训练分析与集锦制作。
[0035]具体地，所述事件信息包含事件类型名称、事件序号、事件起始结束事件、事件相关运动员信息。
[0036]具体地，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法，其特征在于，包括如下步骤：S1：相机标定方法，获得相机位置姿态信息。S2：获取多视角输入视频，以捕获人体的运动动作。S3：识别器对S2中各视角视频的各帧使用卷积神经网络进行人体检测以及人体二维动作姿态识别。S4：根据S1和S3中获得的相机位姿信息、时间信息，逐帧姿态信息，将跨视角人体进行几何关联，时间关联，迭代估计人体三维运动信息，并进行时间空间的匹配跟踪，去除跟踪失败的目标，对新建的目标进行初始化。S5：根据S4得到每个人体的动作姿态序列，提取每个关节点的坐标信息，时间信息以及语义信息，构建语义引导的神经网络训练动作识别算法，得到模型后，用于在线的人体运动动作识别。S6：根据设定的规则进行视频剪辑，得到包含有各事件标注信息的动作视频集。2.根据权利要求1所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法，其特征在于，步骤S3中人体二维姿态估计的具体方法如下：使用基于卷积神经网络的目标检测算法对图像中的人体进行检测，得到人体候选矩形框，使用基于深度卷积神经网络HRNet的人体姿态估计算法得到人体框中各预设人体主要关节点在图像中的二维坐标信息，同时输出对应的置信度。3.根据权利要求1所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法，其特征在于，步骤S4中多视角多人的人体三维姿态估计的具体方法如下：输入为跨视角多路视频的多人的二维姿态，通过跨视角的几何关联单元，利用不同视角之间的二维几何关联方法以及三维估计的几何关联方法，并进行结果融合，得到多人检测结果与多人跟踪结果的相似度矩阵，并基于此进行匹配。通过时间增量的三维姿态更...

【专利技术属性】
技术研发人员：周璐，杨现，
申请(专利权)人：南京工业职业技术大学，
类型：发明
国别省市：