一种视频数据处理方法、设备以及可读存储介质技术

本申请公开了一种视频数据处理方法、设备以及可读存储介质，其中，方法包括：获取待处理视频中针对目标对象的运动事件片段；若运动事件片段包括连续运动动作片段，则识别连续运动动作片段中的运动状态分割点，根据运动状态分割点对连续运动动作片段进行拆分，得到至少两个单独运动动作片段；分别在每个单独运动动作片段中对目标对象的关键部位进行跟踪，得到每个单独运动动作片段分别对应的关键部位位置信息，根据关键部位位置信息识别连续运动动作片段对应的第一事件标签，用于在目标对象关联的运动场记信息中记录每个单独运动动作片段分别对应的动作类型。采用本申请，可以提高识别动作类型的准确率，且提升运动场记信息的生成效率。成效率。成效率。

【技术实现步骤摘要】
一种视频数据处理方法、设备以及可读存储介质


[0001]本申请涉及互联网
，尤其涉及一种视频数据处理方法、设备以及可读存储介质。

技术介绍

[0002]随着互联网技术的快速发展，以及计算能力的提升，视频处理技术的性能大幅提升。
[0003]视频处理技术可以对视频进行分类、检测、分析等，是计算机视觉领域中非常有挑战性的课题，在学术界与工业界均受到了广泛的重视。现有的人工智能识别技术只能针对静止状态的对象进行行为识别，但对于运动状态的行为识别性能较差，因此在运动场景下(例如在花样滑冰项目中)，就更加难以通过现有的模型去识别连续运动动作的类别，因此，就只能通过人工的方式进行人工识别相应的动作类型，以记录成运动场记信息，导致动作类型的识别准确率和识别效率都比较低，且会消耗大量人力，还可能存在人为误差，造成运动场记信息的生成效率低下。

技术实现思路

[0004]本申请实施例提供了一种视频数据处理方法、设备以及可读存储介质，可以提高识别动作类型的准确率，且提升运动场记信息的生成效率。
[0005]本申请实施例一方面提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频数据处理方法，其特征在于，包括：获取待处理视频中针对目标对象的运动事件片段；若所述运动事件片段包括连续运动动作片段，则识别所述连续运动动作片段中的运动状态分割点，根据所述运动状态分割点对所述连续运动动作片段进行拆分，得到至少两个单独运动动作片段；分别在每个单独运动动作片段中对所述目标对象的关键部位进行跟踪，得到所述每个单独运动动作片段分别对应的关键部位位置信息，根据所述关键部位位置信息识别所述连续运动动作片段对应的第一事件标签；所述第一事件标签用于在所述目标对象关联的运动场记信息中记录所述每个单独运动动作片段分别对应的动作类型。2.根据权利要求1所述的方法，其特征在于，所述获取待处理视频中针对目标对象的运动事件片段，包括：对包含目标对象的待处理视频进行抽帧，得到第一视频帧序列；将所述第一视频帧序列输入特征提取网络，获取所述第一视频帧序列对应的图片特征；将所述图片特征输入动作分割网络，获取所述第一视频帧序列对应的时序特征；所述时序特征包括所述第一视频帧序列中的运动事件对应的起止时间戳；根据所述时序特征中的所述运动事件对应的起止时间戳，从所述第一视频帧序列中提取针对所述运动事件的运动事件片段。3.根据权利要求1所述的方法，其特征在于，所述连续运动动作片段为连续跳跃动作片段；所述识别所述连续运动动作片段中的运动状态分割点，根据所述运动状态分割点对所述连续运动动作片段进行拆分，得到至少两个单独运动动作片段，包括：确定所述连续跳跃动作片段中的每个视频帧分别对应的运动状态；所述运动状态是指所述目标对象在运动过程中的状态；根据所述运动状态，将所述连续跳跃动作片段划分为至少两个腾空视频帧序列和至少三个落地视频帧序列；将目标落地视频帧序列的中间时刻确定为运动状态分割点，根据所述动作状态分割点对所述连续跳跃动作片段进行拆分，得到至少两个单独跳跃动作片段；所述目标落地视频帧序列包括所述至少三个落地视频帧序列中除第一个落地视频帧序列和最后一个落地视频帧序列外的视频帧序列。4.根据权利要求3所述的方法，其特征在于，所述运动状态包括腾空状态和落地状态；所述连续跳跃动作片段包括视频帧T
i
，i为正整数，且i小于所述连续跳跃动作片段中的视频帧的总数量；所述根据所述运动状态，将所述连续跳跃动作片段划分为至少两个腾空视频帧序列和至少三个落地视频帧序列，包括：从所述连续跳跃动作片段中获取连续的视频帧T
i
至视频帧T
i+n
；n为正整数，且i+n小于或等于所述连续跳跃动作片段中的视频帧的总数量；若连续的频帧T
i
至视频帧T
i+n
‑1对应的运动状态均为腾空状态，且所述视频帧T
i+n
和视频帧T
i
‑1分别对应的运动状态均为落地状态，且所述连续的视频帧T
i
至视频帧T
i+n
‑1对应的视频帧数量大于腾空数量阈值，则将所述连续的视频帧T
i
至视频帧T
i+n
‑1确定为腾空视频帧
序列；所述连续跳跃动作片段中所存在的腾空视频帧序列的数量为至少两个；将所述连续跳跃动作片段中除了至少两个腾空视频帧序列外的视频帧序列，确定为至少三个落地视频帧序列。5.根据权利要求1所述的方法，其特征在于，所述连续运动动作片段为连续跳跃动作片段，所述每个单独运动动作片段均为单独跳跃动作片段；所述第一事件标签还包括动作评估质量和腾空旋转圈数；所述方法还包括：分别对每个单独跳跃动作片段进行抽帧，得到至少两个第二视频帧序列；将所述至少两个第二视频帧序列输入动作理解网络，通过所述动作理解网络输出所述连续跳跃动作片段对应的所述动作评估质量以及所述腾空旋转圈数；则所述分别在每个单独运动动作片段中对所述目标对象的关键部位进行跟踪，得到所述每个单独运动动作片段分别对应的关键部位位置信息，根据所述关键部位位置信息识别所述连续运动动作片段对应的第一事件标签，包括：分别在每个单独跳跃动作片段中对所述目标对象的关键部位进行跟踪，得到所述每个单独跳跃动作片段分别对应的关键部位位置信息，根据所述关键部位位置信息识别所述每个单独跳跃动作片段分别对应的动作类型；根据所述动作评估质量、所述腾空旋转圈数以及所述动作类型生成所述连续跳跃动作片段对应的第一事件标签。6.根据权利要求5所述的方法，其特征在于，所述至少两个第二视频帧序列包括第二视频帧序列S；所述动作理解网络包括m个非局部组件，m为正整数；所述将所述至少两个第二视频帧序列输入动作理解网络，通过所述动作理解网络输出所述连续跳跃动作片段对应的所述动作评估质量以及所述腾空旋转圈数，包括：将所述第二视频帧序列S拆分为m个子序列，通过所述m个非局部组件分别对所述m个子序列进行特征提取，得到m个中间动作特征；分别对所述m个中间动作特征进行一维卷积，得到m个一维卷积动作特征；通过所述动作理解网络中的全连接层对所述m个一维卷积动作特征进行合并，得到目标动作特征，通过所述动作理解网络中的分类层输出所述目标动作特征对应的单独动作评估质量以及单独腾空旋转圈数；当获得所述至少两个第二视频帧序列中每个第二视频帧序列分别对应的单独动作评估质量以及单独腾空旋转圈数时，根据所述每个第二视频帧序列分别对应的单独动作评估质量以及单独腾空旋转圈数，生成所述连续跳跃动作片段对应的动作评估质量以及腾空旋转圈数。7.根据权利要求5所述的方法，其特征在于，还包括：对连续跳跃动作样本片段进行标注，在标注后的连续跳跃动作样本片段中均匀抽取K个视频帧，在所述K个视频帧中抽取连续的P个视频帧作为输入序列，输入初始动作理解网络，通过所述初始动作...

【专利技术属性】
技术研发人员：赵天昊，袁微，田思达，楼剑，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：