基于前景语义增强的双路多标记时空动作检测方法技术

本发明专利技术公开了基于前景语义增强的双路多标记时空动作检测方法。本发明专利技术首先对视频采样生成视频片段集合与背景集合，通过动作前景语义增强模块融合背景信息，获得动作前景语义增强的视频片段集合；再利用二维卷积和三维卷积神经网络获取目标边界框，并提取目标级时空特征和视频时空特征图；之后，由交互关系编码器构建目标交互关系，获得刻画交互关系的目标级运动特征；最后，通过双路动作多标记学习模块，建模动作标记之间的关系，输出动作类别。本发明专利技术不仅通过增强动作前景语义与目标动作类别建模以减少语义偏差，还通过刻画不同动作标记内在关联以缓解标记稀疏问题，同时最小化双路动作分类损失缓解正负类别不平衡的问题，提高了动作检测精度。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，尤其是视频处理中的时空动作检测领域，涉及一种基于前景语义增强的双路多标记时空动作检测方法。

技术介绍

1、随着短视频平台以及网络直播和自媒体行业的兴起，每天都有大量的视频被创造和分享，不仅可以丰富人们的娱乐生活，也为科研和商业应用提供了宝贵的资源，然而，在大数据时代，如何有效地管理和利用这些海量视频成为一个亟待解决的问题；相较于文本、图像和音频等其他类型的数据，视频包含更为复杂的视觉信息，虽然人类能够轻松地理解视频内容，但对于机器来说，要实现同样的理解水平却极具挑战性，这是因为视频不仅包含静态的物体和场景信息，还包含动态的时间序列信息，如人物的动作、物体的移动等；时空动作检测技术正是为了解决这一难题而生，它的核心任务是识别视频中动作出现的时间区间和对应的类别，同时在空间范围内用目标边界框 (bounding box)标注出目标的空间位置，这对于许多领域都有着重要的应用价值，例如，在智能监控系统中，通过实时检测危险动作（如打斗、跌倒等），保障公共安全；在体育分析中，通过检测运动员的动作细节，辅助教练进行战术指导；在智能家居环境中本文档来自技高网...

【技术保护点】

1.基于前景语义增强的双路多标记时空动作检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（1）具体包括以下步骤：

3.如权利要求2所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（2）具体包括以下步骤：

4.如权利要求3所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（3）具体包括以下步骤：

5.如权利要求4所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（4）具体包括以下步骤：

<p>6.如权利要求5...

【技术特征摘要】

1.基于前景语义增强的双路多标记时空动作检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（1）具体包括以下步骤：

3.如权利要求2所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（2）具体包括以下步骤：

4.如权利要求3所述的基于前景语义增强的双路多标记时空动作检测方法，其特征在于，步骤（3）具体包括以下步骤：

5.如权利...

【专利技术属性】
技术研发人员：李平，何凌风，刘钧宇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：