一种视频时空注意力的窗口服务行为规范检测方法及系统技术方案

本发明专利技术涉及一种视频时空注意力的窗口服务行为规范检测方法及系统，属于计算机视觉领域，针对金融产品提供方只拥有正样本的己方数据而无法进行推荐的问题，包括以下步骤：S1：指定采集设备的安装位置和硬件条件，构建训练和测试数据集；S2：构建基于多令牌查询的Transformer的行为识别方法用于行为检测；S3：将所述窗口服务人员的视频经过预处理后，输入到构建的构建基于多令牌查询的Transformer的行为识别方法中进行训练；S4：利用训练好的行为识别模型用于实际的窗口服务行为规范检测中。本发明专利技术在且能在更低的计算复杂度下取得较好的精度，以实现窗口服务行为规范的实时检测。

【技术实现步骤摘要】

本专利技术属于计算视觉领域，具体涉及一种视频时空注意力的窗口服务行为规范检测方法及系统。

技术介绍

1、视频行为识别是计算机视觉领域的重要研究方向，其核心任务是从视频序列中准确识别和分类人物的行为动作。该任务的关键在于从连续视频帧中提取有效的时空特征，由于视频帧间和帧内存在大量重复或高度相关的视觉信息，模型对这些冗余信息进行重复计算，导致计算资源的浪费。在窗口服务行为规范检测这一特定应用场景中，某些服务行为之间表现出显著的高度相似性，其差异仅体现在细微的动作特征上。以"业务指引"和"示意入座"这两个行为为例，它们的主要视觉表现在大部分时间序列中几乎完全一致，仅在少数关键帧上空间特征存在差别。这种高度相似性使得传统的局部时空特征提取方法难以实现准确区分，必须通过建模整个行为序列的全局上下文信息，才能有效捕捉行为的本质差异。窗口服务行为通常表现为连续的动态过程，往往由多个具有时序依赖关系的子动作构成。例如，"办理业务"这一行为可能包含"接待客户"、"核对信息"、"签字确认"等多个子动作阶段。为了实现对这类行为的准确识别和规范检测，识别模型需要具备双重能力：一方本文档来自技高网...

【技术保护点】

1.一种视频时空注意力的窗口服务行为规范检测方法及系统，包括以下步骤：

2.根据权利要求1所述的一种视频时空注意力的窗口服务行为规范检测方法及系统，其特征在于：所述步骤S2包括以下步骤：

3.根据权利要求2所述的一种视频时空注意力的窗口服务行为规范检测方法及系统，其特征在于：所述步骤S22构建的局部特征聚合模块块(Spatiotemporal FeatureAttention Module,SFAM)组成的局部特征聚合模块(Local Feature AggregationModule,LFAM)，旨在引入局部归纳偏置，提升模型的鲁棒性，并解决Vision Tra...

【技术特征摘要】

1.一种视频时空注意力的窗口服务行为规范检测方法及系统，包括以下步骤：

2.根据权利要求1所述的一种视频时空注意力的窗口服务行为规范检测方法及系统，其特征在于：所述步骤s2包括以下步骤：

3.根据权利要求2所述的一种视频时空注意力的窗口服务行为规范检测方法及系统，其特征在于：所述步骤s22构建的局部特征聚合模块块(spatiotemporal featureattention module,sfam)组成的局部特征聚合模块(local feature aggregationmodule,lfam)，旨在引入局部归纳偏置，提升模型的鲁棒性，并解决vision transformer特征提取初期的空间注意力无法聚焦局部区域而造成的资源浪费问题。每一个sfam包括以下具体步骤：

4.根据权利要求2所述的一种视频时空注意力的窗口服务行为规范检测方法及系统，其特征在于：所述步骤s23构建了局时空特征聚合模块(global spatial featureextraction module,gsfem)。gsfem由12层相同的时空处理单元(spatio-temporalprocessing unit,stpu)堆叠而成。每个stpu由三个模块组成：混合空间感知模块(hybridspatial percep...

【专利技术属性】
技术研发人员：钱鹰，曾奎，刘歆，刘苏，陈奉，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：