【技术实现步骤摘要】
本专利技术属于校园安全，尤其涉及一种基于推理增强的校园监控行为识别方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、针对校园安全监控日益复杂的需求，实时视频分析技术已成为保障校园安全的核心研究方向。这种技术要求模型仅依据当前及历史信息进行即时分析，对于快速识别和应对潜在威胁至关重要。其应用范围不仅限于常规安全监控，还在风险预警和紧急事件快速响应等方面发挥着关键作用。通过实时处理和分析视频数据，该技术能够及时发现异常行为，预测潜在风险，并在紧急情况下提供快速决策支持，从而全面提升校园安全管理的效率和精准度。这种先进的分析方法为校园安全管理提供了更智能、更主动的解决方案，有效增强了学校应对各类安全挑战的能力。
3、为了准确理解当前行为，系统需要处理和分析较长时间跨度的上下文信息，这不可避免地增加了计算复杂度。同时，为了满足实时应用的需求，系统必须能够以极低的延迟处理持续输入的视频流。这两个方面的要求使得实时行为识别技术的实现变得尤为复杂。
4、现有方法中存在基于rnn架构的模型的方法，其顺序处理特性适合流数据，但在长序列中容易出现梯度消失或梯度爆炸，难以捕捉远距离依赖。还存在基于transformer架构的模型，该模型可以通过自注意力机制能够有效捕捉长距离依赖，性能明显提升。然而，transformer却在处理视频流时的展现低效性和冗余性。首先，transformer 缺乏记忆机制，每个时间步都需要重新计算窗口内元素之间的交互。由于相邻时
技术实现思路
1、为克服上述现有技术的不足，本专利技术提出了一种基于推理增强的校园监控行为识别方法及系统。首先，通过注意力缓存机制，避免对重复元素的重复计算，将计算复杂度降至 o(n)。其次，提出了一种长度外推策略，使模型在测试时能够处理比训练时更长的序列，提升性能，减少训练长序列的成本。
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、第一方面，公开了一种基于推理增强的校园监控行为识别方法，包括：
4、获取校园监控实时的视频流；
5、将获取的视频流预处理得到时空嵌入序列；
6、采用基于推理增强的上下文感知编码器对时空嵌入序列识别动作行为；
7、其中，所述上下文感知编码器中引入注意力缓存机制和长度外推机制。
8、进一步的，所述基于推理增强的上下文感知编码器包括时空因果自注意力模块，全局平均值池化以及动作识别分类器。
9、进一步的，所述时空因果自注意力模块中，在每个时空因果自注意力层中引入注意力缓存机制和长度外推机制。
10、进一步的，所述注意力缓存机制通过引入键缓存和值缓存，保存先前计算的视频帧的键和值，当新的视频帧到来时，注意力缓存机制更新缓存的表达式为：
11、
12、
13、其中，表示键缓存；表示值缓存；表示前一帧的键缓存；表示前一帧的值缓存；表示键向量，且；表示值向量，且；表示当前帧的特征向量，和分别表示键和值的线性映射矩阵；表示串联运算。
14、进一步的，所述长度外推机制采用混合相对位置编码，在近距离间隔使用可学习的位置编码，捕捉视频序列的动态信息；在远距离间隔使用线性衰减的位置偏置，赋予模型推理阶段的外推能力。
15、进一步的，将时空嵌入序列输入至时空因果自注意力模块，得到增强后的时空序列，取增强后的时空序列中最后一帧的特征图[-1]，经过全局平均池化，送入分类器以获取当前帧的动作类别。
16、第二方面，公开了一种基于推理增强的校园监控行为识别系统，包括：
17、采集模块，其被配置为：获取校园监控实时的视频流；
18、预处理模块，其被配置为：将获取的视频流预处理得到时空嵌入序列；
19、识别模块，其被配置为：采用基于推理增强的上下文感知编码器对时空嵌入序列识别动作行为；
20、其中，所述上下文感知编码器中引入注意力缓存机制和长度外推机制。
21、第三方面，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于推理增强的校园监控行为识别方法的步骤。
22、第四方面，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于推理增强的校园监控行为识别方法的步骤。
23、与现有技术相比，本专利技术的有益效果为：
24、本专利技术提供了一种基于推理增强的校园监控行为识别方法，利用transformer的架构优势，有效处理长距离依赖，提升了预测的准确性和识别的鲁棒性，从而更高效地保障校园安全。
25、本专利技术提出了一种推理增强技术，在不增加额外训练成本的前提下，提升了模型的推理速度和精度，包括缓存注意力机制和长度外推策略。缓存注意力机制，通过保存先前计算的键（key）和值（value），避免了冗余注意力计算，将计算复杂度降至 o(n)，提高实时识别的速度；长度外推策略通过混合位置编码(hrpe)，使模型在行为识别的推理阶段能够处理比训练阶段更长的序列，从而提高监控性能并减少长序列训练的成本，提高识别的准确性。
26、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于推理增强的校园监控行为识别方法，其特征在于，包括：
2.如权利要求1所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述预处理得到时空嵌入序列，具体为：
3.如权利要求1所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述基于推理增强的上下文感知编码器包括时空因果自注意力模块，全局平均值池化以及动作识别分类器。
4.如权利要求3所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述时空因果自注意力模块中，在每个时空因果自注意力层中引入注意力缓存机制和长度外推机制。
5.如权利要求4所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述注意力缓存机制通过引入键缓存和值缓存，保存先前计算的视频帧的键和值，当新的视频帧到来时，注意力缓存机制更新缓存的表达式为：
6.如权利要求4所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述长度外推机制采用混合相对位置编码，在近距离间隔使用可学习的位置编码，捕捉视频序列的动态信息；在远距离间隔使用线性衰减的位置偏置，赋予模型推理阶段
7.如权利要求1所述的一种基于推理增强的校园监控行为识别方法，其特征在于，将时空嵌入序列输入至时空因果自注意力模块，得到增强后的时空序列，取增强后的时空序列中最后一帧的特征图, 经过全局平均池化，送入分类器以获取当前帧的动作类别。
8.一种基于推理增强的校园监控行为识别系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的基于推理增强的校园监控行为识别方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的基于推理增强的校园监控行为识别方法。
...【技术特征摘要】
1.一种基于推理增强的校园监控行为识别方法，其特征在于，包括：
2.如权利要求1所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述预处理得到时空嵌入序列，具体为：
3.如权利要求1所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述基于推理增强的上下文感知编码器包括时空因果自注意力模块，全局平均值池化以及动作识别分类器。
4.如权利要求3所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述时空因果自注意力模块中，在每个时空因果自注意力层中引入注意力缓存机制和长度外推机制。
5.如权利要求4所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述注意力缓存机制通过引入键缓存和值缓存，保存先前计算的视频帧的键和值，当新的视频帧到来时，注意力缓存机制更新缓存的表达式为：
6.如权利要求4所述的一种基于推理增强的校园监控行为识别方法，其特征在于，所述长...
【专利技术属性】
技术研发人员：高杨，曹淑强，王瑞丰，张伟，李晓磊，吴震豪，
申请(专利权)人：济南幼儿师范高等专科学校，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。