基于三流网络与Transformer的行为识别方法技术

本发明专利技术公开了一种基于三流网络与Transformer的行为识别方法，涉及计算机视觉技术领域，包括：利用获取的视频获得帧间差分视图、边缘视图、深度视图；利用骨干网络对帧间差分视图、边缘视图、深度视图进行特征提取，分别获得帧间差分视图特征、边缘视图特征以及深度视图特征；将帧间差分视图和边缘视图的融合特征以及边缘视图和深度视图的融合特征分别输入到交叉Transformer中进行训练，之后再由FC层进行分类；多模态融合机制，丰富数据信息，同时减少了很多不需要学习的背景信息，加快了学习的速度；另外三流网络与Transformer融合，在降低计算的复杂度，对长序列的处理也更加高效。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，具体是一种基于三流网络与transformer的行为识别方法。

技术介绍

1、人体行为识别(human action recognition,har)是一种通过摄像机、监控等硬件设备采集包含人的原始数据，并处理和分析这些数据，识别这段包含人视频中的人体行为的技术。其研究内容包含机器学习、模式识别、计算机图形学、图像处理、计算机视觉、人工智能等众多学术领域。并广泛应用于老年人跌倒检测、智慧汽车、智慧家庭、智慧社区、智能安防和人机交互等领域，具有极大的研究前景和可观的经济效益。在空巢老人跌倒检测、智能家居等领域，关于人体行为识别的研究具有重要的社会价值和研究意义。

2、针对可见光视频的发展，全球范围内已经展开了广泛和深入的研究，表现在hmdb-51数据集、ucf-101数据集、kinetics-400\600\700数据集等其他数据集的建立和研究探索，但是可见光视频监控对环境要求较高，只能在视物清晰、光线充足的情况下起到作用，遇到恶劣天气时，就无法实时地对目标区域内进行监控。基于可见光的智能视频监控在容易发生犯罪活动的夜间本文档来自技高网...

【技术保护点】

1.基于三流网络与Transformer的行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于三流网络与Transformer的行为识别方法，其特征在于，所述利用Res3D-18与CBAM模块融合的骨干网络，包括Res3D-18网络的5个卷积层、一个最大池化层与一个平均池化层以及CBAM模块。

3.根据权利要求2所述基于三流网络与Transformer的行为识别方法，其特征在于，步骤(3)中利用Res3D-18与CBAM模块融合的骨干网络提取特征的具体过程如下：

4.根据权利要求1所述基于三流网络与Transformer的行为识别方法，...

【技术特征摘要】

1.基于三流网络与transformer的行为识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于三流网络与transformer的行为识别方法，其特征在于，所述利用res3d-18与cbam模块融合的骨干网络，包括res3d-18网络的5个卷积层、一个最大池化层与一个平均池化层以及cbam模块。

3.根据权利要求2所述基于三流网络与transformer的行为识别方法，其特征在于，步骤(3)中利用res3d-18与cbam模块融合...

【专利技术属性】
技术研发人员：唐超，乔硕，汪超，任放，童安炀，席治远，程俊豪，
申请(专利权)人：合肥大学，
类型：发明
国别省市：