【技术实现步骤摘要】
本专利技术涉及暴力检测，具体涉及一种基于神经架构搜索的暴力检测方法及系统。
技术介绍
1、监控设备的广泛应用对于防止暴力事件的发生具有至关重要的作用。然而人工监视容易出现视觉疲劳，导致很多误判，并且高质量的安保人员紧缺。因此，对暴力自动监控以确保公共安全的需求日益增长。近年来深度神经网络(dnn)凭借其在复杂现实场景中强大的特征表示和泛化能力，在暴力检测方面取得了可喜的成功。根据输入的类型，现有的基于dnn的暴力视频检测方法可以大致分为基于单模态和基于多模态两种。
2、具体来说，单模态方法利用视觉信息来检测暴力，仅集中于打斗、爆炸等视觉元素。而多模态方法同时利用音频和视觉信息来捕捉暴力特征，其中尖叫声和枪声等音频元素也受到高度关注，音频作为另一大重要信息可以补充仅视觉信息的不足。在这些方法中，多模态方法取得了令人惊讶的优异性能，因为它可以有效地利用和聚合来自多源数据的信息，促进了多模态信息的提取并增强了检测过程的可靠性。例如，wu等人将视觉和音频特征串联并提出了整体和局部网络提取多模态特征。pang等人专注于融合架构的设计，...
【技术保护点】
1.一种基于神经架构搜索的暴力检测方法，其特征在于，所述基于神经架构搜索的暴力检测方法包括：
2.根据权利要求1所述的基于神经架构搜索的暴力检测方法，其特征在于，所述S1中，所述多模态双流网络至少包括第一模态多层神经网络和第二模态多层神经网络，所述搜索空间包括所述第一模态多层神经网络和第二模态多层神经网络的各层输出。
3.根据权利要求2所述的基于神经架构搜索的暴力检测方法，其特征在于，所述第一模态多层神经网络包括依次设置的I3D预训练子网络、第一FC-1全连接层、第一时间注意力模块、第一空间注意力模块、第一跨模态注意力模块和第一FC-2全连接层
4....
【技术特征摘要】
1.一种基于神经架构搜索的暴力检测方法，其特征在于，所述基于神经架构搜索的暴力检测方法包括：
2.根据权利要求1所述的基于神经架构搜索的暴力检测方法，其特征在于，所述s1中，所述多模态双流网络至少包括第一模态多层神经网络和第二模态多层神经网络，所述搜索空间包括所述第一模态多层神经网络和第二模态多层神经网络的各层输出。
3.根据权利要求2所述的基于神经架构搜索的暴力检测方法，其特征在于，所述第一模态多层神经网络包括依次设置的i3d预训练子网络、第一fc-1全连接层、第一时间注意力模块、第一空间注意力模块、第一跨模态注意力模块和第一fc-2全连接层；
4.根据权利要求2所述的基于神经架构搜索的暴力检测方法...
【专利技术属性】
技术研发人员：吕建成，司丹，叶庆，周宇浩，吕金地，田煜鑫，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。