一种基于改进卷积神经网络的异常行为识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于改进卷积神经网络的异常行为识别方法及装置，采集常见的异常行为图像，对异常行为数据进人工标注以及预处理，并划分成训练集、验证集以及测试集，将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排ChannelShuffle；在特征融合颈部网络中引入多头注意力机制Multi

【技术实现步骤摘要】
一种基于改进卷积神经网络的异常行为识别方法及装置


[0001]本专利技术属于计算机视觉图像识别
，具体涉及一种基于改进卷积神经网络的异常行为识别方法及装置。

技术介绍

[0002]由于缺乏交通教育，不良的社会环境和个人行为习惯等原因，现在社会上存在着部分人没有充分意识到异常行为的违法性和危害性，在此背景下，道路场景下的异常行为识别技术显得尤为重要。
[0003]近些年以来，随着深度学习的发展，计算机视觉技术也随之快速发展。如今计算机视觉已经成为人工智能领域中最为重要的研究课题和发展方向，本专利技术是基于改进卷积神经网络的异常行为识别方法，可以有效提升道路安全，减少交通事故的发生，相较于传统的视频监测的低效率，高成本等缺点，通过深度学习技术准确地识别和监测异常行为，以及时采取预防措施，避免事故的发生。无需人工设计特征，准确率高，运算量小，可以实现高效率，低成本的异常行为识别。

技术实现思路

[0004]专利技术目的：为了克服目前异常行为识别技术的低效率，高成本问题，本专利技术提出了一中基于改进卷积神经网络的异常行为识别方法及装置。
[0005]技术方案：本专利技术提出一种基于改进卷积神经网络的异常行为识别方法，具体包括以下步骤：
[0006](1)采集并保存常见的异常行为图像；
[0007](2)将采集的异常行为图像数据进人工标注和数据增强，并按一定比例划分为训练集、验证集和测试集；
[0008](3)构建基于改进卷积神经网络的异常行为识别网络；将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle；在特征融合颈部网络中引入多头注意力机制Multi
‑
HeadAttention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构；
[0009](4)将训练集通过基于改进卷积神经网络的异常行为识别网络进行训练，并经过验证集进行验证，得到基于改进卷积神经网络的最优权重异常行为识别模型；
[0010](5)将测试集输入到最优权重异常行为识别模型中进行异常行为识别。
[0011]进一步地，所述步骤(1)所述的异常行为包括了翻栏杆、走路玩手机、乱穿马路行为。
[0012]进一步地，所述步骤(2)实现过程如下：
[0013]将收集到的图片数据进行数据清洗，包括了去除损坏图片、去除模糊图片、去除相似图片；
[0014]将清洗后的数据进行数据增强处理，包括对图像的对比度、亮度、颜色平衡等进行调整，旋转，镜像处理，裁剪统一大小，随机添加噪声点提升模型的泛化能力。
[0015]进一步地，步骤(2)所述训练集、验证集和测试集的比例为照6:2:2。
[0016]进一步地，步骤(3)所述的将Inception模块中4条分支上的传统卷积替换成分组卷积GConv具体方法如下：
[0017]原始Inception模块采用5条分支构建特征提取结构，GC_Inception模块保留一个分支，采用一个3
×
3的最大池化，用来提取整张图像最显著的特征，提高了网络的鲁棒性，其他4个分支用作3
×
3和5
×
5的分组卷积提取特征，将Inception模块中在同一层中的3
×
3和5
×
5的卷积核进行分组卷积，第一条分支采用3
×
3的分组卷积，Group
(1)
＝24；第二条分支采用5
×
5的分组卷积，Group
(2)
＝48；第三条分支采用3
×
3的分组卷积，Group
(3)
＝12；第四条分支采用5
×
5的分组卷积，Group
(4)
＝8。
[0018]进一步地，步骤(3)所述的在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle通过以下公式实现：
[0019]B
分组卷积
＝k
×
k
×
(C1/g)
×
(C2/g)
×
g
[0020]其中，k表示卷积核的大小，C1表示输入特征矩阵的通道数，C2表示输出特征矩阵的通道数，g表示分组卷积的分组数。
[0021]进一步地，步骤(3)所述的在特征融合颈部网络中引入多头注意力机制Multi
‑
HeadAttention具体方法如下：
[0022]经过GC_Inception操作后，将输出特征矩阵输入到多头注意力机制中，先计算出各个头的查询q，键k和值v；接着将每个头的查询q，键k和值v平分为5组，分别是q
(1,1)
,q
(1,2)
,q
(1,3)
,q
(1,4)
,q
(1,5)
；k
(1,1)
,k
(1,2)
,k
(1,3)
,k
(1,4)
,k
(1,5)
；v
(1,1)
,v
(1,2)
,v
(1,3)
,v
(1,4)
,v
(1,5)
；这是一个head上的平分操作，构建的多头注意力机制一共有5个head，以此类推；然后将每个head上平分后的q，k，v以第二个数字相同的为一组，构建5个新的head；接着对于每一个head执行自注意力操作；再将5个head按第一个数字相同进行拼接操作，最后得到的结果与W
o
进行相乘得到最后的输出。
[0023]进一步地，步骤(4)所述基于改进卷积神经网络的异常行为识别网络的损失函数为：
[0024][0025]其中，L
(bce)
＝
‑
y
i
×
logp
x
，，表示的是一个权重参数，用于平衡损失函数中的损失。
[0026]基于相同的专利技术构思，本专利技术还提出一种装置设备，包括存储器和处理器，其中：
[0027]存储器，用于存储能够在处理器上运行的计算机程序；
[0028]处理器，用于在运行所述计算机程序时，执行如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
[0029]基于相同的专利技术构思，本专利技术还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上所述基于改进卷积神经网络的异常行为识别方法的步骤。
[0030]有益效果：与现有技术相比，本专利技术的有益效果：
[0031]本专利技术提出了在Inception结构中加入分组卷积，大幅减少网络模型的计算量，并加上了通道重排模块，解决了分组卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进卷积神经网络的异常行为识别方法，其特征在于，包括如下步骤：(1)采集并保存常见的异常行为图像；(2)将采集的异常行为图像数据进人工标注和数据增强，并按一定比例划分为训练集、验证集和测试集；(3)构建基于改进卷积神经网络的异常行为识别网络；将Inception模块中4条分支上的传统卷积替换成分组卷积GConv；在特征提取的骨干网络中的每条分支上的分组卷积操作之后引入通道重排Channel Shuffle；在特征融合颈部网络中引入多头注意力机制Multi
‑
Head Attention；在特征融合尾部网络中引入残差Residual结构和多尺度金字塔FPN结构；(4)将训练集通过基于改进卷积神经网络的异常行为识别网络进行训练，并经过验证集进行验证，得到基于改进卷积神经网络的最优权重异常行为识别模型；(5)将测试集输入到最优权重异常行为识别模型中进行异常行为识别。2.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，所述步骤(1)所述的异常行为包括了翻栏杆、走路玩手机、乱穿马路行为。3.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，所述步骤(2)实现过程如下：将收集到的图片数据进行数据清洗，包括了去除损坏图片、去除模糊图片、去除相似图片；将清洗后的数据进行数据增强处理，包括对图像的对比度、亮度、颜色平衡等进行调整，旋转，镜像处理，裁剪统一大小，随机添加噪声点提升模型的泛化能力。4.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(2)所述训练集、验证集和测试集的比例为照6:2:2。5.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(3)所述的将Inception模块中4条分支上的传统卷积替换成分组卷积GConv具体方法如下：原始Inception模块采用5条分支构建特征提取结构，GC_Inception模块保留一个分支，采用一个3
×
3的最大池化，用来提取整张图像最显著的特征，提高了网络的鲁棒性，其他4个分支用作3
×
3和5
×
5的分组卷积提取特征，将Inception模块中在同一层中的3
×
3和5
×
5的卷积核进行分组卷积，第一条分支采用3
×
3的分组卷积，Group
(1)
＝24；第二条分支采用5
×
5的分组卷积，Group
(2)
＝48；第三条分支采用3
×
3的分组卷积，Group
(3)
＝12；第四条分支采用5
×
5的分组卷积，Group
(4)
＝8。6.根据权利要求1所述的基于改进卷积神经网络的异常行为识别方法，其特征在于，步骤(3)所述的在特...

【专利技术属性】
技术研发人员：杨健，邱军林，邵鹤帅，高丽，蒋晓玲，雷恒聃，李明辉，秦雨新，沈泳杉，张浩东，孙可可，李敏，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：