一种嵌入式系统下的基于视觉注意力的行为识别方法技术方案

本发明专利技术公开了一种嵌入式系统下的基于视觉注意力的行为识别方法，将视频文件处理成图像帧，按照基于视觉注意力的显著性图生成策略为每一帧图像生成显著性图，并叠加于原始图像帧上。训练含五个三维卷积层加五个三维池化层、两个全连接层和一个归一化指数函数输出层的卷积神经网络，对视频中的多个图像帧提取特征，从而完成视频中的行为识别，本发明专利技术识别效果好，搭载于TX2(芯片名称)嵌入式开发板上，可以直接读取视频文件进行预测，也可以连接摄像头采入数据进行实时监测。头采入数据进行实时监测。头采入数据进行实时监测。

【技术实现步骤摘要】
一种嵌入式系统下的基于视觉注意力的行为识别方法


[0001]本专利技术涉及一种基于视觉注意力的行为识别方法，属于多媒体信号处理领域。

技术介绍

[0002]随着近年来网络多媒体信息体量的爆发式增长以及监视监控的普及，网络中每时每刻地都在传输着不可计数的视频数据，据知名视频门户网站Youtube给出的数据，每分钟上传到Youtube服务器的视频能达到100个小时。如此之大的数据量如果交由人力资源完成成本太过高昂，因此有必要尝试让机器代替人来执行这一过程，包括给视频分类、打分、将视频推送给合适的用户、视频中异常情况监测等。要实现这一点，必须教会机器如何分析视频、理解视频中的内容。
[0003]而在对视频分析的研究内容之中，行为识别是当下最火的研究方向之一。行为识别，顾名思义便是分析视频中的活动物体(主要对象为人)所进行的动作或活动的含义，英文名Action Recognition或Activity Recognition(两者有微妙的差别，前者注重分立的一个动作片段所代表的含义，而后者则更偏向于一整套连续动作所代表的的行为意义)。对于门户网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种嵌入式系统下的基于视觉注意力的行为识别方法，其特征在于，包括如下步骤：步骤1，获取训练样本视频文件，将训练样本视频文件转换为图像帧；步骤2，对于步骤1得到的图像帧，按照基于视觉注意力的显著性图生成方法为每一帧图像生成显著性图，并叠加于原始图像帧上，得到视觉注意力叠加图；步骤2.1：读取图像帧，记10为源图像，经高斯滤波，1/2采样到I1，I1的1/2采样到I2，I2的1/2采样到I3，一直1/2采样直到I8，I1为原始图像的1/2采样，I2为原始图像的1/4采样，I3为原始图像的1/8采样，I8为原始图像的1/256采样；将输入图像表示成9层的高斯金字塔，其中第0层是输入图像，1到8层分别是用5
×
5的高斯滤波器对输入图像进行滤波和采样形成的，大小分别为输入图像的1/2到1/256；步骤2.2：提取特征：包括红色R、绿色G、蓝色B、黄色Y四种颜色信息，0
°
、45
°
、90
°
、135
°
四个方向信息，亮度I共九种信息；从原始图像中直接提取到红绿蓝三个通道的对应的值记为r、g、b，亮度和颜色特征由如下公式得到：I＝(r+g+b)/3R＝r
‑
(g+b)/2G＝g
‑
(r+b)/2B＝b
‑
(r+g)/2Y＝(r+g)/2
‑
|r
‑
g|/2+b用Gabor函数滤波构建Gabor方向金字塔O(σ，θ)，其中σ∈{0..8}，θ∈{0
°
，45
°
，90
°
，135
°
}；步骤2.3：对不同尺度间特征取差形成特征图，模拟人类视觉系统中感受野的中心
‑
外周拮抗的结构，对各种特征分别在特征金字塔的不同尺度间作差；感受野中心对应于尺度c的特征图像素点(c∈{2，3，4})，感受野周边区域对应于尺度s的特征图像素点(s＝c+δ，δ∈{3，4})；不同尺度特征图的分辨率不同，需要通过插值使两幅图像大小相同后，通过两幅图像之间点对点作差，这个过程用表示；中心和外周的局部方向特征的对比由如下公式得到：到：到：到：其中，δ表示感受野，I(c，s)表示尺度c和尺度s的综合亮度特征，I(c)表示尺度c的亮度特征，I(s)表示尺度s的亮度特征，RG(c，s)表示尺度c和尺度s的红绿颜色特征，R(c)表示尺度c的红色特征，G(c)表示尺度c的绿色特征，G(s)表示尺度s的绿色特征，R(s)表示尺度s的红色特征，BY(c，s)表示尺度c和尺度s的蓝黄颜色特征，B(c)表示尺度c的蓝色特征，Y(c)表示尺度c的黄色特征，Y(s)表示尺度s的黄色特征，B(s)表示尺度s的蓝色特征，O(c，s，θ)表示尺度c和尺度s的综合Gabor方向特征，O(c，θ)表示尺度c的Gabor方向特征，O(s，θ)表示尺度s的Gabor方向特征；步骤2.4：对于步骤2.3生成的不同尺度和不...

【专利技术属性】
技术研发人员：徐琴珍，侯坤林，杨镇安，毛喻，杨绿溪，
申请(专利权)人：东南大学，
类型：发明
国别省市：