针对夜间红外视频的轻量型行为检测算法制造技术

本发明专利技术公开针对夜间红外视频的轻量型行为检测算法，涉及视频处理技术领域，拟解决现有夜间视频行为检测算法不够轻量化无法实现终端应用的问题；本发明专利技术包括

【技术实现步骤摘要】
针对夜间红外视频的轻量型行为检测算法


[0001]本专利技术涉及视频处理
，具体涉及针对夜间红外视频的轻量型行为检测算法
。

技术介绍

[0002]目前夜间行为检测技术的理论研究大多数是基于热红外视频数据；然而热红外视频数据应用于专业领域，而极少被用于公共场所方面；正是由于主动式红外监控摄像设备被广泛使用于公共场所，主动式红外视频数据比热红外视频数据更容易获得；因此研究基于主动式红外监控视频的行为检测技术存在巨大应用前景；传统时序行为检测研究主要集中在基于手工设计特征的模型，近年来，随着大规模数据集的发布和计算机运算能力的增强，特别是
GPU
的广泛使用，深度学习技术在计算机视觉领域的各个任务中取得了巨大的成果；这对视频图像处理技术得到了极大的提高，使得在未经删减的行为检测视频中，可以更加容易定位到感兴趣行为的时序或时空位置信息，并预测每个行为实例的类别
。
[0003]但是目前夜间条件下的红外监控视频实际成像质量差
、
干扰多，无法基于可见光分析方法对其应用分析；当前缺乏夜间公共近红外监控视频公开数据集；在夜间复杂多人情况下，由于红外监控设备所录制的视频时间长，人体行为只占视频一小部分，导致传统的行为识别算法在此情况下并不适用；当前的深度学习计算模式对数据
、
计算性能要求高，无法实现终端应用
。

技术实现思路

[0004]为了解决上述现有技术中存在的问题，本专利技术拟提供了针对夜间红外视频的轻量型行为检测算法，拟解决现有夜间视频行为检测算法不够轻量化无法实现终端应用的问题
。
[0005]针对夜间红外视频的轻量型行为检测算法，包括以下步骤：
[0006]S1
：对采集到的夜间红外视频进行预处理再利用滑窗得到滑窗视频
V
；
[0007]S2
：利用训练好的行为检测模型对滑窗视频
V
进行行为检测得到行为预测结果，所述行为检测模型包括特征提取网络
、
全连接层
、
时序平均池化层以分类层；
[0008]S3
：对所有滑窗视频的行为预测结果按时间维度进行汇总后得到视频的检测结果
。
[0009]优选的，所述
S2
包括以下步骤：
[0010]S21
：将滑窗视频
V
分成
K
个视频片段，每个片段包括
n
帧图像；
[0011]S22
：依次从每个视频片段中选取一帧图像利用特征提取网络和全连接层获取对应时间步的预测结果向量；
[0012]S23
：将
K
个时间步的预测结果向量输入时序平均池化层计算平均值再压缩为固定长度向量输入到分类器或回归器中得到滑窗视频
V
的行为预测结果，公式如下：
[0013]N(T1，
T2，
...
，
T
k
)
＝
H(g(F(T1；
W)
，
F(T2；
W)
，
...
，
F(T
k
；
W)))
[0014][0015]其中
N(T1，
T2，
...
，
T
k
)
表示单个滑动窗口得到结果过程，
L(y
，
G)
表示特征提取网络的损失函数，其中
C
代表类别个数，
y
表示的是标签，
W
表示是特征提取网络的权重，
F
代表特征提取网络，
F(T
k
；
W)
表示分类网络的输出，即
Segment Consensus
的输入；
g
是一个融合函数，也称为共识函数，用于对每一段特征进行汇总，得到一个视频级别的判别，在这里使用平均操作作为融合策略；
H
函数代表
Softmax
函数，它根据融合后的特征计算每个类别的得分；
Softmax
函数将输入的值转化为概率分布，表示每个类别的预测概率，
G
表示一个滑动窗口的预测得分即预测结果置信度，具体的：
[0016]G
＝
max N
：
[0017]其中，
N
是滑动窗口计算结果，由与类别个数
C
对应的矩阵表示
。
[0018]优选的，所述行为检测模型训练过程中先采用样本量较大的大数据集对模型进行训练再利用迁移学习的思想结合自制数据集对模型进行二次训练；所述自制数据集的特点是数据模态为主动式红外
。
[0019]优选的，所述行为检测模型训练效果采用以下方式验证：
[0020]首先将自制数据集中标注好的视频定义为其中
X
v
表示一个未裁剪的视频片段，
T
v
表示这个视频片段的总帧数，
x
t
表示视频中的第
t
帧；
[0021][0022]式中，
Φ
v
表示一个未裁剪视频片段
X
v
中包含的所有标注动作片段，
N
v
表示视频中动作片段个数，表示
X
v
中被标注的一个动作片段，
k
n
分别表示这个被标注的动作片段的开始时间
、
结束时间，以及动作类别；
[0023]然后，计算每个滑窗视频
V
的预测结果与所有标注的
IoU
数值，如果最高的
IoU
数值大于
0.5
，则将该预测结果定义为正样本，阈值
IoU
最高的那个标注视频段就是这个正样本的标签：
[0024]最后，由于一个标注视频段可以和多个检测出的行为段的预测结果匹配，一个检测出的行为段的预测结果只能和一个标注视频段匹配，因此检测出的行为段的预测结果与标注视频段的匹配结果表示如下：
[0025][0026]其中，
p
class
，
p
′
over
分别表示某个行为的预测结果的中心坐标偏移
、
宽度大小偏移
、
预测类别概率
、
预测重合置信度，
k
g
，
g
iou
，
g
c
，
g
w
表示与该行为匹配的标注的视频段行为类别，与检测出的行为段的预测结果的
IoU
重合度，以及标注视频段的中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
针对夜间红外视频的轻量型行为检测算法，其特征在于，包括以下步骤：
S1
：对采集到的夜间红外视频进行预处理再利用滑窗得到滑窗视频
V
；
S2
：利用训练好的行为检测模型对滑窗视频
V
进行行为检测得到行为预测结果，所述行为检测模型包括特征提取网络
、
全连接层
、
时序平均池化层以分类层；
S3
：对所有滑窗视频的行为预测结果按时间维度进行汇总后得到视频的检测结果
。2.
根据权利要求1所述的针对夜间红外视频的轻量型行为检测算法，其特征在于，所述
S2
包括以下步骤：
S21
：将滑窗视频
V
分成
K
个视频片段，每个片段包括
n
帧图像；
S22
：依次从每个视频片段中选取一帧图像利用特征提取网络和全连接层获取对应时间步的预测结果向量；
S23
：将
K
个时间步的预测结果向量输入时序平均池化层计算平均值再压缩为固定长度向量输入到分类器或回归器中得到滑窗视频
V
的行为预测结果，公式如下：
N(T1,T2,
…
,T
k
)
＝
H(g(F(T1；
W),F(T2；
W),
…
,F(T
k
；
W)))
其中
N(T1,T2,
…
,T
k
)
表表示单个滑动窗口得到结果过程，
L(y,G)
表表示特征提取网络的损失函数，其中
C
代表类别个数，
y
表示的是标签，
W
表示是特征提取网络的权重，
F
代表特征提取网络，
F(T
k
；
W)
表示分类网络的输出，即
Segment
表
Consensus
表的输入；
g
是一个融合函数，也称为共识函数，用于对每一段特征进行汇总，得到一个视频级别的判别，在这里使用平均操作作为融合策略；
H
函数代表
Softmax
函数，它根据融合后的特征计算每个类别的得分；
Softmax
函数将输入的值转化为概率分布，表示每个类别的预测概率，
G
表示一个滑动窗口的预测得分即预测结果置信度，具体的：
G
＝
max N
；其中，
N
是滑动窗口计算结果，由与类别个数
C
对应的矩阵表示
。3.
根据权利要求1所述的针对夜间红外视频的轻量型行为检测算法，其特征在于，所述行为检测模型训练过程中先采用样本量较大的现有数据集对模型进行训练再利用迁移学习的思想结合自制数据集对模型进行二次训练；所述自制数据集的特点是数据模态为主动式红外
。4.
根据权利要求3所述的针对夜间红外视频的轻量型行为检测算法，其特征在于，所述行为检测模型训练效果采用以下方式验证：首先将自制数据集中标注好的视频定义为其中
X
v
表示一个未裁剪的视频片段，
T
v
表示这个视频片段的总帧数，
x
t
表示视频中的第
t
帧；式中，
Φ
v
表示一个未裁剪视频片段
X
v
中包含的所有标注动作片段，
N
v
表示视频中动作片段个数，表示
X
v
中被标注的一个动作片段，
k
n
分别表示这个被标注的动作片段的开始时间
、
结束时间，以及动作类别；然后，计算每个滑窗视频
V
的预测结果与所有标注的
IoU
数值，如果最高的
IoU
数值大于
0.5
，则将该预测结果定义为正样本，阈值
IoU
最高的那个标注视频段就是这个正样本的标签；最后，由于一个标注视频段可以和多个检测出的行为段的预测结果匹配，一个检测出的行为段的预测结果只能和一个标注视频段匹配，因此检测出的行为段的预测结果与标注视频段的匹配结果表示如下：其中，
p
class
表
,p
′
over
分别表示某个行为的预测结果的中心坐标偏移
、
宽度大小偏移
、
预测类别概率
、
预测重合置信度，
k
g
,g
iou
,g
c
,g
w
表示与该行为匹配的标注的视频段行为类别，与检测出的行为段的预测结果的
IoU
重合度，以及标注视频段的中心位置坐标和宽度大小
。5.
根据权利要求1所述的针对夜间红外视频的轻量型行为检测算法，其特征在于，所述特征提取网络包括
MobileNet V2
特征主干网络，所述
MobileNet V2
特征主干网络的残差块为
InViNet
残差...

【专利技术属性】
技术研发人员：刘铭睿，王小刚，周佳义，宋瑞，陈柯宇，魏阳，练泽伟，杜鑫，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：