人员行为检测与身份识别方法技术

本发明专利技术公开了一种人员行为检测与身份识别方法

【技术实现步骤摘要】
人员行为检测与身份识别方法、设备及存储介质


[0001]本专利技术属于智能识别
，尤其涉及一种人员行为检测与身份识别方法
、
设备及存储介质
。

技术介绍

[0002]身份信息识别和行为姿态检测是计算机视觉领域的重要应用，其能够确定目标的身份并分析出目标是否有异常或危险行为，在安防
、
交通
、
生产
、
医疗等众多领域有广泛应用
。
但，基于传统可见光的人员行为检测与身份识别算法已逐渐无法满足日益复杂的应用环境，而且易受到复杂环境和恶劣天气的影响，不能在夜间黑暗的环境中继续工作
。
目前，业内基于红外热成像的人员行为检测和身份识别研究甚少，所以夜间黑暗环境条件下实现智能的人员行为检测和身份识别仍存在巨大挑战
。
因此，在面对黑暗环境检测困难的问题上，研究基于红外热成像的人员行为检测与身份识别技术具有重要的研究意义与应用价值
。
[0003]目前，黑暗环境下人员行为检测与身份识别主要面对两大难题：
[0004]第一：传统的可见光行为检测算法难以在黑暗环境中发挥作用，易受到复杂环境和恶劣天气的影响；并且人员行为多种多样且具有短时性和不规律性，因此行为检测识别对算法的实时性和可靠性具有很高的要求
。
[0005]第二：传统的可见光人脸识别算法无法实现黑暗环境的人员身份准确识别
。

技术实现思路

[0006]本专利技术的目的在于提供一种人员行为检测与身份识别方法
、
设备及存储介质，以解决传统算法无法在黑暗环境
、
复杂环境下准确的实现人员行为和身份的识别问题
。
[0007]本专利技术是通过如下的技术方案来解决上述技术问题的：一种人员行为检测与身份识别方法，所述方法包括以下步骤：
[0008]根据人员行为热图像构建行为数据集，根据相对应的人脸红外图像和人脸可见光图像构建双光人脸数据集；
[0009]将
YOLOv5
网络模型的骨干网络改为
PP
‑
LCNet
网络，得到改进后的
YOLOv5
网络模型；其中，所述
PP
‑
LCNet
网络包括依次连接的
CBS
模块
、
第一深度可分离卷积模块
、
第二深度可分离卷积模块
、
第三深度可分离卷积模块
、
第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块；
[0010]利用所述行为数据集对改进后的
YOLOv5
网络模型进行训练，得到人员行为检测模型；
[0011]在
InsightFace
优化模型的输入层之前增加
CycleGAN
，得到改进后的
InsightFace
优化模型，利用所述双光人脸数据集对改进后的
InsightFace
优化模型进行训练，得到人脸识别模型；
[0012]实时采集人员整体图像，利用所述人员行为检测模型对所述人员整体图像进行检
测，得到行为检测结果；利用所述人脸识别模型对所述人员整体图像进行识别，得到人脸识别结果；
[0013]对所述行为检测结果和人脸识别结果进行融合处理，得到最终的识别结果
。
[0014]进一步地，所述行为数据集的具体构建过程包括：
[0015]采用热像仪采集不同人员在不同行为时的行为热图像；
[0016]采用标注工具对所述行为热图像进行标注，由标注后的行为热图像构成行为数据集；
[0017]所述双光人脸数据集的具体构建过程包括：
[0018]以不同角度采集不同人员在不同面部表情时的人脸红外图像和人脸可见光图像，所述人脸红外图像和人脸可见光图像一一对应；
[0019]采用标注工具对所述人脸红外图像和人脸可见光图像进行标注，由标注后的人脸红外图像和人脸可见光图像构成双光人脸数据集
。
[0020]进一步地，所述
CBS
模块由卷积层
、BN
层和激活函数构成；
[0021]所述第一深度可分离卷积模块
、
第二深度可分离卷积模块和第三深度可分离卷积模块均由2个深度可分离卷积层堆叠构成；所述第四深度可分离卷积模块由5个深度可分离卷积层堆叠构成；
[0022]所述引入注意力机制的深度可分离卷积模块由2个引入注意力机制的深度可分离卷积层堆叠构成
。
[0023]进一步地，所述引入注意力机制的深度可分离卷积层包括深度卷积
DW、
逐点卷积
PW
以及设于所述深度卷积
DW
和逐点卷积
PW
之间的注意力机制模块，所述注意力机制模块由全局平均池化层
、
两个全连接层以及全连接层对应的激活函数构成
。
[0024]进一步地，将所述第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中卷积核大小为5×5的深度卷积
DW
替换为三个并行的分支，每个分支由深度卷积
DW
和
BN
层构成，每个分支的深度卷积
DW
的卷积核大小分别为5×
5、3
×
3、1
×
1。
[0025]进一步地，将所述第一深度可分离卷积模块
、
第二深度可分离卷积模块
、
第三深度可分离卷积模块
、
第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中深度可分离卷积层的
ReLU
激活函数替换为
H
‑
Swish
激活函数
。
[0026]进一步地，对改进后的
YOLOv5
网络模型进行训练的过程中，损失函数的具体表达式为：
[0027][0028]其中，
L
EIOU
为改进后的
YOLOv5
网络模型的损失值，
IoU
为预测框与真实框的交变比，
ρ
()
为欧式距离计算函数，
b
为预测框的中心点，
b
gt
为真实框的中心点，
w
为预测框的宽度，
w
gt
为真实框的宽度，
h
为预测框的高度，
h
gt
为真实框的高度，
c
为覆盖预测框和真实框的最小闭合框的对角线长度，
c
w
为覆盖预测框和真实框的最小闭合框的宽度，
c
h
为覆盖预测框和真实框的最小闭合框的高度
。...

【技术保护点】

【技术特征摘要】
1.
一种人员行为检测与身份识别方法，其特征在于，所述方法包括以下步骤：根据人员行为热图像构建行为数据集，根据相对应的人脸红外图像和人脸可见光图像构建双光人脸数据集；将
YOLOv5
网络模型的骨干网络改为
PP
‑
LCNet
网络，得到改进后的
YOLOv5
网络模型；其中，所述
PP
‑
LCNet
网络包括依次连接的
CBS
模块
、
第一深度可分离卷积模块
、
第二深度可分离卷积模块
、
第三深度可分离卷积模块
、
第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块；利用所述行为数据集对改进后的
YOLOv5
网络模型进行训练，得到人员行为检测模型；在
InsightFace
优化模型的输入层之前增加
CycleGAN
，得到改进后的
InsightFace
优化模型，利用所述双光人脸数据集对改进后的
InsightFace
优化模型进行训练，得到人脸识别模型；实时采集人员整体图像，利用所述人员行为检测模型对所述人员整体图像进行检测，得到行为检测结果；利用所述人脸识别模型对所述人员整体图像进行识别，得到人脸识别结果；对所述行为检测结果和人脸识别结果进行融合处理，得到最终的识别结果
。2.
根据权利要求1所述的人员行为检测与身份识别方法，其特征在于，所述行为数据集的具体构建过程包括：采用热像仪采集不同人员在不同行为时的行为热图像；采用标注工具对所述行为热图像进行标注，由标注后的行为热图像构成行为数据集；所述双光人脸数据集的具体构建过程包括：以不同角度采集不同人员在不同面部表情时的人脸红外图像和人脸可见光图像，所述人脸红外图像和人脸可见光图像一一对应；采用标注工具对所述人脸红外图像和人脸可见光图像进行标注，由标注后的人脸红外图像和人脸可见光图像构成双光人脸数据集
。3.
根据权利要求1所述的人员行为检测与身份识别方法，其特征在于，所述
CBS
模块由卷积层
、BN
层和激活函数构成；所述第一深度可分离卷积模块
、
第二深度可分离卷积模块和第三深度可分离卷积模块均由2个深度可分离卷积层堆叠构成；所述第四深度可分离卷积模块由5个深度可分离卷积层堆叠构成；所述引入注意力机制的深度可分离卷积模块由2个引入注意力机制的深度可分离卷积层堆叠构成
。4.
根据权利要求3所述的人员行为检测与身份识别方法，其特征在于，所述引入注意力机制的深度可分离卷积层包括深度卷积
DW、
逐点卷积
PW
以及设于所述深度卷积
DW
和逐点卷积
PW
之间的注意力机制模块，所述注意力机制模块由全局平均池化层
、
两个全连接层以及全连接层对应的激活函数构成
。5.
根据权利要求1所述的人员行为检测与身份识别方法，其特征在于，将所述第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中卷积核大小为5×5的深度卷积
DW
替换为三个并行的分支，每个分支由深度卷积
DW
和
BN
层构成，每个分支的深度卷积
DW
的卷积核大小分别为5×
5、3
×
3、1
×
1。
6.
根据权利要求1所述的人员行为检测与身份识别方法，其特征在于，将所述第一深度可分离卷积模块
、
第二深度可分离卷积模块
、
第三深度可分离卷积模块
、
第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中深度可分离卷积层的
ReLU
激活函数替换为
H
‑
Swish
激活函数
。7.
根据权利要求1～6中任一项所述的人员行为检测与身份识别方法，其特征在于，对改进后的
YOLOv5
网络模型进行训练的过程中，损失函数的具体表达式为：其中，
L
EIOU

【专利技术属性】
技术研发人员：何赟泽，邓海平，王洪金，杜闯，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：