一种基于色彩抖动和图像混合的监控视频人脸识别方法技术

一种基于色彩抖动和图像混合的监控视频人脸识别方法，包括以下步骤：1)人脸数据集准备；2)分阶段进行训练；3)采用经过色彩抖动的增强图像进行训练；4)采用经过图像混合的增强图像进行训练；5)判定训练得到的最终人脸识别模型性能是否满足使用要求。本发明专利技术使用色彩抖动的方式对图像进行增强，有效降低由于人脸图像色彩变化而造成的识别结果不准或识别失败问题；使用图像混合的方式对图像进行增强，有效降低由于人脸图像模糊而造成的识别结果不准或识别失败的问题；分阶段交替使用经过色彩抖动和图像混合后的图像进行训练，有效帮助网络收敛；利用概率密度函数的重叠区域面积与正确率相结合，判定人脸识别模型是否可以实用，可靠性更高。

A face recognition method based on color dithering and image mixing in surveillance video

【技术实现步骤摘要】
一种基于色彩抖动和图像混合的监控视频人脸识别方法
本专利技术涉及图像处理

技术介绍
研究人员通过大量的人脸图像及其对应的从属标签，利用深度学习方法，训练网络，提取可以用来区分不同人的人脸特征，得到模型。当输入一张没有从属标签的人脸图像时，利用已经训练好的模型就能够准确识别出此图像的从属标签。目前大部分人脸识别的研究，直接采用公开数据集进行模型训练与评价，当训练模型在公开数据集的测试集上的准确率达到99％以上时，认为训练可以结束，得到了一个较为良好的模型。公开数据集受获取途径和制作方式的限制，图像条件(如色彩，光照，角度，清晰度等方面)都较为不理想，与实际监控视频应用场景存在较大差距。监控视频中的人脸区域往往存在较大的噪声干扰和运动模糊，同时光照变化大，分辨率低。以上条件导致直接由公开数据集训练得到的模型在实际使用过程中往往表现不佳。同时只从正确率这一单一数字无法客观反映出训练得到的模型的表现力。
技术实现思路
上述人脸识别方法存在的不足，本专利技术提供了一种基于色彩抖动和图像混合的监控视频人脸识别方法。本专利技术为实现上述目的所采用的技术方案是：一种基于色彩抖动和图像混合的监控视频人脸识别方法，包括以下步骤：1)人脸数据集准备：a)使用公开人脸数据集合并在一起作为训练数据集；b)使用未参与训练数据集构建的监控视频人脸数据集作为测试数据集，包括类内图像对和类间图像对；2)分阶段进行训练，具体方法如下：a)选择网络；b)选择损失函数；c)开始训练，记录训练轮数epoch，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值。d)当训练模型正常收敛，loss值持续下降，正确率达到一定值后进入步骤3)；3)采用经过色彩抖动的增强图像进行训练，具体训练方法如下：a)每一轮训练生成一个随机数α,(α∈(0,1))，则图像色彩抖动系数为：αlight＝1+α,αdark＝1-α；b)当训练轮数epoch为奇数时对训练数据集的所有图像的通道分别乘以αlight，则经过色彩抖动后的图像Inew＝max(Iold*αlight,255)；当epoch为偶数时对训练数据集的所有图像通道分别乘以αdark，则经过色彩抖动后的图像Inew＝min(Iold*αdark,0)；c)经过色彩抖动后的图像标签不变，将其输入网络继续训练，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值；d)正确率达到一定值后进入步骤4)；4)采用经过图像混合的增强图像进行训练，具体训练方法如下：a)对训练集中的任意一张图像I0标签L0，生成一个随机数β,(β∈(0,1))，在训练集中随机选取另一张图像I1标签L1；则经过图像混合后的新图像其对应的新标签对训练集中的所有图像执行以上操作；b)将混合标签后的图像输入网络继续训练，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值；c)正确率达到一定值后，重新使用步骤1中未经过色彩抖动和图像混合的图像继续训练，当正确率大于一定值，同时loss值小于一定值时，保存模型结束训练；5)利用测试集上的类内类间图像对判定训练得到的最终人脸识别模型性能是否满足使用要求，具体判定方法如下：c)计算步骤4)中保存的最终模型在测试集上的正确率A；d)利用步骤4)中保存的最终模型对步骤1)-b)中得到的测试数据集上的类间和类内图像对进行特征提取，计算每个图像对中两张图像的距离t_dis；c)对得到的所有距离值进行拟合，得到类内概率密度函数TI(t_dis)，对类间图像对得到的所有距离值进行拟合，得到类间的概率密度函数TC(t_dis)；d)利用TI(t_dis)和TC(t_dis)绘制概率密度曲线，若两条曲线的重叠区域面积小于一定值且正确率A大于一定值，则模型满足条件，可以实用，否则，则人脸识别模型不达标需要更重新训练。所述步骤1)-a)中，训练数据集的类别数超过10000类，每个类别包含至少10张图像，从属于不同的人的人脸图像作为一个单独的类。所述步骤1)-b)中，类内图像对为：在每个类别中进行不放回的3次抽取，每次随机收取2张图像，构成类内图像对集合；类间图像对为随机选择总类别数的10％个类别，每个类别不放回的随机抽取1张图像，对这些图像进行排列组合，得到部分图像对，再次随机选择总类别数的10％个类别，每个类别不放回的随机抽取1张图像，对这些图像进行排列组合，得到另一部分图像对，两部分图像对合在一起构成类内图像对集合。所述步骤2)-a)中，网络结构位ResNet34、ResNet50、ResNet101、ResNet152、或MobileNet_V3。所述步骤2)-b)中，损失函数采用triploss、变形版分类损失函数Large-MarginSoftmaxLoss或SphereFace_loss。所述步骤2)-d)中，所述一定值为20％。所述步骤3)-d)中，使用新数据继续训练初期，会出现正确率下降的情况，需要经过训练使网络重新收敛，当训练模型重新收敛，loss值持续下降，正确率达到50％进入步骤4)。所述步骤4)-c)中，使用新数据继续训练初期，会出现正确率下降的情况，需要经过训练使网络重新收敛，当训练模型重新收敛，loss值持续下降，正确率达到90％，重新使用步骤1)中未经过色彩抖动和图像混合的图像继续训练，当正确率大于98％，同时loss值小于0.1时，保存模型结束训练。所述步骤5)-c)中，利用高斯混合模型对类内图像对得到的所有距离值进行拟合，，利用高斯混合模型对类间图像对得到的所有距离值进行拟合。所述步骤5)-d)中，若两条曲线的重叠区域面积小于x∈[0.1,0.3]且A>＝85％，则认为模型满足条件，可以实用。本专利技术的基于色彩抖动和图像混合的监控视频人脸识别方法，使用色彩抖动的方式对图像进行增强，可以使训练得到的模型适应不同时间不同摄像头获取到的人脸图像存在较大的色彩差异，能够有效降低由于人脸图像色彩变化而造成的识别结果不准或识别失败的问题；使用图像混合的方式对图像进行增强，可以使训练得到的模型适应监控视频中视频采集与人员移动间的时间差会造成人脸模糊，能够有效降低由于人脸图像模糊而造成的识别结果不准或识别失败的问题；训练过程中分阶段交替使用经过色彩抖动和图像混合后的图像进行训练，能够有效帮助网络收敛，避免所有增强后的图像同时从一开始参与训练，从而造成训练发散无法收敛的情况出现；利用测试图像对类内类间的概率密度函数的重叠区域面积与正确率相结合，判定人脸识别模型是否可以实用，可靠性更高；同时还可以将人脸识别模型在特征提取上存在的问题更直观的暴露出来，为下一步的训练提供指导作用。附图说明图1是本专利技术概率曲线及重叠区域示意图。具体实施方式基于色彩抖动和混合标签的监控本文档来自技高网...

【技术保护点】
1.一种基于色彩抖动和图像混合的监控视频人脸识别方法，其特征在于：包括以下步骤：/n1)人脸数据集准备：/na)使用公开人脸数据集合并在一起作为训练数据集；/nb)使用未参与训练数据集构建的监控视频人脸数据集作为测试数据集，包括类内图像对和类间图像对；/n2)分阶段进行训练，具体方法如下：/na)选择网络；/nb)选择损失函数；/nc)开始训练，记录训练轮数epoch，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值。/nd)当训练模型正常收敛，loss值持续下降，正确率达到一定值后进入步骤3)；/n3)采用经过色彩抖动的增强图像进行训练，具体训练方法如下：/na)每一轮训练生成一个随机数α,(α∈(0,1))，则图像色彩抖动系数为：α

【技术特征摘要】
1.一种基于色彩抖动和图像混合的监控视频人脸识别方法，其特征在于：包括以下步骤：
1)人脸数据集准备：
a)使用公开人脸数据集合并在一起作为训练数据集；
b)使用未参与训练数据集构建的监控视频人脸数据集作为测试数据集，包括类内图像对和类间图像对；
2)分阶段进行训练，具体方法如下：
a)选择网络；
b)选择损失函数；
c)开始训练，记录训练轮数epoch，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值。
d)当训练模型正常收敛，loss值持续下降，正确率达到一定值后进入步骤3)；
3)采用经过色彩抖动的增强图像进行训练，具体训练方法如下：
a)每一轮训练生成一个随机数α,(α∈(0,1))，则图像色彩抖动系数为：αlight＝1+α,αdark＝1-α；
b)当训练轮数epoch为奇数时对训练数据集的所有图像的通道分别乘以αlight，则经过色彩抖动后的图像Inew＝max(Iold*αlight,255)；当epoch为偶数时对训练数据集的所有图像通道分别乘以αdark，则经过色彩抖动后的图像Inew＝min(Iold*αdark,0)；
c)经过色彩抖动后的图像标签不变，将其输入网络继续训练，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值；
d)正确率达到一定值后进入步骤4)；
4)采用经过图像混合的增强图像进行训练，具体训练方法如下：
a)对训练集中的任意一张图像I0标签L0，生成一个随机数β,(β∈(0,1))，在训练集中随机选取另一张图像I1标签L1；则经过图像混合后的新图像其对应的新标签对训练集中的所有图像执行以上操作；
b)将混合标签后的图像输入网络继续训练，计算训练过程中每一轮权重更新后训练数据集的正确率、召回率和loss值；
c)正确率达到一定值后，重新使用步骤1中未经过色彩抖动和图像混合的图像继续训练，当正确率大于一定值，同时loss值小于一定值时，保存模型结束训练；
5)利用测试集上的类内类间图像对判定训练得到的最终人脸识别模型性能是否满足使用要求，具体判定方法如下：
a)计算步骤4)中保存的最终模型在测试集上的正确率A；
b)利用步骤4)中保存的最终模型对步骤1)-b)中得到的测试数据集上的类间和类内图像对进行特征提取，计算每个图像对中两张图像的距离t_dis；
c)对得到的所有距离值进行拟合，得到类内概率密度函数TI(t_dis)，对类间图像对得到的所有距离值进行拟合，得到类间的概率密度函数TC(t_dis)；
d)利用TI(t_dis)和TC(t_dis)绘制概率密度曲线，若两条曲线的重叠区域面积小于一定值且正确率A大于一定值，则模型满足条件，可以实用，否则，则人脸识别模型不达标需要更重新训练。


2.根据权利要求1所述的...

【专利技术属性】
技术研发人员：廖志梁，王道宁，陶亮，郭宝珠，
申请(专利权)人：易诚高科大连科技有限公司，
类型：发明
国别省市：辽宁;21