一种提升社区人口人脸识别性能的方法技术

本发明专利技术公开了一种提升社区人口人脸识别性能的方法，利用社区人口的登记信息、出行规律、打扮着装偏好、交互对象及监控系统采集的大量人脸与行人图像，以及身份证图像，结合公开人脸数据集CASIA‑Webface，来提升社区人口人脸识别与行人重识别性能，以便更好地管理管理社区中的人员，构建更加安全的未来社区。

A method to improve the performance of face recognition of community population

【技术实现步骤摘要】
一种提升社区人口人脸识别性能的方法
本专利技术属于深度神经网络训练网络结构的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到提升社区人口人脸识别性能的训练方法。
技术介绍
目前，监控视频占据社区大数据的半壁江山，虽然采用一些先进的人工智能技术对监控视频数据进行理解，但是在真实开放环境下监控视频数据的深度理解是非常的困难，且多为事后取证而非提前预警，因此本项目为了更好对未来社区中人员进行管理，需要对重点管理人员进行画像，防范于未然。而人员画像，需要进行人脸识别。解决上述问题的关键就是要提升社区人口人脸识别性能，在管理社区人口的过程中，既要管理重点关注人员，又要服务重点关爱人员(老人、小孩等)以及社区大众，人脸识别的准确率影响着社区的管理。为了更好的管理社区人口，提升社区人口识别性能至关重要。
技术实现思路
本专利技术克服了现有技术的不足之处，提出了一种提升社区人口人脸识别性能的方法，意在利用社区人口的登记信息、出行规律、打扮着装偏好、交互对象及监控系统采集的大量人脸与行人图像提升社区人口人脸识别与行人重识别性能，提高人脸识别的准确率。本专利技术为达上述专利技术目的，采用如下技术方案：一种提升社区人口人脸识别性能的方法，包括如下步骤：步骤(1)利用社区人口登记档案中身份证图像A，采用仿射变换及生成对抗学习方法进行数据增强得到A’，将增强后的身份证数据集B与公开人脸数据集C(CASIA-Webface)联合训练得到人脸识别模型Ⅰ，数据集B包含A与A’；步骤(2)将多个摄像头的数据输入到人脸检测和人脸跟踪模块，得到人脸图像的弱标记数据D，将该数据放入弱标记抓拍人脸图像库E，经过一段时间后，将社区人口档案库里的身份证图像集与弱标记抓拍人脸图像集输入到人脸识别模型Ⅰ提取特征，进行自动标注，得到抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗后的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及清洗过后的抓拍人脸分类库G，训练出人脸识别模型Ⅱ；步骤(3)由人脸检测、行人检测和同一摄像头下的同行人检测得到人脸图像、行人图像以及同行人图像数据库H，对数据库H进行人脸识别以及行人重识别，得到同行人数据J和轨迹K。将社区人口档案库里的身份证图像集与摄像头采集的人脸数据集输入到人脸识别模型Ⅱ中提取特征，计算相似度，利用行人轨迹信息和同行人数据对人脸相似度加权，然后进行人脸自动标注，得到更新后的抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗过后的新的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及新的抓拍人脸分类库G，训练出人脸识别模型Ⅲ；每隔一段时间，使用新的抓拍数据训练一个新的人脸识别模型，直到生成满足应用需求的人脸识别模型n。进一步的，步骤(1)中人脸识别模型Ⅰ的网络为：网络包括数据输入层、主干网络层、全连接层FC、输出层；数据输入包含身份证图像及其增强图像，即A1及其增强图像A′1，A2及其增强图像A′2，…，An及其增强图像A′n，其中Ai、A′i分别表示登记档案中第i个人的身份证图像，及CASIA图像及其增强图像，即C1及其增强图像，C2及其增强图像，…，Cn及其增强图像，其中Ci表示CASIA数据集中的第i个人的图像；数据输出是上述输入数据的标签；其中，主干网络层可以由残差网络构成，或由其他卷积神经网络构成；其中主干卷积神经网络结构为卷积层C1—池化层P1—卷积层C2—池化层P2—卷积层C3—池化层P3—卷积层C4—池化层P4，卷积层采用深度可分离卷积；深度可分离卷积将标准卷积分解为深度卷积和点卷积的1×1卷积；标准的卷积是在一个步骤中将滤波器和输入组合成一组新的输出；深度可分离卷积将其分成两层，一层用于滤波，另一层用于组合；深度卷积只过滤输入通道，点卷积是负责计算深度卷积输出的线性组合；模型的损失函数如下：进一步的，步骤(2)中弱标记数据为：在一个摄像头下，对某个人的人脸进行检测和跟踪得到一组相同的标签L(，一个人的人脸具有相同的标签，在另一个摄像头下，对这个人再进行人脸检测和跟踪时得到另一组标签L’，同一个人在不同摄摄像头下得到不同的标签L和L’，这样的标签数据即为弱标签数据；若在不同摄像头下，进行人脸检测和跟踪得到的标签相同，则为强标签。进一步的，步骤(2)中自动标注为：将弱标记抓拍人脸图像库E中的n张图像，与身份证图像进行人脸比对，若比对得到的相似度Q>阈值T，则将其放入该身份证图像的增强图像集中；若比对得到的相似度Q<阈值T，则将这些小于阈值的图像进行聚类，得到分类好的人脸图像数据M，继而得到已经分类好的n个人的人脸数据集S1、S1、…、Sn。进一步的，步骤(2)中人脸识别模型Ⅱ的训练为：在人脸识别模型Ⅰ训练网络的基础上，增加数据层里原有类别里的数据量以及增加类别数。更新之前的图像及其增强图像，并增加抓拍人脸分类库及其增强图像，G1及其增强图像、G2及其增强图像、…、Gn及其增强图像，其中Gi表示第i个人的图；以及聚类得到的人脸分类图像，即M1、M2、…、Mn，其中Mi表示第i个人的图像。进一步的，步骤(3)中人脸相似度加权为：出行路线为某个人在某个时间区间内经过的地点集合。对出行路线进行聚类，差别较小的路线可以归为一类。统计第Si(i＝1，…，n)个人在较长时间内的出行路线的频次，对频次最高的前三条路线L1、L2、L3赋予其权重其他的路线权重为1；统计第Si(i＝1，…，n)个人在某个地点某个时间区间内出现的频次，若出现的频次N>n2，则设置则权重为若出现的频次n1<N<n2，则设置则权重为若出现的频次N<n1，则设置权重为1；当S1与S2这两个人具有较强或较多的联系时，S1与S2这两个人构成强联系人对(S1，S2)；根据社区人口登记档案中的亲属关系、同住关系等信息得到社区内的所有强联系人对；对于检测到的同行人(h1，h2)，先分别进行人脸相似度比对，若大于阈值T0，即相似度f(h1，S1)>T0且f(h2，S2)>T0，则对相似度进行加权，权重为Si和hj加权后的相似度公式如下：其中fij(Si，hj)表示Si和hj的未加权的人脸相似度；未加权的人脸相似度采用欧式距离或者余弦距离等相似度准则进行计算。进一步的，步骤(3)中人脸识别模型Ⅲ的训练为：采用人脸识别模型Ⅱ与同行人相似度加权，对新抓拍的人脸图像进行分类与聚类，增加训练图像的数量与类别以获得更大的训练数据集，使用这个数据集训练人脸识别模型Ⅲ。进一步的，步骤(3)中人脸识别模型n的训练数据增加及训练方法与人脸识别模型Ⅲ相同。与现有技术相比，本专利技术的有益效果体现在：本专利技术采取一种提升社区人口人脸识别性能的方法，利用社区人口的登记信息、出行规律、打扮着装偏好、交互对象及监控系统采集本文档来自技高网...

【技术保护点】
1.一种提升社区人口人脸识别性能的方法，其特征在于包括如下步骤：/n步骤(1)利用社区人口登记档案中身份证图像A，采用仿射变换及生成对抗学习方法进行数据增强得到A’，将增强后的身份证数据集B与公开人脸数据集C(CASIA-Webface)联合训练得到人脸识别模型Ⅰ，数据集B包含A与A’；/n步骤(2)将多个摄像头的数据输入到人脸检测和人脸跟踪模块，得到人脸图像的弱标记数据D，将该数据放入弱标记抓拍人脸图像库E，经过一段时间后，将社区人口档案库里的身份证图像集与弱标记抓拍人脸图像集输入到人脸识别模型Ⅰ提取特征，进行自动标注，得到抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗后的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及清洗过后的抓拍人脸分类库G，训练出人脸识别模型Ⅱ；/n步骤(3)由人脸检测、行人检测和同一摄像头下的同行人检测得到人脸图像、行人图像以及同行人图像数据库H，对数据库H进行人脸识别以及行人重识别，得到同行人数据J和轨迹K。将社区人口档案库里的身份证图像集与摄像头采集的人脸数据集输入到人脸识别模型Ⅱ中提取特征，计算相似度，利用行人轨迹信息和同行人数据对人脸相似度加权，然后进行人脸自动标注，得到更新后的抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗过后的新的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及新的抓拍人脸分类库G，训练出人脸识别模型Ⅲ；每隔一段时间，使用新的抓拍数据训练一个新的人脸识别模型，直到生成满足应用需求的人脸识别模型n。/n...

【技术特征摘要】
1.一种提升社区人口人脸识别性能的方法，其特征在于包括如下步骤：
步骤(1)利用社区人口登记档案中身份证图像A，采用仿射变换及生成对抗学习方法进行数据增强得到A’，将增强后的身份证数据集B与公开人脸数据集C(CASIA-Webface)联合训练得到人脸识别模型Ⅰ，数据集B包含A与A’；
步骤(2)将多个摄像头的数据输入到人脸检测和人脸跟踪模块，得到人脸图像的弱标记数据D，将该数据放入弱标记抓拍人脸图像库E，经过一段时间后，将社区人口档案库里的身份证图像集与弱标记抓拍人脸图像集输入到人脸识别模型Ⅰ提取特征，进行自动标注，得到抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗后的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及清洗过后的抓拍人脸分类库G，训练出人脸识别模型Ⅱ；
步骤(3)由人脸检测、行人检测和同一摄像头下的同行人检测得到人脸图像、行人图像以及同行人图像数据库H，对数据库H进行人脸识别以及行人重识别，得到同行人数据J和轨迹K。将社区人口档案库里的身份证图像集与摄像头采集的人脸数据集输入到人脸识别模型Ⅱ中提取特征，计算相似度，利用行人轨迹信息和同行人数据对人脸相似度加权，然后进行人脸自动标注，得到更新后的抓拍人脸分类库F，再经过人工清洗去除自动标注错误的人脸图像，得到清洗过后的新的抓拍人脸分类库G。使用增强后的社区档案身份证库B、公开人脸数据集C(CASIA-Webface)及新的抓拍人脸分类库G，训练出人脸识别模型Ⅲ；每隔一段时间，使用新的抓拍数据训练一个新的人脸识别模型，直到生成满足应用需求的人脸识别模型n。


2.如权利要求1所述的一种提升社区人脸识别性能的方法，其特征在于：步骤(1)中人脸识别模型Ⅰ的网络为：
网络包括数据输入层、主干网络层、全连接层FC、输出层；数据输入包含身份证图像及其增强图像，即A1及其增强图像A′1，A2及其增强图像A′2，…，An及其增强图像A′n，其中Ai、A′i分别表示登记档案中第i个人的身份证图像，及CASIA图像及其增强图像，即C1及其增强图像，C2及其增强图像，…，Cn及其增强图像，其中Ci表示CASIA数据集中的第i个人的图像；数据输出是上述输入数据的标签；
其中，主干网络层可以由残差网络构成，或由其他卷积神经网络构成；其中主干卷积神经网络结构为卷积层C1—池化层P1—卷积层C2—池化层P2—卷积层C3—池化层P3—卷积层C4—池化层P4，卷积层采用深度可分离卷积；深度可分离卷积将标准卷积分解为深度卷积和点卷积的1×1卷积；标准的卷积是在一个步骤中将滤波器和输入组合成一组新的输出；深度可分离卷积将其分成两层，一层用于滤波，另一层用于组合；深度卷积只过滤输入通道，点卷积是负责计算深度卷积输出的线性组合；
模型的损失函数如下：





3.如权利要求1所述的一种提升社区人脸识别性能的方法，其特征在于：步骤(2)中弱标记数据为：
在一个摄像头下，对某个人的人脸进行检测和跟踪得到一组相同...

【专利技术属性】
技术研发人员：章东平，郭梦婷，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33