一种人脸跟踪与识别方法、系统及存储介质技术方案

本发明专利技术涉及一种人脸跟踪与识别方法、系统及存储介质，所述方法包括以下步骤：接收采集被识别者的视频序列；从视频序列中生成第一人体图像并进行图像重建；对重建后的人体图像进行人体特征值提取，生成人体特征图；从第一人体图像检测出人体头部并进行3D人脸图像重建；对重建后的第二人体头部图像提取人脸特征值，生成人脸特征图，将人脸特征图和人体特征值进行拼接形成人脸

【技术实现步骤摘要】
一种人脸跟踪与识别方法、系统及存储介质


[0001]本专利技术涉及人脸识别的
，尤其是涉及一种人脸跟踪与识别方法、系统及存储介质。

技术介绍

[0002]监控系统是安防系统中应用最多的系统之一，现在市面上较为适合的工地监控系统是手持式视频通信设备，视频监控现在是主流。
[0003]目前，现有的人脸识别跟踪系统由于受场景大、成像设备像素低、距离较远、环境等诸多因素影响，高空中普通监控相机采集的人图像会导致采集设备采集到的人脸特征数据不够准确可靠，进而导致行人识别会发生误差，识别效果不准确，识别率非常低，以致于仅使用人脸特征进行识别和跟踪的结果不佳。

技术实现思路

[0004]为了解决以上存在的识别率的问题，本专利技术提供一种人脸跟踪与识别方法、系统及存储介质。
[0005]第一方面，本专利技术提供一种人脸跟踪与识别方法，采用如下的技术方案：一种人脸跟踪与识别方法，所述方法包括以下步骤：接收来自监控采集的包含被识别者的视频序列；根据所述视频序列检测出个体图像样本，利用人体检测算法定位出个体图像样本中的人体，生成第一人体图像；对所述第一人体图像进行图像重建，生成第二人体图像；对生成的第二人体图像进行人体特征值提取，生成人体特征图；对所述第一人体图像进行人体头部检测，得到第一人体头部图像，对所述第一人体头部图像进行3D人脸图像重建，生成第二人体头部图像；根据所述第二人体头部图像提取人脸特征值，生成人脸特征图；将所述人脸特征图和人体特征图进行特征拼接形成人脸
‑
人体特征图，根据人脸
‑
人体特征图对被识别者进行对比识别。
[0006]通过采用上述技术方案，利用卷积神经网络的优点，先获取复杂场景中的视频序列，从视频序列中检测出第一人体图像和第一人体头部图像，对第一人体图像样本进行图像重建，得到清晰度更高的个体图像，更有利于获取人体特征，对获取的第一人体头部图像进行3D人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接，将人体特征和人脸特征进行拼接，通过拼接特征对待跟踪人进行识别跟踪，识别结果更加准确，相较于现有技术，本专利技术通过不同架构的网络模型提取人脸和人体特征，并进行特征拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的
人体图像清晰、分辨率更高。
[0007]优选的，对所述第一人体图像进行图像重建骤步具体包括：利用预先生成的超分辨率重建网络模型对所述第一人体图像进行重建，得到第二人体图像。
[0008]优选的，所述超分辨率重建网络模型的生成方法包括：设定训练参数和内容损失函数，构建初始模型；采集训练样本集，所述训练样本集包括个体图像样本与对应的低分辨率图像；将低分辨率图像输入所述初始模型，所述低分辨率图像经过初始模型提升分辨率，得到图像SR，将所述图像SR与所述个体图像样本进行比较，得到差异值，利用所述差异值调整所述训练参数直至所述内容损失函数降低至预设最小阈值，得到超分辨率重建网络模型。
[0009]优选的，所述人体检测算法是深度学习目标检测算法。
[0010]优选的，生成所述第一人体头部图像的方法，包括以下步骤：将所述第一人体图像发送至预先生成的人体头部检测模型；基于所述预先生成的人体头部检测模型得到人体头部框信息；根据所述人体头部框信息对所述第一人体图像进行切割得到第一人体头部图像。
[0011]优选的，所述人体头部检测模型的生成方法包括：选取人体头部框信息，构建原始训练集；对人体头部框内区域进行随机放大，构建增广训练集；输入增广训练集到原始人体头部检测模型，得到预测的人体头部框信息；结合预测的人体头部框信息与原始训练集中的人体头部框信息计算总损失函数，训练总损失函数，得到人体头部检测模型。
[0012]通过采用上述技术方案，由深度卷积神经网络端训练得到人体头部检测模型，避免了人脸图像的分块预处理操作，加快获得人体头部图像标注的速度，能支持任意大小彩色图像的输入，基于人体头部图像标注完成人脸编辑操作，保留眼睛、头发、背景等人眼较为关注的细节，增强编辑后图像的真实感，拓宽了人体头部编辑的思路。
[0013]优选的，所述3D人脸图像重建的方法包括：从所述第一人体图像中获取第一人体头部图像；利用预先生成的3D人脸模型对所述第一人体头部图像进行重建，得到第二人体头部图像。
[0014]优选的，所述3D人脸模型包括：身份一致性学习部分和场景优化部分；所述身份一致性学习部分采用无监督式的深度学习方法，将输入的人脸图像样本分解成标准深度图和标准原色图，然后再通过渲染器渲染出的结果来构建重构损失；所述场景优化部分使用编码器从目标图像中抽取真实的纹理和深度信息，然后融合进入“标准脸”进行3D人脸重建。
[0015]第二方面，本专利技术提供一种人脸跟踪与识别系统，采用如下的技术方案：一种复杂场景中人脸跟踪与识别系统，包括图像采集模块，用于获取复杂场景中的被识别者的视频序列，从而获取个体图像样本；人体定位模块，用于在个体图像样本上进行人体的初步定位处理，获取候选人体
区域的第一人体图像；图像重建模块，用于对第一人体图像进行图像重建，得到清晰度更高的第二人体图像；人体特征提取模块，用于对生成的人体图像进行人体特征值的提取，生成人体特征图；人体头部定位生成模块，用于对第一人体图像检测出人体头部，选取人体头部框信息，根据所述人体头部框信息对所述人体图像进行切割得到第一人体头部图像；3D人脸图像重建模块，用于对第一人体头部图像进行3D人脸图像重建得到第二人体头部图像；人脸特征提取模块，用于对第二人体头部图像提取人脸特征值，生成人脸特征图；特征拼接模块，用于将人脸特征图和人体特征图进行特征拼接，形成人脸
‑
人体特征图；比对识别跟踪模块，将生成到的人脸
‑
人体特征图与待跟踪人物的特征进行对比，来判断是否是同一个人，从而实现跟踪与识别。
[0016]通过采用上述技术方案，通过图像采集模块得到复杂场景中视频序列，从视频序列中检测出第一人体图像和第一人体头部图像，然后利用图像重建模块进行图像重建，得到清晰度更高的第二人体图像，更有利于获取人体特征，对获取的第一人体头部图像进行3D人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接模块，对人脸和人体特征进行拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的人脸图像清晰、分辨率高，最终能够大幅提升公安机关对发现特定目标后的截获率。
[0017]第三方面，本专利技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸跟踪与识别方法，其特征在于：所述方法包括以下步骤：接收来自监控采集的包含被识别者的视频序列；根据所述视频序列检测出个体图像样本，利用人体检测算法定位出个体图像样本中的人体，生成第一人体图像；对所述第一人体图像进行图像重建，生成第二人体图像；对生成的第二人体图像进行人体特征值提取，生成人体特征图；对所述第一人体图像进行人体头部检测，得到第一人体头部图像，对所述第一人体头部图像进行3D人脸图像重建，生成第二人体头部图像；对第二人体头部图像提取人脸特征值，生成人脸特征图；将所述人脸特征图和人体特征图进行特征拼接形成人脸
‑
人体特征图，根据人脸
‑
人体特征图对被识别者进行对比识别。2.根据权利要求1所述的一种人脸跟踪与识别方法，其特征在于：对所述第一人体图像进行图像重建步骤具体包括：利用预先生成的超分辨率重建网络模型对所述第一人体图像进行重建，得到第二人体图像。3.根据权利要求2所述的一种人脸跟踪与识别方法，其特征在于，所述超分辨率重建网络模型的生成方法包括：设定训练参数和内容损失函数，构建初始模型；采集训练样本集，所述训练样本集包括个体图像样本与对应的低分辨率图像；将低分辨率图像输入所述初始模型，所述低分辨率图像经过初始模型提升分辨率，得到图像SR，将所述图像SR与所述个体图像样本进行比较，得到差异值，利用所述差异值调整所述训练参数直至所述内容损失函数降低至预设最小阈值，得到超分辨率重建网络模型。4.根据权利要求1所述的一种人脸跟踪与识别方法，其特征在于：所述人体检测算法是深度学习目标检测算法。5.根据权利要求1所述的一种人脸跟踪与识别方法，其特征在于：生成所述第一人体头部图像的方法包括以下步骤：将所述第一人体图像发送至预先生成的人体头部检测模型；基于所述预先生成的人体头部检测模型得到人体头部框信息；根据所述人体头部框信息对所述第一人体图像进行切割得到第一人体头部图像。6.根据权利要求5所述的一种人脸跟踪与识别方法，其特征在于：所述人体头部检测模型的生成方法包括：选取人体头部框信息，构建原始训练集；对人体头部框内区域进行随机放大，构建增广训练集；输入增广训练集到原始人体头部...

【专利技术属性】
技术研发人员：庞先昂，孙振行，乔文静，董利亚，
申请(专利权)人：山东博昂信息科技有限公司，
类型：发明
国别省市：