一种基于视频人脸序列的人脸识别方法及系统技术方案

本发明专利技术公开了一种基于视频人脸序列的人脸识别方法及系统，该方法包括如下步骤：采集人脸2D序列图；对2D序列图进行标注，并作为InsightFaceLoss的训练标签输入；将3D设备采集到的3D人脸序列图和Struct From Motion算法生成的3D特征图，作为SmoothL1Loss的训练标签输入；训练完成后得到人脸特征提取模型；将前端2D人脸采集设备采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。本发明专利技术采用一个序列的多涨人脸2D图，代替3D人脸采集设备做人脸识别，大大节约了应用消耗的成本，同时由于2D序列对距离和光照没有限制，大大提升了人脸识别的应用场景。大提升了人脸识别的应用场景。大提升了人脸识别的应用场景。

【技术实现步骤摘要】
一种基于视频人脸序列的人脸识别方法及系统


[0001]本专利技术涉及人脸识别
，尤其涉及一种基于视频人脸序列的人脸识别方法及系统。

技术介绍

[0002]人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，人脸追踪侦测，自动调整影像放大，夜间红外侦测，自动调整曝光强度；它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。在人脸识别过程中，通常包括人脸检测、人脸特征提取和人脸识别步骤，特征提取是影响识别效果的一个重要环节。
[0003]人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有实用化的识别率和识别速度；“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。
[0004]人脸的表达模型分为2D人脸和3D人脸。2D人脸识别研究的时间相对较长，方法流程也相对成熟，在多个领域都有使用，但由于2D信息存在深度数据丢失的局限性，无法完整的表达出真实人脸，所以在实际应用中存在着一些不足，例如识别准确率不高、活体检测准确率不高等。3D人脸模型比2D人脸模型有更强的描述能力，能更好的表达出真实人脸，所以基于3D数据的人脸识别不管识别准确率还是活体检测准确率都有很大的提高。但是采用3D人脸采集设备做人脸识别，会大大增加应用消耗的成本，且会受到距离和光照的限制。

技术实现思路

[0005]为了解决上述问题，本专利技术一方面提供了一种基于视频人脸序列的人脸识别方法，旨在解决进行人脸识别时，采用3D人脸采集设备，成本过高，且应用场景有限的技术问题。
[0006]该方法包括以下步骤：S1：采集人脸2D序列图；S2：对2D序列图进行标注，并作为InsightFaceLoss的训练标签输入；S3：将3D设备采集到的3D人脸序列图和Struct From Motion算法生成的3D特征图，作为SmoothL1Loss的训练标签输入；S4：训练完成后得到人脸特征提取模型；S5：将前端采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。
[0007]进一步的，所述步骤S2中对2D序列图进行标注的方法为：采用RestNet构建网络的
backbone生成人脸特征向量embedding。
[0008]进一步的，将步骤S2中InsightFaceLoss作为人脸识别的损失函数，用以增加类外距离，减少类内距离。
[0009]进一步的，所述步骤S3中Struct From Motion算法生成3D特征图包括以下子步骤：S31：输入有序或无序的图像集；S32：整体特征提取、匹配，并构建scene graph；S33：初始化，选取最优的图像，并进行一次光束法平差；S34：选取下一张最优图像进行位姿解算；S35：对新增的一张图像进行三角化新的地图点；S36：局部迭代光束法优化新增的一张图像地图点及位姿；S37：进行一次整体光束法平差。
[0010]进一步的，所述SmoothL1Loss将3D特征图通过反向传递让人脸特征向量embedding更多的表达出3D人脸特征，用以增加人脸的可区分性。
[0011]进一步的，所述步骤S5中采用MTCNN人脸检测算法检测图像中所有的人脸，为了保证每个序列人脸为同一个人，同时增加了人脸跟踪算法。
[0012]本专利技术的另一方面提供了一种基于视频人脸序列的人脸识别系统，该系统包括：2D和3D采集设备：用于采集人脸图像序列；人脸特征向量生成模块：用于将采集到的2D人脸序列图生成为人脸特征向量；人脸特征提取模型生成模块：用于生成人脸特征提取模型；人脸检测模块：将前端采集到的视频序列进行人脸检测，保证每个序列人脸为同一个人；识别模块：将检测到的人脸序列输入人脸特征提取模型，增加人脸的可区分性。
[0013]本专利技术的有益效果在于：采用一个序列的多涨人脸2D图，代替3D人脸采集设备做人脸识别，大大节约了应用消耗的成本，同时由于2D序列对距离和光照没有限制，大大提升了人脸识别的应用场景。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0015]图1为本专利技术的流程图。
具体实施方式
[0016]应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本专利技术保护的范围。
[0018]参阅图1，本专利技术提出了一种实施例：实施例1：一种基于视频人脸序列的人脸识别方法包括以下步骤：步骤一：利用2D人脸采集设备，采集人脸2D序列图，作为训练样本；步骤二：对采集到的人脸2D序列图进行标注，分别标注不同的人脸标签label，作为InsightFaceLoss的训练标签输入；步骤三：利用3D人脸采集设备采集3D人脸序列图，并将3D人脸序列图和Struct From Motion算法生成的3D特征图，作为SmoothL1Loss的训练标签输入；步骤四：训练完成后得到人脸特征提取模型；步骤五：将前端2D人脸采集设备采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。
[0019]具体的，步骤二中对2D序列图进行标注的方法为：采用RestNet构建网络的backbone生成人脸特征向量embedding，最后采用当前效果最好的InsightFaceLoss作为人脸特征提取模型的损失函数，用以增加类外距离，减少类内距离。
[0020]具体的，步骤三中Struct From Motion（SFM）算法生成3D特征图包括以下子步骤：S31：输入有序或无序的图像集；S32：整体特征提取、匹配，并构建scene graph；S33：初始化，选取最优的图像，并进行一次光束法平差；S34：选取下一张最优图像进行位姿解算；S35：对新增的一张图像进行三角化新的地图点；S36：局部迭代光束法优化新增的一张图像地图点及位姿；S37：进行一次整体光束法平差。
[0021]可以理解的，SFM算法作为人脸特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频人脸序列的人脸识别方法，其特征在于，包括以下步骤：S1：采集人脸2D序列图；S2：对2D序列图进行标注，并作为InsightFaceLoss的训练标签输入；S3：将3D设备采集到的3D人脸序列图和Struct From Motion算法生成的3D特征图，作为SmoothL1Loss的训练标签输入；S4：训练完成后得到人脸特征提取模型；S5：将前端采集到的视频序列进行人脸检测，将检测到的人脸序列作为人脸特征提取模型的输入，提取人脸特征，完成人脸识别。2.如权利要求1所述的一种基于视频人脸序列的人脸识别方法，其特征在于，所述步骤S2中对2D序列图进行标注的方法为：采用RestNet构建网络的backbone生成人脸特征向量embedding。3.如权利要求1所述的一种基于视频人脸序列的人脸识别方法，其特征在于，将步骤S2中InsightFaceLoss作为人脸识别的损失函数，用以增加类外距离，减少类内距离。4. 如权利要求1所述的一种基于视频人脸序列的人脸识别方法，其特征在于，所述步骤S3中Struct From Motion算法生成3D特征图包括以下子步骤：S31：输入有序或无序的图像集；S32：整体特征提取...

【专利技术属性】
技术研发人员：刘栓，
申请(专利权)人：四川天翼网络服务有限公司，
类型：发明
国别省市：