一种室内逆光人脸关键点的检测方法及装置制造方法及图纸

本申请实施例公开了一种室内逆光人脸关键点的检测方法，用于获取逆光下清晰的可见光图像，提高人脸关键点检测准确度。本申请实施例方法包括：分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像，可见光图像为第一图像数据；确定可见光图像以及红外图像的人脸关键点；根据人脸关键点计算可见光图像以及红外图像的仿射矩阵；根据红外图像的人脸关键点与仿射矩阵将可见光图像转换至红外图像，以生成第二图像数据；将第一图像数据与第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息；将第一特征信息与第二特征信息通过图像融合层输出融合特征信息；将融合特征信息通过目标解码网络输出目标图像。网络输出目标图像。网络输出目标图像。

【技术实现步骤摘要】
一种室内逆光人脸关键点的检测方法及装置


[0001]本申请实施例涉及数据处理领域，尤其涉及一种室内逆光人脸关键点的检测方法及装置。

技术介绍

[0002]随着人工智能、物联网等前沿技术的发展，智能时代已经悄然到来，“刷脸”逐渐成为了新的风潮，人脸识别技术已经在众多领域中得到广泛的应用，例如，可以应用在公共安全领域的刑侦追逃、政府职能领域的电子政务以及场所进出领域的部门门禁控制等。
[0003]人脸识别是基于人脸的特征信息进行身份识别的一种识别技术，可以通过利用摄影机或者摄像头来采集包含有人脸的图像或者视频，并自动在图像或视频中检测和追踪人脸，进而对检测到的人脸图像进行一系列的相关应用操作。然而就目前来说，受光线条件的影响，在采集图像的过程中，光线好的现实场景可以有利于人脸识别获得清晰的可见光图像，在逆光的复杂环境中获得的可见光图像较光线好的现实场景获得的可见光图像而言较为模糊，从而易造成人脸关键点检测的准确度下降。

技术实现思路

[0004]本申请实施例提供了一种室内逆光人脸关键点的检测方法及装置，用于获取逆光下较为清晰的可见光图像，使得人脸关键点检测的准确度上升。
[0005]本申请在第一方面提供了一种室内逆光人脸关键点的检测方法，包括：
[0006]分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像，所述可见光图像为第一图像数据；
[0007]确定所述可见光图像以及所述红外图像的人脸关键点；
[0008]根据所述人脸关键点计算所述可见光图像以及所述红外图像的仿射矩阵；
[0009]根据所述红外图像的人脸关键点与仿射矩阵将所述可见光图像转换至所述红外图像，以生成第二图像数据；
[0010]将所述第一图像数据与所述第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息，所述目标编码网络为提取图像高维特征信息的网络，所述第一特征信息为可见光图像的高维特征信息，所述第二特征信息为红外图像的高维特征信息；
[0011]将所述第一特征信息与所述第二特征信息通过图像融合层输出融合特征信息，所述图像融合层为将红外图像以及可见光图像的高维特征信息进行融合的网络层，所述融合特征信息为可见光图像与红外图像的高维特征的融合信息；
[0012]将所述融合特征信息通过目标解码网络输出目标图像，所述目标解码网络用于输出具有高维融合特征的图像。
[0013]可选的，所述分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像之前，所述检测方法还包括：
[0014]从获取的训练样本集中提取一组可见光图像与红外图像作为检测样本；
[0015]将所述检测样本通过初始编码网络输出可见光高维特征信息以及红外高维特征信息；
[0016]将所述可见光高维特征信息以及所述红外高维特征信息输入初始解码网络直至所述初始解码网络达到收敛，生成目标解码网络。
[0017]可选的，所述将所述可见光高维特征信息以及所述红外高维特征信息输入初始解码网络直至所述初始解码网络达到收敛，包括：
[0018]将所述可见光高维特征信息以及所述红外高维特征信息通过初始解码网络输出第二可见光高维特征信息以及第二红外高维特征信息；
[0019]根据所述检测样本中的红外图像与所述第二红外高维特征信息计算红外图像的总损失值，以生成红外图像损失变化数据，所述红外图像损失变化数据为每次训练生成的损失值的统计数据；
[0020]根据所述检测样本中的可见光图像与所述第二可见光高维特征信息计算可见光图像的总损失值，以生成可见光图像损失变化数据；
[0021]判断所述红外图像损失变化数据以及所述可见光图像损失变化数据在预设区间内的损失值是否收敛；
[0022]若是，则确定所述初始解码网络为目标解码网络。
[0023]可选的，所述判断所述红外图像损失变化数据以及所述可见光图像损失变化数据在预设区间内的损失值是否收敛之后，所述检测方法还包括：
[0024]若否，则根据所述红外图像的总损失值以及所述可见光图像的总损失值更新所述初始解码网络，并从所述训练样本集中重新选取一组可见光图像与红外图像输入到所述初始编码网络训练。
[0025]可选的，所述将所述第一图像数据与所述第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息之前，所述根据所述红外图像的人脸关键点与仿射矩阵将所述可见光图像转换至所述红外图像之后，所述检测方法还包括：
[0026]对所述第一图像数据以及所述第二图像数据进行数据增强，所述数据增强包括随机旋转图像以及随机剪切图像；
[0027]对所述第一图像数据以及所述第二图像数据进行数据剪枝。
[0028]可选的，所述目标解码网络采用卷积层与反卷积层交替串行连接结构构成。
[0029]可选的，所述目标编码网络采用DenseBlock结构构成。
[0030]本申请在第二方面提供了一种室内逆光人脸关键点的检测装置，包括：
[0031]第一获取单元，用于分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像，所述可见光图像为第一图像数据；
[0032]关键点确定单元，用于确定所述可见光图像以及所述红外图像的人脸关键点；
[0033]第一计算单元，用于根据所述人脸关键点计算所述可见光图像以及所述红外图像的仿射矩阵；
[0034]生成单元，用于根据所述红外图像的人脸关键点与仿射矩阵将所述可见光图像转换至所述红外图像，以生成第二图像数据；
[0035]第一输出单元，用于将所述第一图像数据与所述第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息，所述目标编码网络为提取图像高维特征信息的
网络，所述第一特征信息为可见光图像的高维特征信息，所述第二特征信息为红外图像的高维特征信息；
[0036]第二输出单元，用于将所述第一特征信息与所述第二特征信息通过图像融合层输出融合特征信息，所述图像融合层为将红外图像以及可见光图像的高维特征信息进行融合的网络层，所述融合特征信息为可见光图像与红外图像的高维特征的融合信息；
[0037]第三输出单元，用于将所述融合特征信息通过目标解码网络输出目标图像，所述目标解码网络用于输出具有高维融合特征的图像。
[0038]可选的，所述检测装置还包括：
[0039]样本提取单元，用于从获取的训练样本集中提取一组可见光图像与红外图像作为检测样本；
[0040]第四输出单元，用于将所述检测样本通过初始编码网络输出可见光高维特征信息以及红外高维特征信息；
[0041]网络训练单元，用于将所述可见光高维特征信息以及所述红外高维特征信息输入初始解码网络直至所述初始解码网络达到收敛，生成目标解码网络。
[0042]可选的，所述网络训练单元，包括：
[0043]第五输出模块，用于将所述可见光高维特征信息以及所述红外高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内逆光人脸关键点的检测方法，其特征在于，包括：分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像，所述可见光图像为第一图像数据；确定所述可见光图像以及所述红外图像的人脸关键点；根据所述人脸关键点计算所述可见光图像以及所述红外图像的仿射矩阵；根据所述红外图像的人脸关键点与仿射矩阵将所述可见光图像转换至所述红外图像，以生成第二图像数据；将所述第一图像数据与所述第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息，所述目标编码网络为提取图像高维特征信息的网络，所述第一特征信息为可见光图像的高维特征信息，所述第二特征信息为红外图像的高维特征信息；将所述第一特征信息与所述第二特征信息通过图像融合层输出融合特征信息，所述图像融合层为将红外图像以及可见光图像的高维特征信息进行融合的网络层，所述融合特征信息为可见光图像与红外图像的高维特征的融合信息；将所述融合特征信息通过目标解码网络输出目标图像，所述目标解码网络用于输出具有高维融合特征的图像。2.根据权利要求1所述的检测方法，其特征在于，所述分别获取正常光、逆光以及强光现实场景下的包含人脸的可见光图像以及红外图像之前，所述检测方法还包括：从获取的训练样本集中提取一组可见光图像与红外图像作为检测样本；将所述检测样本通过初始编码网络输出可见光高维特征信息以及红外高维特征信息；将所述可见光高维特征信息以及所述红外高维特征信息输入初始解码网络直至所述初始解码网络达到收敛，生成目标解码网络。3.根据权利要求2所述的检测方法，其特征在于，所述将所述可见光高维特征信息以及所述红外高维特征信息输入初始解码网络直至所述初始解码网络达到收敛，包括：将所述可见光高维特征信息以及所述红外高维特征信息通过初始解码网络输出第二可见光高维特征信息以及第二红外高维特征信息；根据所述检测样本中的红外图像与所述第二红外高维特征信息计算红外图像的总损失值，以生成红外图像损失变化数据，所述红外图像损失变化数据为每次训练生成的损失值的统计数据；根据所述检测样本中的可见光图像与所述第二可见光高维特征信息计算可见光图像的总损失值，以生成可见光图像损失变化数据；判断所述红外图像损失变化数据以及所述可见光图像损失变化数据在预设区间内的损失值是否收敛；若是，则确定所述初始解码网络为目标解码网络。4.根据权利要求3所述的检测方法，其特征在于，所述判断所述红外图像损失变化数据以及所述可见光图像损失变化数据在预设区间内的损失值是否收敛之后，所述检测方法还包括：若否，则根据所述红外图像的总损失值以及所述可见光图像的总损失值更新所述初始解码网络，并从所述训练样本集中重新选取一组可见光图像与红外图像输入到所述初始编码网络训练。
5.根据权利要求4所述的检测方法，其特征在于，所述将所述第一图像数据与所述第二图像数据通过目标编码网络分别输出第一特征信息以及第二特征信息之前，所述根据所述红外图像的人脸关键点与仿射矩阵将所述可见光图像转换至所述红外图像之后，所述检测方法还包括：对所述第一图像数据...

【专利技术属性】
技术研发人员：唐健，潘国峰，石伟，
申请(专利权)人：深圳市捷顺科技实业股份有限公司，
类型：发明
国别省市：