红外图像降噪方法和装置制造方法及图纸

一种红外图像降噪方法、装置和电子设备，能够对红外图像进行降噪的同时保留图像中的人脸五官特征，减少红外图像在降噪前后人脸失真的情况。该红外图像降噪方法包括：获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征；将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸五官特征进行权重分布后进行降噪处理。官特征进行权重分布后进行降噪处理。官特征进行权重分布后进行降噪处理。

【技术实现步骤摘要】
红外图像降噪方法和装置


[0001]本申请涉及红外图像处理
，并且更具体地，涉及一种红外图像降噪方法和装置。

技术介绍

[0002]近红外成像技术实现了低光照情况下的图像采集，如用于监控摄像头的夜间拍摄等，因此受到越来越多领域的关注和重视。但由于近红外图像传感器的物理缺陷，导致近红外图像噪声较大、灰度集中、对比度低，使得近红外图像的视觉效果很差，需要对近红外图像进行降噪处理。
[0003]目前，常用的近红外图像降噪方法通常只关注整体图像降噪，比较少关注于人脸降噪，也就是说，使用当前的降噪方法即使对红外图像降噪完成也很难辨认降噪后与降噪前是同一人，造成人脸失真，不利于后续人脸识别等图像处理工作。
[0004]因此，亟需一种红外图像降噪方法使降噪后的人脸还能保持自有的五官特征，从而提高人脸识别模型的鲁棒性。

技术实现思路

[0005]本申请实施例提供了一种红外图像降噪方法，以解决上述包括人脸五官特征的红外图像在降噪前后出现人脸失真的问题。
[0006]第一方面，提供了一种红外图像降噪方法，包括：获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征；将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸五官特征进行权重分布后进行降噪处理。
[0007]基于本申请实施例的方案，通过在对待降噪的红外图像降噪过程中，对人脸五官特征进行加权分布，以强化人脸五官特征，从而减少降噪后的图像出现人脸失真的情况。
[0008]在一些可能的实施方式中，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述编码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。
[0009]应理解，编码模块也可以理解为执行下采样的模块，用于提取待降噪红外图像的特征，以获得中间特征图，该中间特征图包括待降噪红外图像的浅层特征信息。人脸五官专注模块可以理解为将中间特征图中的人脸五官特征先提取出来，然后对该人脸五官特征进行加权处理，以增强人脸五官的像素值，得到权重分布不同的特征图，即人脸五官特征图。解码模块也可以理解为执行上采样的模块，用于还原对待降噪红外图像进行降噪后的红外图像，在还原的过程中融合上述人脸五官特征图，可以减少对人脸五官的影响，从而保留更
多的人脸五官特征。
[0010]通过本申请实施例的方案，采用人脸五官专注模块，可以通过权重分布强调红外图像中人脸五官的特征细节，然后再将强调人脸五官的特征图与上采样获得的图片做融合达到专注的效果，从而减少难以辨认降噪前后的人为同一人的情况。
[0011]在一些可能的实施方式中，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述编码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。
[0012]在一些可能的实施方式中，所述编码模块包括的卷积层的层数为3。
[0013]在一些可能的实施方式中，所述方法还包括：获取红外图像训练样本，所述红外图像训练样本为对原始红外图像进行加噪后的红外图像，所述红外图像样本包括人脸五官特征；利用所述红外图像训练样本训练所述红外图像降噪模型。
[0014]应理解，红外图像训练样本至少为1个，一般地，训练样本越多，训练后的红外图像降噪模型更准确。
[0015]在一些可能的实施方式中，所述利用所述红外图像训练样本训练所述红外图像降噪模型包括：利用所述红外图像训练样本和损失函数训练所述红外图像降噪模型，所述损失函数包括身份保存项，所述身份保存项用于使得所述输出图像与所述红外图像训练样本在特征空间上属于同一人。
[0016]应理解，损失函数越小，红外图像降噪模型的准确率越高。
[0017]通过本申请实施例中，在损失函数中加入上述身份保存项，可以使得训练好的降噪模型尽可能保证红外图像在降噪前后人脸的相似度。
[0018]在一些可能的实施方式中，所述身份保存项L1为：其中，y为所述红外图像训练样本，为所述输出图像。
[0019]在一些可能的实施方式中，所述损失函数还包括：回归项、保存脸部特征损失项和图像结构相似性损失项；所述回归项用于确保所述输出图像与所述红外图像训练样本在像数上的一致性。所述保存脸部特征损失项用于使得所述输出图像与所述红外图像训练样本在像数上属于同一人；所述图像结构相似性损失项用于使得所述输出图像与所述红外图像训练样本在结构上的相似性。
[0020]在一些可能的实施方式中，所述回归项L2为：其中，y
i
为所述原始红外图像，为所述输出图像；
[0021]所述保存脸部特征损失项L3为：其中，y
n
为所述原始红外图像的五官图像，为所述输出图像的五官图像；
[0022]所述图像结构相似性损失项L4为：其中，μ
m
和μ
n
分
别为所述原始红外图像和所述输出图像的像素值，δ
mn
为所述原始红外图像和所述输出图像的像素值的协方差，δ
m
和δ
n
分别为所述原始红外图像和所述输出图像的像素值的标准差，C1和C2为常数。
[0023]第二方面，提供了一种红外图像降噪的装置，包括获取单元，用于获取待降噪的红外图像，所述待降噪的红外图像为包括人脸五官特征；处理单元，用于将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸特征进行权重分布后进行降噪处理。
[0024]在一些可能的实施方式中，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述解码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。
[0025]在一些可能的实施方式中，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述解码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。
[0026]在一些可能的实施方式中，所述编码模块包括的卷积层的层数为3。
[0027]在一些可能的实施方式中，所述获取单元还用于：获取红外图像训练样本，所述红外图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外图像降噪方法，其特征在于，包括：获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征；将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸五官特征进行权重分布后进行降噪处理。2.根据权利要求1所述的方法，其特征在于，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述解码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。3.根据权利要求2所述的方法，其特征在于，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述解码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。4.根据权利要求3所述的方法，其特征在于，所述编码模块包括的卷积层的层数为3。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：获取红外图像训练样本，所述红外图像训练样本为对原始红外图像进行加噪后的红外图像，所述红外图像样本包括人脸五官特征；利用所述红外图像训练样本训练所述红外图像降噪模型。6.根据权利要求5所述的方法，其特征在于，所述利用所述红外图像训练样本训练所述红外图像降噪模型包括：利用所述红外图像训练样本和损失函数训练所述红外图像降噪模型；所述损失函数包括身份保存项，所述身份保存项用于使得所述输出图像与所述原始红外图像在人脸特征空间上属于同一人。7.根据权利要求6所述的方法，其特征在于，所述身份保存项L1为：其中，y为所述原始红外图像的人脸特征值，为所述输出图像的人脸特征值。8.根据权利要求6或7所述的方法，其特征在于，所述损失函数还包括：回归项、保存人脸五官特征损失项和图像结构相似性损失项；所述回归项用于确保所述输出图像与所述红外图像训练样本在像素上的一致性；所述保存人脸五官特征项用于使得所述输出图像与所述红外图像训练样本在像素上属于同一人；
所述图像结构相似性损失项用于使得所述输出图像与所述红外图像训练样本在结构上的相似性更高。9.根据权利要求8所述的方法，其特征在于，所述回归项L2为：其中，y
i
为所述原始红外图像的像素值，为所述输出图像的像素值；所述保存人脸五官特征项L3为：其中，y
n
为所述原始红外图像中五官的像素值，为所述输出图像中五官的像素值；所述图像结构相似性项L4为：其中，μ
m
和μ
n
分别为所述原始红外图像和所述输出图像的像素值，δ
mn
为所述原始红外图像和所述输出图像的像素值的协方差，δ
m
和δ
n
分别为所述原始红外图像和所述输出图像的像素值的标准差，C1和C2为常数。10.一种红外图像降噪的装置，其特征在于，包括：获取单元，用于获取待降噪的红外图像，所述待降噪的红外图像为包括人脸五官特征；处理单元，用于将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对...

【专利技术属性】
技术研发人员：涂弘德，张为义，罗士杰，
申请(专利权)人：福建库克智能科技有限公司，
类型：发明
国别省市：