一种图像降噪方法及设备技术

本申请提供一种图像降噪方法及设备，包括：对初始网络模型进行训练，得到目标网络模型；具体的，将样本图像输入给子网络中网络通道的特征提取通道，以对特征提取通道的参数进行训练，得到初始特征提取参数；将样本图像输入给子网络中网络通道的特征提取通道和降噪主通道，以对降噪主通道的参数进行训练，得到初始降噪参数；将样本图像输入给子网络，以对子网络的初始特征提取参数和初始降噪参数进行调整，得到候选特征提取参数和候选降噪参数；将样本图像输入给初始网络模型，以对初始网络模型的各个子网络的候选特征提取参数和候选降噪参数进行调整，得到目标特征提取参数和目标降噪参数。通过本申请技术方案，能够对图像进行降噪处理。图像进行降噪处理。图像进行降噪处理。

【技术实现步骤摘要】
一种图像降噪方法及设备


[0001]本申请涉及人工智能
，尤其涉及一种图像降噪方法及设备。

技术介绍

[0002]在低照度高增益场景下，成像设备(如摄像机等)采集图像时，图像会出现大量噪点，导致图像质量较差，影响人脸直观感受，使得人脸五官不清晰。
[0003]为了去除图像中的噪点，即对图像进行降噪处理，可以采用图像降噪算法，如BM3D(Block
‑
Matching and 3D filtering，三维块匹配算法)等，BM3D的工作原理是：将图像分割成尺寸较小的小像素片，选定参考片后寻找与参考片相似的小片组成3D块，将所有相似块进行3D变换，将变换后的3D块进行阈值收缩，这也是去除噪声的过程。进行3D逆变换，将所有3D块通过加权平均后还原到图像。BM3D的核心在于，采用不同去噪策略，通过搜索相似块并在变换域进行滤波，得到评估值，最后对图像中每个点进行加权实现去噪效果。
[0004]但是，图像降噪算法很难兼顾不同照度场景下的人脸噪点，对于人脸五官的边缘保真效果较差。例如，在不同成像设备和不同照度场景下，人脸图像的噪点差异性较大、噪点形态分布也各不相同，在采用图像降噪算法进行图像降噪时，容易将人脸五官边界的细节当成噪点去除，对人脸细节的保护较差。

技术实现思路

[0005]本申请提供一种图像降噪方法，待训练的初始网络模型包括K个子网络，针对每个子网络，所述子网络包括M个网络通道，每个网络通道均包括降噪主通道和特征提取通道，K和M均为正整数，所述方法包括：
[0006]对所述初始网络模型进行训练，得到已训练的目标网络模型；
[0007]在得到并部署所述目标网络模型之后，获取待降噪图像，将所述待降噪图像输入给所述目标网络模型，得到已完成图像降噪的目标图像；
[0008]其中，对所述初始网络模型进行训练，得到已训练的目标网络模型，包括：
[0009]针对每个子网络，将样本图像输入给所述子网络中的网络通道的特征提取通道，以对所述特征提取通道的参数进行训练，得到初始特征提取参数；将样本图像输入给所述子网络中的网络通道的特征提取通道和降噪主通道，以对所述降噪主通道的参数进行训练，得到初始降噪参数；
[0010]将样本图像输入给所述子网络，以对所述子网络的初始特征提取参数和初始降噪参数进行调整，得到候选特征提取参数和候选降噪参数；
[0011]将样本图像输入给初始网络模型，以对初始网络模型的各个子网络的候选特征提取参数和候选降噪参数进行调整，得到目标特征提取参数和目标降噪参数，基于目标特征提取参数和目标降噪参数生成目标网络模型。
[0012]本申请提供一种图像降噪设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执
行指令，以实现本申请上述示例公开的图像降噪方法。
[0013]由以上技术方案可见，本申请实施例中，提出一种基于深度学习技术的人脸图像降噪方法，可以基于目标网络模型实现图像降噪，而不需要采用图像降噪算法实现图像降噪，在基于目标网络模型实现图像降噪时，能够兼顾不同照度场景下的人脸噪点，对于人脸五官的边缘保真效果较好，即使人脸图像的噪点差异性较大、噪点形态分布也各不相同，也不会将人脸五官边界的细节当成噪点去除，对人脸细节的保护较好。通过对图像进行降噪，能够显著提升图像质量，减少图像中的噪点，使得人脸五官清晰，提高图像显示效果。
附图说明
[0014]为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
[0015]图1是本申请一种实施方式中的目标网络模型的结构示意图；
[0016]图2是本申请一种实施方式中的子网络的结构示意图；
[0017]图3是本申请一种实施方式中的子网络的结构示意图；
[0018]图4是本申请一种实施方式中的沙漏模块的结构示意图；
[0019]图5是本申请一种实施方式中的多重残差层的结构示意图；
[0020]图6是本申请一种实施方式中的目标网络模型的结构示意图；
[0021]图7是本申请一种实施方式中的图像降噪方法的流程示意图；
[0022]图8是本申请一种实施方式中的图像降噪设备的硬件结构图。
具体实施方式
[0023]在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0025]在采用图像降噪算法对图像进行降噪时，很难兼顾不同照度场景下的人脸噪点，对于人脸五官的边缘保真效果较差。例如，在不同照度场景下，人脸图像的噪点差异性较大、噪点形态分布也各不相同，在采用图像降噪算法进行图像降噪时，容易将人脸五官边界的细节当成噪点去除，对人脸细节的保护较差。
[0026]针对上述问题，本申请实施例提出一种基于深度学习技术的图像降噪方法，即采用深度学习算法实现图像降噪。为了采用深度学习算法实现图像降噪，本申请实施例中涉及如下过程：1、设计一种网络模型，该网络模型可以是基于深度学习算法的网络模型，也可
以是采用其它机器学习算法的网络模型，对此不做限制。2、网络模型的训练过程，即对网络模型进行训练，得到训练后的网络模型，将训练前的网络模型记为初始网络模型，将训练后的网络模型记为目标网络模型，可以基于目标网络模型实现图像降噪。在网络模型的训练过程中，设计一种损失函数，通过损失函数对初始网络模型的参数进行优化和调整，从而训练得到目标网络模型。3、基于目标网络模型的图像降噪过程，也就是说，可以将待降噪图像输入给目标网络模型，由目标网络模型输出降噪后的图像。
[0027]第一，针对初始网络模型的结构或者目标网络模型的结构，初始网络模型的结构与目标网络模型的结构相同，后续以目标网络模型的结构为例。
[0028]本申请实施例中，目标网络模型是用于对图像中的人脸区域进行降噪的网络模型，是根据实际使用情况专门设计的网络模型，能够对不同照度场景下的人脸图像进行降噪，从而能够显著提升图像质量，减少图像中的噪点。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像降噪方法，其特征在于，待训练的初始网络模型包括K个子网络，针对每个子网络，所述子网络包括M个网络通道，每个网络通道均包括降噪主通道和特征提取通道，K和M均为正整数，所述方法包括：对所述初始网络模型进行训练，得到已训练的目标网络模型；在得到并部署所述目标网络模型之后，获取待降噪图像，将所述待降噪图像输入给所述目标网络模型，得到已完成图像降噪的目标图像；其中，对所述初始网络模型进行训练，得到已训练的目标网络模型，包括：针对每个子网络，将样本图像输入给所述子网络中的网络通道的特征提取通道，以对所述特征提取通道的参数进行训练，得到初始特征提取参数；将样本图像输入给所述子网络中的网络通道的特征提取通道和降噪主通道，以对所述降噪主通道的参数进行训练，得到初始降噪参数；将样本图像输入给所述子网络，以对所述子网络的初始特征提取参数和初始降噪参数进行调整，得到候选特征提取参数和候选降噪参数；将样本图像输入给初始网络模型，以对初始网络模型的各个子网络的候选特征提取参数和候选降噪参数进行调整，得到目标特征提取参数和目标降噪参数，基于目标特征提取参数和目标降噪参数生成目标网络模型。2.根据权利要求1所述的方法，其特征在于，同一子网络中的不同网络通道对应相同的初始特征提取参数、同一子网络中的不同网络通道对应相同的候选特征提取参数、同一子网络中的不同网络通道对应相同的目标特征提取参数；同一子网络中的不同网络通道对应相同的初始降噪参数、同一子网络中的不同网络通道对应相同的候选降噪参数、同一子网络中的不同网络通道对应相同的目标降噪参数；不同子网络中的网络通道对应不同或相同的初始特征提取参数、不同子网络中的网络通道对应不同或相同的候选特征提取参数、不同子网络中的网络通道对应不同或相同的目标特征提取参数；不同子网络中的网络通道对应不同或相同的初始降噪参数、不同子网络中的网络通道对应不同或相同的候选降噪参数、不同子网络中的网络通道对应不同或相同的目标降噪参数。3.根据权利要求1所述的方法，其特征在于，所述将样本图像输入给所述子网络中的网络通道的特征提取通道，以对所述特征提取通道的参数进行训练，得到初始特征提取参数，包括：将样本图像输入给所述子网络中的每个网络通道的特征提取通道，以得到特征矩阵；基于该特征矩阵与该样本图像确定网络通道对应的第一初始损失值；基于每个网络通道对应的第一初始损失值确定第一目标损失值，基于所述第一目标损失值对特征提取通道的参数进行调整，得到初始特征提取参数。4.根据权利要求1所述的方法，其特征在于，所述将样本图像输入给所述子网络中的网络通道的特征提取通道和降噪主通道，以对所述降噪主通道的参数进行训练，得到初始降噪参数，包括：将样本图像输入给所述子网络中的每个网络通道的特征提取通道，以得到所述样本图像对应的特征矩阵，并将所述特征矩阵输入给降噪主通道；
将样本图像输入给所述子网络中的每个网络通道的降噪主通道，以得到所述样本图像和所述特征矩阵对应的原始输出特征；基于该原始输出特征与该样本图像确定网络通道对应的第二初始损失值；基于每个网络通道对应的第二初始损失值确定第二目标损失值，基于所述第二目标损失值对降噪主通道的参数进行调整，得到初始降噪参数。5.根据权利要求1所述的方法，其特征在于，所述将样本图像输入给所述子网络，以对所述子网络的初始特征提取参数和初始降噪参数进行调整，得到候选特征提取参数和候选降噪参数，包括：将样本图像输入给所述子网络中的每个网络通道的特征提取通道，以得到特征矩阵；基于该特征矩阵确定该网络通道对应的第三初始损失值；将样本图像输入...

【专利技术属性】
技术研发人员：沈晰强，傅斌，刘刚，曾峰，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：