图像去噪模型处理方法、装置及电子设备制造方法及图纸

本申请提供一种图像去噪模型处理方法、装置及电子设备，通过在训练学生模型时，根据教师模型和学生模型输出的处理结果的边缘特征差异计算学生模型的重构损失值，实现了在所述学生模型的训练过程中基于边缘特征差异进行图像去噪知识蒸馏，可以让学生模型将学习的范围集中在图像中的边缘特征，缩小学生模型的学习范围，从而提高知识蒸馏学习带来的提升效益。益。益。

【技术实现步骤摘要】
图像去噪模型处理方法、装置及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种图像去噪模型处理方法、装置及电子设备。

技术介绍

[0002]图像在人类社会中有着重要的作用，但由于图像的成像、传输、存储都会不可避免地受到一些外部因素的影响，导致图像中会存在明显的噪声。得益于深度学习的快速发展，深度学习相关的技术被广泛地应用在图像去噪任务，并且取得了非常令人瞩目的效果。但是，大多数性能优秀的图像去噪算法都伴随着庞大的网络参数量，想要获得较快的推理速度，就需要将算法部署在性能优越但价格高昂的设备上，提高了算法应用的成本。不仅如此，在一些边缘计算设备，如手机、相机等，更是受限于设备的计算、存储能力，将无法部署这些参数量庞大的图像去噪模型。减少图像去噪模型的参数量以及计算量，将能大大降低图像去噪模型的部署难度，但构造参数量小的图像去噪模型，虽然可以降低部署成本、提高模型推理速度，却又不可避免地会降低图像去噪模型的能力。
[0003]因此，在一些图像去噪方案中，使用了知识蒸馏的方法训练模型，通过先构造出一个拥有庞大的参数量且图像去噪能力优秀的教师模型，然后构造一个参数量小但去噪能力相对较弱的学生模型，学生模型在训练过程中将会逐步拟合教师模型的输出，从而使学生模型的性能逐渐向教师模型靠近。但是目前应用在图像去噪领域的知识蒸馏方法基本是基于完整特征图或是完整模型输出的，这种全局性的蒸馏学习，会让学生模型缺少明确的学习目标，从而减少知识蒸馏学习带来的提升效益。

技术实现思路

[0004]为了克服现有技术中的上述不足，本申请的目的在于提供一种图像去噪模型处理方法，所述包括：
[0005]获取训练完成的教师模型及待训练的学生模型，所述教师模型及所述学生模型用于对图像执行去噪处理，所述学生模型的结构复杂度小于所述教师模型的结构复杂度；
[0006]获取训练样本，所述训练样本包括需要具有噪声的待处理图像；
[0007]将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型输出的第一处理结果和所述学生模型输出的第二处理结果；
[0008]从所述第一处理结果中提取与图像内容边缘位置对应的第一边缘特征图像，从所述第二处理结果中提取与图像内容边缘位置对应的第二边缘特征图像；
[0009]根据所述第一边缘特征图像和所述第二边缘特征图像之间的差异计算获得第一重构损失值；
[0010]根据所述第一重构损失值对所述学生模型的模型参数进行调整。
[0011]在一种可能的实现方式中，所述训练样本还包括与所述待处理图像对应的去除噪声后的参照图像；所述方法还包括：
[0012]根据所述参照图像和所述第二处理结果进行重构损失计算，获得第二重构损失值；
[0013]所述根据所述第一重构损失值对所述学生模型的模型参数进行调整的步骤，包括：
[0014]根据所述第一重构损失值及所述第二重构损失值对所述学生模型的模型参数进行调整。
[0015]在一种可能的实现方式中，所述训练样本还包括与所述待处理图像对应的去除噪声后的参照图像；所述从所述第一处理结果中提取与图像内容边缘位置对应的第一边缘特征图像，从所述第二处理结果中提取与图像内容边缘位置对应的第二边缘特征图像的步骤，包括：
[0016]对所述训练样本中的参照图像进行图像内容边缘识别，获得图像内容的边缘轮廓位置信息；
[0017]根据所述边缘轮廓位置信息从所述第一处理结果中提取获得所述第一边缘特征图像，根据所述边缘轮廓位置信息从所述第二处理结果中提取获得所述第二边缘特征图像。
[0018]在一种可能的实现方式中，所述边缘轮廓位置信息包括边缘轮廓掩膜图像，所述边缘轮廓掩膜图像中与边缘位置对应的像素的值为1，与非边缘位置对应的像素的值为0；
[0019]所述根据所述边缘轮廓位置信息从所述第一处理结果中提取获得所述第一边缘特征图像，根据所述边缘轮廓位置信息从所述第二处理结果中提取获得所述第二边缘特征图像的步骤，包括：
[0020]将所述第一处理结果与所述边缘轮廓掩膜图像进行像素相乘，获得所述第一边缘特征图像；
[0021]将所述第二处理结果与所述边缘轮廓掩膜图像进行像素相乘，获得所述第二边缘特征图像。
[0022]在一种可能的实现方式中，所述根据所述第一边缘特征图像和所述第二边缘特征图像之间的差异计算获得第一重构损失值的步骤，包括：
[0023]根据所述第一边缘特征图像与所述第二边缘特征图像中各像素点之间的差异值，计算获得差异特征图；
[0024]将所述第一处理结果与所述差异特征图进行像素相乘，获得第一加权结果；
[0025]将所述第二处理结果与所述差异特征图进行像素相乘，获得第二加权结果；
[0026]根据所述第一加权结果和所述第二加权结果进行重构损失计算，获得所述第一重构损失值。
[0027]在一种可能的实现方式中，所述根据所述第一边缘特征图像与所述第二边缘特征图像中各像素点之间的差异值，计算获得差异特征图的步骤，包括：
[0028]计算所述第一边缘特征图像与所述第二边缘特征图像中各对应像素点之间的差值的绝对值，获得所述差异特征图。
[0029]在一种可能的实现方式中，所述将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型输出的第一处理结果和所述学生模型输出的第二处理结果的步骤，包括：
[0030]将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型输出的图像去噪结果作为所述第一处理结果，获得所述学生模型输出的图像去噪结果作为所述第二处理结果；
[0031]或，将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型执行图像去噪时提取的中间特征图作为所述第一处理结果，获得所述学生模型执行图像去噪时提取的中间特征图作为所述第二处理结果。
[0032]本申请的另一目的在于提供一种图像去噪模型处理装置，所述图像去噪模型处理装置包括：
[0033]模型获取模块，用于获取训练完成的教师模型及待训练的学生模型，所述教师模型及所述学生模型用于对图像执行去噪处理，所述学生模型的结构复杂度小于所述教师模型的结构复杂度；
[0034]样本获取模块，用于获取训练样本，所述训练样本包括需要具有噪声的待处理图像及去除噪声后的参照图像；
[0035]图像处理模块，用于将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型输出的第一处理结果和所述学生模型输出的第二处理结果；
[0036]边缘特征提取模块，用于从所述第一处理结果中提取与图像内容边缘位置对应的第一边缘特征图像，从所述第二处理结果中提取与图像内容边缘位置对应的第二边缘特征图像；
[0037]损失计算模块，用于根据所述第一边缘特征图像和所述第二边缘特征图像之间的差异计算获得第一重构损失值；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去噪模型处理方法，其特征在于，所述方法包括：获取训练完成的教师模型及待训练的学生模型，所述教师模型及所述学生模型用于对图像执行去噪处理，所述学生模型的结构复杂度小于所述教师模型的结构复杂度；获取训练样本，所述训练样本包括需要具有噪声的待处理图像；将所述训练样本中的待处理图像分别输入所述教师模型和所述学生模型，获得所述教师模型输出的第一处理结果和所述学生模型输出的第二处理结果；从所述第一处理结果中提取与图像内容边缘位置对应的第一边缘特征图像，从所述第二处理结果中提取与图像内容边缘位置对应的第二边缘特征图像；根据所述第一边缘特征图像和所述第二边缘特征图像之间的差异计算获得第一重构损失值；根据所述第一重构损失值对所述学生模型的模型参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述训练样本还包括与所述待处理图像对应的去除噪声后的参照图像；所述方法还包括：根据所述参照图像和所述第二处理结果进行重构损失计算，获得第二重构损失值；所述根据所述第一重构损失值对所述学生模型的模型参数进行调整的步骤，包括：根据所述第一重构损失值及所述第二重构损失值对所述学生模型的模型参数进行调整。3.根据权利要求1所述的方法，其特征在于，所述训练样本还包括与所述待处理图像对应的去除噪声后的参照图像；所述从所述第一处理结果中提取与图像内容边缘位置对应的第一边缘特征图像，从所述第二处理结果中提取与图像内容边缘位置对应的第二边缘特征图像的步骤，包括：对所述训练样本中的参照图像进行图像内容边缘识别，获得图像内容的边缘轮廓位置信息；根据所述边缘轮廓位置信息从所述第一处理结果中提取获得所述第一边缘特征图像，根据所述边缘轮廓位置信息从所述第二处理结果中提取获得所述第二边缘特征图像。4.根据权利要求3所述的方法，其特征在于，所述边缘轮廓位置信息包括边缘轮廓掩膜图像，所述边缘轮廓掩膜图像中与边缘位置对应的像素的值为1，与非边缘位置对应的像素的值为0；所述根据所述边缘轮廓位置信息从所述第一处理结果中提取获得所述第一边缘特征图像，根据所述边缘轮廓位置信息从所述第二处理结果中提取获得所述第二边缘特征图像的步骤，包括：将所述第一处理结果与所述边缘轮廓掩膜图像进行像素相乘，获得所述第一边缘特征图像；将所述第二处理结果与所述边缘轮廓掩膜图像进行像素相乘，获得所述第二边缘特征图像。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一边缘特征图像和所述第二边缘特征图像之间的差异计算获得第一重构损失值的步骤，包括：根据所述第一边缘特征图像与所述第二边缘特征图像中各像素点之间的差异值，计算获得差异特征图；
将所述第一处理结果与...

【专利技术属性】
技术研发人员：骆杰豪，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：