本发明专利技术涉及图像处理领域，公开了一种解耦去噪和增强细节的图像处理方法及装置。该方法将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的图像，并增大去噪后图像中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而通过所述图像处理模型的主分支，得到待处理图像经过去噪处理和细节增强后的图像，本发明专利技术可以解耦去噪和增强细节两个能力，分别对低分辨图像进行去噪和增强细节处理，增强了图像的去噪效果和增强细节效果。增强了图像的去噪效果和增强细节效果。增强了图像的去噪效果和增强细节效果。
【技术实现步骤摘要】
一种解耦去噪和增强细节的图像处理方法及装置
[0001]本专利技术涉及图像处理领域，特别是涉及一种解耦去噪和增强细节的图像处理方法及装置。
技术介绍
[0002]目前的图像超分辨率方法主要是使用卷积神经网络模型，在模型输入低分辨率图像，可以输出高分辨率图像。在训练模型时，对低分辨率图像做降低质量处理来引入噪声(比如JPEG压缩、加性高斯白噪声、模糊等)使得模型能够学习到既降噪又提升分辨率的效果。
[0003]虽然噪声和细节两种信号有各自的模式分布，但是都属于高频信息，所以两者在分布上会有重叠部分。目前的方法让模型同时学习去噪和提升细节清晰度的能力，去噪需要淡化信号，提升细节需要增强信号，所以同时学习这两种能力会形成对抗，往往不能很好地同时去掉噪声音并且提升细节。输出的结果要么去噪能力强些，使得过多细节被抹去，而增强细节的能力差导致画质模糊；要么去噪能力弱些，部分噪声被保留，而增强细节的能力强，会把没去除的噪声放大形成伪影。
技术实现思路
[0004]本专利技术提供了一种解耦去噪和增强细节的图像处理方法及装置，可以解耦去噪和增强细节两个能力，以使在处理图像时既能提高噪声的去除率，也能增强细节提升清晰度。
[0005]为了解决上述技术问题，本专利技术的第一实施例提供了一种解耦去噪和增强细节的图像处理方法，包括：
[0006]将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的第一特征图，并增大所述第一特征图中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而使所述图像处理模型的主分支处理第二特征图，得到待处理图像经过去噪处理和细节增强后的图像。
[0007]本专利技术将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的图像，并增大去噪后图像中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而通过所述图像处理模型的主分支，得到待处理图像经过去噪处理和细节增强后的图像，实现解耦去噪和增强细节两个能力，分别对低分辨图像进行去噪和增强细节处理，增强了图像的去噪效果和增强细节效果。
[0008]进一步地，所述训练好的图像处理模型，具体为：
[0009]构建图像处理训练模型，其中，所述图像处理训练模型包括骨干网络、主分支和辅助分支；
[0010]在所述图像处理训练模型输入训练图像；
[0011]利用优化算法对训练图像做去噪处理，并训练辅助分支输出去噪后的第一目标图像；
[0012]利用优化算法对第一目标图像做增强细节处理，并训练主分支输出增强细节后的第二目标图像；
[0013]当模型训练完成后，确定所述图像处理训练模型的参数，移除辅助分支，形成训练好的图像处理模型。
[0014]本专利技术构建了一个图像处理模型用于处理图像，其中，所述模型不仅包括骨干网路和主分支，还包括一个辅助分支，利用优化算法训练模型，训练辅助分支输出去噪后的图像，训练主分支训练细节增强后的图像，在模型训练完成后，使用该模型时需要移除辅助分支；利用优化算法分别训练模型的不同部分，能更好地反馈所述模型对去噪和增强细节两个能力的训练结果，从而增强所述模型的训练效果。
[0015]进一步地，优化算法，具体为：
[0016]采用损失函数作为优化算法的目标函数，其中，所述损失函数由两部分组成，分别引导辅助分支和主分支训练所述图像处理模型；
[0017]所述损失函数的表达式为：
[0018][0019]其中，是损失函数；DN是辅助分支输出的训练第一目标图像；HR是主分支输出的训练第二目标图像；GT
dn
是与训练图像相同尺寸且去除噪声后的图像；GT
hr
是分辨率高于训练图像且无噪声的图像；函数l1表示范数；λ是权重系数。
[0020]进一步地，所述构建图像处理训练模型，具体为：
[0021]采用深度神经网络模型作为图像处理训练模型；其中，所述图像处理训练模型包括骨干网络、主分支和辅助分支；
[0022]所述骨干网络采用ESRNet结构，由上采样层和下采样层组成；
[0023]所述辅助分支用于输出经过骨干网络的上采样层的图像；
[0024]所述主分支用于输出经过骨干网络的下采样层的图像。
[0025]本专利技术的图像处理训练模型采用了深度神经网络模型，由骨干网络、辅助分支和主分支组成；其中，骨干网络采用ESRNet结构，由上采样层和下采样层组成；辅助分支和主分支分别用于输出经过骨干网络的上下采样层的图像。本专利技术分别输出去噪的图像和增强细节的图像，能更好地反馈图像处理训练模型对去噪和增强细节两个能力的训练结果，从而增强所述图像处理训练模型的训练效果。
[0026]进一步地，所述使所述图像处理模型的主分支处理第二特征图，得到待处理图像经过去噪处理和细节增强后的图像，具体为：
[0027]通过图像处理模型的主分支将第二特征图映射至彩色空间，得到待处理图像经过去噪处理和细节增强后的图像。
[0028]本专利技术在使用训练好的图像处理模型输出经过去噪和增强细节后的高分辨图像时，是通过图像处理模型的主分支将第二特征图映射到彩色空间，输出处理后的无噪声且细节增强后的高分辨图像。
[0029]进一步地，所述待处理图像中的噪声为：图像在录制传播过程中引入的格子伪影、振铃现象、加性高斯噪声；其中，噪声均匀出现在待处理图像的全画幅中或出现在待处理图
像的纹理边缘。
[0030]本专利技术提供了一种解耦去噪和增强细节的图像处理方法，将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的图像，并增大去噪后图像中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而通过所述图像处理模型的主分支，得到待处理图像经过去噪处理和细节增强后的图像，实现解耦去噪和增强细节两个能力，分别对低分辨图像进行去噪和增强细节处理，增强了图像的去噪效果和增强细节效果。
[0031]相应的，本专利技术提供了一种解耦去噪和增强细节的图像处理装置，包括：处理模块；
[0032]所述处理模块用于将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的第一特征图，并增大所述第一特征图中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而使所述图像处理模型的主分支处理第二特征图，得到待处理图像经过去噪处理和细节增强后的图像。
[0033]进一步地，所述处理模块，包括：构建单元、输入单元、第一训练单元、第二训练单元和移除单元；
[0034]所述构建单元用于构建图像处理训练模型，其中，所述图像处理训练模型包括骨干网络、主分支和辅本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种解耦去噪和增强细节的图像处理方法，其特征在于，包括：将待处理图像输入至训练好的图像处理模型，以使所述图像处理模型的骨干网络对所述待处理图像中的噪声做增大响应值和减小像素值处理，获得去噪处理后的第一特征图，并增大所述第一特征图中的纹理、形变边缘的像素值和梯度，获得增强细节后的第二特征图，继而使所述图像处理模型的主分支处理第二特征图，得到待处理图像经过去噪处理和细节增强后的图像。2.根据权利要求1所述的解耦去噪和增强细节的图像处理方法，其特征在于，所述训练好的图像处理模型，具体为：构建图像处理训练模型，其中，所述图像处理训练模型包括骨干网络、主分支和辅助分支；在所述图像处理训练模型输入训练图像；利用优化算法对训练图像做去噪处理，并训练辅助分支输出去噪后的第一目标图像；利用优化算法对第一目标图像做增强细节处理，并训练主分支输出增强细节后的第二目标图像；当模型训练完成后，确定所述图像处理训练模型的参数，移除辅助分支，形成训练好的图像处理模型。3.根据权利要求2所述的解耦去噪和增强细节的图像处理方法，其特征在于，所述优化算法，具体为：采用损失函数作为优化算法的目标函数，其中，所述损失函数由两部分组成，分别引导辅助分支和主分支训练所述图像处理模型；所述损失函数的表达式为：其中，是损失函数；DN是辅助分支输出的训练第一目标图像；HR是主分支输出的训练第二目标图像；GT
dn
是与训练图像相同尺寸且去除噪声后的图像；GTh
r
是分辨率高于训练图像且无噪声的图像；函数l1表示范数；λ是权重系数。4.根据权利要求2所述的解耦去噪和增强细节的图像处理方法，其特征在于，所述构建图像处理训练模型，具体为：采用深度神经网络模型作为图像处理训练模型；其中，所述图像处理训练模型包括骨干网络、主分支和辅助分支；所述骨干网络采用ESRNet结构，由上采样层和下采样层组成；所述辅助分支用于输出经过骨干网络的上采样层的图像；所述主分支用于输出经过骨干网络的下采样层的图像。5.根据权利要求1所述的解耦去噪和增强细节的图像处理方法，其特征在于，所述使所述图像处理模型的主分支处理第二特征图，得到待处理图像经过去噪处理和细节增强后的图像，具体为：通过图像处理模型的主分支将...
【专利技术属性】
技术研发人员：黄杰，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。