【技术实现步骤摘要】
一种图像增强方法、图像增强模型的训练方法及相关设备
[0001]本申请涉及计算机视觉领域，尤其涉及一种图像增强方法、图像增强模型的模型训练方法及相关设备。
技术介绍
[0002]计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。
[0003]随着带有相机的移动设备的普及和通讯的发展，人们日益通过更便捷的方式来获取图像...
【技术保护点】
【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：获取待处理图像，所述待处理图像包括第一待处理区域和第二待处理区域，所述第一待处理区域与第一图像增强类型对应，所述第二待处理区域与第二图像增强类型对应，且所述第一图像增强类型不同于所述第二图像增强类型；确定所述待处理图像的第一掩膜和第二掩模，其中，所述第一掩模用于所述第一图像增强类型，所述第二掩模用于所述第二图像增强类型；将所述待处理图像、所述第一掩膜和所述第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像、所述第一掩膜和所述第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像包括：将所述待处理图像、所述第一掩膜和所述第二掩模进行融合处理，得到第一特征图像；将所述第一特征图像输入至所述训练好的图像增强模型，对所述第一特征图像进行图像增强处理，得到所述第一目标图像。3.根据权利要求2所述的方法，其特征在于，所述对该第一特征图像进行图像增强处理，得到所述第一目标图像包括：基于第一处理模块对所述第一特征图像进行图像增强处理，得到所述第一目标图像，其中，所述第一处理模块用于加深所述训练好的图像增强模型的模型深度。4.根据权利要求3所述的方法，其特征在于，所述第一处理模块包括卷积子模块，所述基于所述第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像包括：对所述第一特征图像进行参数稀疏化处理，得到第三特征图像，所述第三特征图像的尺寸大小与所述卷积子模块中卷积核的尺寸大小相等；基于第一处理模块对该第三特征图像进行图像增强处理，得到所述第一目标图像。5.根据权利要求3或4所述的方法，其特征在于，所述第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(Pixel Shuffle)处理模块或激活函数处理模块中的至少一项。6.根据权利要求2至5任一项所述的方法，其特征在于，所述将所述待处理图像、所述第一掩膜和所述第二掩模进行融合处理，得到第一特征图像包括：对所述待处理图像、所述第一掩膜和所述第二掩模进行融合处理，得到第二特征图像，所述第二特征图像包括a个信道维度信息，所述a为大于1的整数；确定所述a个信道维度信息的第一权重；根据所述第二特征图像和所述第一权重得到所述第一特征图像。7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一掩膜包括第一区域，其中，所述第一区域在所述第一掩膜中的相对位置与所述第一待处理区域在所述待处理图像中的相对位置相同，且在所述第一掩膜中，所述第一区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值；和/或，所述第二掩膜包括第二区域，其中，所述第二区域在所述第二掩膜中的相对位置与所述第二待处理区域在所述待处理图像中的相对位置相同，且在所述第二掩膜中，所述第二
区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值。8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；和/或，所述第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一待处理区域和所述第二待处理区域存在重叠部分。10.一种图像增强模型的训练方法，其特征在于，包括：获取训练样本，所述训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，所述第一图像包括第一待处理区域，所述第一待处理区域与第一图像增强类型对应，所述第一标签图像包括第一已处理区域，所述第一已处理区域与所述第一图像增强类型对应；所述第二图像包括第二待处理区域，所述第二待处理区域与第二图像增强类型对应，所述第二标签图像包括第二已处理区域，所述第二已处理区域与所述第二图像增强类型对应，且所述第一图像增强类型不同于所述第二图像增强类型；确定所述第一图像的第一掩膜和所述第二图像的第二掩膜，其中，所述第一掩模用于所述第一图像增强类型，所述第二掩模用于所述第二图像增强类型；将所述第一图像、所述第二图像、所述第一掩膜和所述第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像；根据第一损失函数和第二损失函数对所述图像增强模型进行训练，得到训练好的图像增强模型；其中，所述第一损失函数用于指示所述第一输出图像与所述第一标签图像之间基于所述第一图像增强类型的差异，所述第二损失函数用于指示所述第二输出图像与所述第二标签图像之间基于所述第二图像增强类型的差异。11.根据权利要求10所述的方法，其特征在于，所述将所述第一图像、所述第二图像、所述第一掩膜和所述第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和所述第二输出图像包括：将所述第一图像、所述第二图像所述第一掩膜和所述第二掩模进行融合处理，得到第一特征图像；将所述第一特征图像输入至所述图像增强模型，对所述第一特征图像进行图像增强处理，得到所述第一输出图像和所述第二输出图像。12.根据权利要求11所述的方法，其特征在于，所述将所述第一图像、所述第二图像、所述第一掩膜和所述第二掩模进行融合处理，得到第一特征图像包括：对所述第一图像、所述第二图像、所述第一掩膜和所述第二掩模进行融合处理，得到第二特征图像，所述第二特征图像包括a个信道维度信息，所述a为大于1的整数；确定所述a个信道维度信息的第一权重；根据所述第二特征图像和所述第一权重得到所述第一特征图像。13.根据权利要求10至12任一项所述的方法，其特征在于，所述第一掩膜中的掩膜数量为多个，在所述第一掩膜中的多个掩膜中，第x个掩膜中像
素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；所述第二掩膜中的掩膜数量为多个，在所述第二掩膜中的多个掩膜中，第y个掩膜中像素点的取值为所述第一数值，其余掩膜中像素点的取值为所述第二数值；其中，x和y均为大于0的整数，且x不等于y。14.根据权利要求10至13任一项所述的方法，其特征在于，所述第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；和/或，所述第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。15.根据权利要求10至14任一项所述的方法，其特征在于，所述第一待处理区域和所述第二待处理区域存在重叠部分。16.根据权利要求10至15任一项所述的方法，其特征在于，所述图像增强模型包括第一权重系数集，所述根据第一损失函数和第二损失函数对所述图像增强模型进行训练，得到训练好的图像增强模型包括：根据所述第一损失函数和所述第二损失函数对所述图像增强模型进行训练，得到第二权重系数集；根据所述第二权重系数集更新所述图像增强模型中的第一权重系数集，得到所述训练好的图像增强模型。17.根据权利要求10至16任一项所述的方法，其特征在于，所述第一损失函数或所述第二损失函数的函数类型包括如下至少一项：像素损失函数Pixel loss、均方误差损失函数MSE Loss、结构相似性指数损失函数SSIM Loss，感知损失函数Perceptual Loss或生成对抗网络损失函数GAN Loss。18.根据权利要求10至17任一项所述的方法，其特征在于，所述第一图像的图像数量与所述第一标签图像的图像数量相等；和/或，所述第二图像的图像数量与所述第二标签图像的图像数量之和相等。19.一种图像增强装置，其特征在于，包括：获取单元，用于获取待处理图像，所述待处理图像包括第一待处理区域和第二待处理区域，所述第一待处理区域与第一图像增强类型对应，所述第二待处理区域与第二图像增强类型对应，且所述第一图像增强类型不同于所述第二图像增...
【专利技术属性】
技术研发人员：关婧玮，董九阳，刘欣，李林格，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。