本申请公开了一种模型训练方法、装置、计算机设备和存储介质，属于图像处理技术领域。该方法包括：获取多个图像对，该多个图像对中每个图像对包括噪声图像和对应的去噪图像；对该多个图像对中每个图像对中的噪声图像进行下采样，得到所述噪声图像对应的样本图像；将该多个图像对中每个图像对中的噪声图像对应的样本图像和去噪图像确定为一个训练样本，得到多个训练样本；以该多个训练样本中的样本图像为输入图像，以该多个训练样本中的去噪图像为样本标记，对神经网络模型进行训练，得到去噪模型。本申请训练得到的去噪模型的输入图像的分辨率也较小，因而该去噪模型在使用时，在取得较好的去噪效果的同时，内存占用较低，处理时间也较短。理时间也较短。理时间也较短。
【技术实现步骤摘要】
模型训练方法、装置、计算机设备和存储介质
[0001]本申请涉及图像处理
，特别涉及一种模型训练方法、装置、计算机设备和存储介质。
技术介绍
[0002]超级夜景算法作为手机厂商竞争的主打拍照算法，原理是以不同曝光时间采集的多帧图像作为输入，进行多帧合成、HDR(High Dynamic Range Imaging，高动态范围成像)、去噪、ISP(Image Signal Processing，图像信号处理)来得到最终输出。
[0003]图像去噪作为超级夜景算法中的一个重要环节，属于计算机视觉中的一个重要研究领域。图像去噪的目的在于在给定的噪声图像中恢复出潜在的清晰图像，并保留更多的原始细节。
[0004]目前，可以采用BM3D(Block-Matching 3D，三维块匹配)算法进行图像去噪。但是BM3D算法复杂度较高，处理时间久，而且对于混合噪声(如加性噪声与乘性噪声的混合噪声)的去除效果不佳。
技术实现思路
[0005]本申请实施例提供了一种模型训练方法、装置、计算机设备和存储介质，可以在取得较好的去噪效果的同时，降低内存占用，减少处理时间。所述技术方案如下：
[0006]第一方面，提供了一种模型训练方法，包括：
[0007]获取多个图像对，所述多个图像对中每个图像对包括噪声图像和对应的去噪图像；
[0008]对所述多个图像对中每个图像对中的噪声图像进行下采样，得到所述噪声图像对应的样本图像；
[0009]将所述多个图像对中每个图像对中的噪声图像对应的样本图像和去噪图像确定为一个训练样本，得到多个训练样本；
[0010]以所述多个训练样本中的样本图像为输入图像，以所述多个训练样本中的去噪图像为样本标记，对神经网络模型进行训练，得到去噪模型。
[0011]在本申请中，可以对噪声图像进行下采样来得到样本图像，然后将该噪声图像对应的样本图像和去噪图像作为训练样本对神经网络模型进行训练，来得到去噪模型。由于该神经网络模型的输入图像的分辨率较小，所以可以减轻模型处理压力，提高模型处理速度，继而提高模型训练速度。并且，对该神经网络模型训练得到的去噪模型的输入图像的分辨率也较小，因而该去噪模型在使用时，在取得较好的去噪效果的同时，内存占用较低，处理时间也比较短。
[0012]可选地，所述噪声图像和其对应的所述去噪图像的分辨率相同。
[0013]可选地，所述获取多个图像对，包括：
[0014]获取终端以不同曝光时间对同一场景拍摄的带有噪声的多张图像；
[0015]从所述多张图像中选择一张图像作为第一图像；
[0016]对所述多张图像进行融合处理，得到去除噪声的第二图像；
[0017]根据所述第一图像和所述第二图像确定一个或多个图像对。
[0018]可选地，所述根据所述第一图像和所述第二图像确定一个或多个图像对，包括：
[0019]将所述第一图像和所述第二图像确定为一个图像对，所述第一图像为噪声图像，所述第二图像为去噪图像；和/或
[0020]对所述第一图像和所述第二图像进行同样的翻转或旋转，将经过同样的翻转或旋转后的所述第一图像和所述第二图像确定为一个图像对，翻转或旋转后的所述第一图像为噪声图像，翻转或旋转后的所述第二图像为去噪图像。
[0021]可选地，所述神经网络模型包括n个第一卷积层、多个RRG(Recursive Residual Group，递归残差组)层、n个上采样层，所述n为大于或等于2的整数；
[0022]所述n个第一卷积层、所述多个RRG层、所述n个上采样层、所述第二卷积层依次连接；所述n个上采样层的上采样倍数之积是所述n个第一卷积层中的卷积核的步长之积的s倍，所述s是对所述多个图像对中每个图像对中的噪声图像进行下采样时采用的下采样倍数，所述s大于1。
[0023]可选地，所述多个RRG层中的至少两个RRG层之间存在跳跃连接，所述n个第一卷积层与所述n个上采样层之间存在跳跃连接。
[0024]可选地，所述以所述多个训练样本中的样本图像为输入图像，以所述多个训练样本中的去噪图像为样本标记，对神经网络模型进行训练，得到去噪模型，包括：
[0025]以所述多个训练样本中的样本图像为输入图像，以所述多个训练样本中的去噪图像为样本标记，对所述神经网络模型进行多次迭代训练，直至模型收敛，得到所述去噪模型；
[0026]可选地，所述多次迭代训练中的前r次迭代训练根据第一损失函数进行，所述多次迭代训练中除所述前r次的迭代训练之外的k次迭代训练根据第二损失函数进行，所述第一损失函数与所述第二损失函数不同，所述r和所述k均为正整数。
[0027]可选地，所述第二损失函数为颜色损失函数，所述第一损失函数根据L1范数损失函数和SSIM(Structural Similarity Index Measurement，结构相似度指标测量)函数确定得到。
[0028]可选地，所述第一损失函数为：
[0029]其中，所述Loss为所述第一损失函数的损失值，所述x为输入图像，所述y为输出图像，所述为样本标记，所述L1()为L1范数损失函数，所述SSIM()为SSIM函数，所述w1为所述L1范数损失函数对应的权值，所述w2为所述SSIM函数对应的权值。
[0030]第二方面，提供了一种模型训练装置，包括：
[0031]第一获取模块，用于获取多个图像对，所述多个图像对中每个图像对包括噪声图像和对应的去噪图像；
[0032]第二获取模块，用于对所述多个图像对中每个图像对中的噪声图像进行下采样，得到所述噪声图像对应的样本图像；
[0033]确定模块，用于将所述多个图像对中每个图像对中的噪声图像对应的样本图像和
去噪图像确定为一个训练样本，得到多个训练样本；
[0034]训练模块，用于以所述多个训练样本中的样本图像为输入图像，以所述多个训练样本中的去噪图像为样本标记，对神经网络模型进行训练，得到去噪模型。
[0035]可选地，所述噪声图像和其对应的所述去噪图像的分辨率相同。
[0036]可选地，所述第一获取模块用于：
[0037]获取终端以不同曝光时间对同一场景拍摄的带有噪声的多张图像；
[0038]从所述多张图像中选择一张图像作为第一图像；
[0039]对所述多张图像进行融合处理，得到去除噪声的第二图像；
[0040]根据所述第一图像和所述第二图像确定一个或多个图像对。
[0041]可选地，所述第一获取模块用于：
[0042]将所述第一图像和所述第二图像确定为一个图像对，所述第一图像为噪声图像，所述第二图像为去噪图像；和/或
[0043]对所述第一图像和所述第二图像进行同样的翻转或旋转，将经过同样的翻转或旋转后的所述第一图像和所述第二图像确定为一个图像对，翻转或旋转后的所述第一图像为噪声图像，翻转或旋转后的所述第二图像为去噪图像。
...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取多个图像对，所述多个图像对中每个图像对包括噪声图像和对应的去噪图像；对所述多个图像对中每个图像对中的噪声图像进行下采样，得到所述噪声图像对应的样本图像；将所述多个图像对中每个图像对中的噪声图像对应的样本图像和去噪图像确定为一个训练样本，得到多个训练样本；以所述多个训练样本中的样本图像为输入图像，以所述多个训练样本中的去噪图像为样本标记，对神经网络模型进行训练，得到去噪模型。2.如权利要求1所述的方法，其特征在于，所述噪声图像和其对应的所述去噪图像的分辨率相同。3.如权利要求1所述的方法，其特征在于，所述获取多个图像对，包括：获取终端以不同曝光时间对同一场景拍摄的带有噪声的多张图像；从所述多张图像中选择一张图像作为第一图像；对所述多张图像进行融合处理，得到第二图像；根据所述第一图像和所述第二图像确定一个或多个图像对。4.如权利要求3所述的方法，其特征在于，所述根据所述第一图像和所述第二图像确定一个或多个图像对，包括：将所述第一图像和所述第二图像确定为一个图像对，所述第一图像为噪声图像，所述第二图像为去噪图像；和/或对所述第一图像和所述第二图像进行同样的翻转或旋转，将经过同样的翻转或旋转后的所述第一图像和所述第二图像确定为一个图像对，翻转或旋转后的所述第一图像为噪声图像，翻转或旋转后的所述第二图像为去噪图像。5.如权利要求1所述的方法，其特征在于，所述神经网络模型包括n个第一卷积层、多个递归残差组RRG层、n个上采样层，所述n为大于或等于2的整数；所述n个第一卷积层、所述多个RRG层、所述n个上采样层依次连接；所述n个上采样层的上采样倍数之积是所述n个第一卷积层中的卷积核的步长之积的s倍，所述s是对所述多个图像对中每个图像对中的噪声图像进行下采样时采用的下采样倍数，所述s大于1。6.如权利要求5所述的方法，其特征在于，所述多个RRG层中的至少两个RRG层之间存在跳跃连接，所述n个第一卷积层与所述n个上采样层之间存在跳跃连接。7.如权利要求1-6任一所述的方法，其特征在于，所述以所述多个训练样本中的样本图像为输入图像，以所述多个...
【专利技术属性】
技术研发人员：黄海鹏，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。