模型训练方法、装置及拍照终端制造方法及图纸

本申请实施例提供一种模型训练方法、装置及拍照终端，方法及装置用于对包括去噪模型和调色模型的CNN模型进行训练。方法包括：分别对获取到的训练数据中的短曝光图像和长曝光图像进行小波分解，得到短曝光图像的第一低频子图和第一高频子图及长曝光图像的第二低频子图和第二高频子图。对去噪模型进行初始化得到第一去噪模型实例和第二去噪模型实例，根据第一低频子图和第二低频子图训练第一去噪模型，根据第一高频子图和第二高频子图训练第二去噪模型。对经过去噪模型处理的第一低频子图和第一高频子图进行小波重建，根据重建的图像和长曝光图像对调色模型进行训练。

Model training method, device and photographing terminal

The embodiment of the present application provides a model training method, a device and a photographic terminal, a method and a device for training a CNN model including a denoising model and a tone model. The method includes: wavelet decomposition of the short exposure image and the long exposure image in the acquired training data, obtaining the first low frequency sub-image and the first high frequency sub-image of the short exposure image, and the second low frequency sub-image and the second high frequency sub-image of the long exposure image. First denoising model instance and second denoising model instance are obtained by initializing the denoising model. The first denoising model is trained according to the first low frequency subgraph and the second low frequency subgraph, and the second denoising model is trained according to the first high frequency subgraph and the second high frequency subgraph. The first low frequency sub-image and the first high frequency sub-image processed by the denoising model are reconstructed by wavelet transform, and the color blending model is trained according to the reconstructed image and the long exposure image.

【技术实现步骤摘要】
模型训练方法、装置及拍照终端
本申请涉及图像处理
，具体而言，涉及一种模型训练方法、装置及拍照终端。
技术介绍
由于移动终端(如，手机)的硬件的固有特性，几乎所有移动终端在弱光环境下都存在拍照画质较低的问题。照片画质低主要表现在噪点数量多和颜色失真。在现有技术中，虽然可以通过延长快门时间(即，曝光时间)来提升画质，但过长的曝光时间容易出现抖动问题，从而导致拍摄的照片很模糊，这种情况必须要使用专业拍照的三脚架才能有所缓解。而对普通的移动终端用户而言，在拍照时需要使用专业的三脚架才能得到高画质的图片，非常不便。申请内容有鉴于此，本申请的目的包括提供一种模型训练方法、装置及拍照终端，以改善上述问题。为了达到上述目的，本申请实施例采用如下技术方案：本申请实施例提供一种模型训练方法，用于对包括去噪模型和调色模型的CNN模型进行训练，该方法包括：获取训练数据，该训练数据包括分别在短曝光和长曝光两种条件下对同一场景进行采集得到的短曝光图像和长曝光图像；对所述训练数据中的短曝光图像进行小波分解，得到第一低频子图和第一高频子图，对所述训练数据中的长曝光图像进行小波分解，得到第二低频子图和第二高频子图；对所述去噪模型进行初始化，得到第一去噪模型实例和第二去噪模型实例；将第一低频子图输入所述第一去噪模型实例得到去噪后的第一低频子图，并根据所述第二低频子图和所述去噪后的第一低频子图对所述第一去噪模型实例的各参数的值进行更新；将第一高频子图输入所述第二去噪模型实例得到去噪后的第一高频子图，并根据所述第二高频子图和所述去噪后的第一高频子图对所述第二去噪模型实例的各参数的值进行更新；对所述去噪后的第一低频子图和所述去噪后的第一高频子图进行小波重建，将重建得到的图像输入所述调色模型输出图像，并根据所述输出图像和所述长曝光图像对所述调色模型的各参数的值进行更新。本申请实施例还提供一种模型训练装置，用于对包括去噪模型和调色模型的CNN模型进行训练，该装置包括：数据获取模块，用于获取训练数据，该训练数据包括分别通过短曝光和长曝光对同一场景进行采集得到的短曝光图像和长曝光图像；数据处理模块，用于对所述训练数据中的短曝光图像进行小波分解，得到第一低频子图和第一高频子图，对所述训练数据中的长曝光图像进行小波分解，得到第二低频子图和第二高频子图；初始化模块，用于对所述去噪模型进行初始化，得到第一去噪模型实例和第二去噪模型实例；第一训练模块，用于将第一低频子图输入所述第一去噪模型实例得到去噪后的第一低频子图，并根据所述第二低频子图和所述去噪后的第一低频子图对所述第一去噪模型实例的各参数的值进行更新；第二训练模块，用于将第一高频子图输入所述第二去噪模型实例得到去噪后的第一高频子图，并根据所述第二高频子图和所述去噪后的第一高频子图对所述第二去噪模型实例的各参数的值进行更新；第三训练模块，用于对所述去噪后的第一低频子图和所述去噪后的第一高频子图进行小波重建，将重建得到的图像输入所述调色模型输出图像，并根据所述输出图像和所述长曝光图像对所述调色模型的各参数的值进行更新。本申请实施例还提供一种拍照终端，包括处理器及机器可读存储介质，该机器可读存储介质存储有通过本申请实施例提供的模型训练方法训练得到的CNN模型；所述处理器将在短曝光条件下采集到的图像输入所述CNN模型，得到对应的长曝光图像。相对于现有技术而言，本申请实施例具有以下有益效果：本申请实施例提供一种模型训练方法、装置及拍照终端。通过以下方式对包括去噪模型和调色模型的CNN模型进行训练：获取训练数据，该训练数据包括分别在短曝光条件下和在长曝光条件下对同一场景进行采集得到的短曝光图像和长曝光图像。对该短曝光图像进行小波分解得到第一低频子图和第一高频子图，对该长曝光图像进行小波分解得到第二低频子图和第二高频子图。对去噪模型初始化，得到第一去噪模型实例和第二去噪模型实例。根据第一低频子图和第二低频子图训练第一去噪模型，根据第一高频子图和第二高频子图训练第二去噪模型。对经过去噪模型处理的第一低频子图和第一高频子图进行小波重构，跟重构的图像和长曝光图像对调色模型进行训练。如此，可以通过训练完成后的CNN模型直接将图像从短曝光画质提升到长曝光画质，而不必真的在长曝光条件下进行拍照，也就不必借助三脚架等外部结构来固定移动终端，使用起来非常方便。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种拍照终端的方框示意图；图2为本申请实施例提供的一种模型训练方法的流程示意图；图3为本申请实施例提供的一种去噪模型的网络结构示意图；图4为本申请实施例提供的一种调色模型的网络结构示意图；图5为本申请实施例提供的一种模型训练装置的功能模块框图。图标：100-拍照终端；110-存储器；120-处理器；130-图像传感器；140-显示单元；200-CNN模型；300-模型训练装置；310-数据获取模块；320-数据处理模块；330-初始化模块；340-第一训练模块；350-第二训练模块；360-第三训练模块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和展示的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。鉴于通过延长曝光时间来提升所拍照片的画质，容易导致所拍照片模糊，需要使用专业的三脚架才能改善这一问题，专利技术人通过多方研究发现，若能直接将移动终端拍摄的短曝光画质的照片提升到长曝光画质，则可以不必去延长移动终端拍照时的曝光时间，也就不必使用专门的三脚架来避免移动终端在拍照过程中发生抖动。基于此，专利技术人进一步提出了通过卷积神经网路(ConvolutionalNeutralNetwork，CNN)模型来将短曝光画质提升到长曝光画质。请参照图1，是本申请实施例提供的一种拍照中的100的方框示意图，所述拍照中的100可以是任意具有拍照功能及图像处理功能的移动终端。所述拍照中的100包括CNN模型200、存储器110、处理器120及图像传感器130。所述存储器110、处理器120以及图像传感器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有机器可读存储介质，该机器可读存储介质上存储有CNN模型200；图像传感器130用于拍摄照片并将拍到的照本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，用于对包括去噪模型和调色模型的CNN模型进行训练，该方法包括：获取训练数据，该训练数据包括分别在短曝光和长曝光两种条件下对同一场景进行采集得到的短曝光图像和长曝光图像；对所述训练数据中的短曝光图像进行小波分解，得到第一低频子图和第一高频子图，对所述训练数据中的长曝光图像进行小波分解，得到第二低频子图和第二高频子图；对所述去噪模型进行初始化，得到第一去噪模型实例和第二去噪模型实例；将所述第一低频子图输入所述第一去噪模型实例得到去噪后的第一低频子图，并根据所述第二低频子图和所述去噪后的第一低频子图对所述第一去噪模型实例的各参数的值进行更新；将所述第一高频子图输入所述第二去噪模型实例得到去噪后的第一高频子图，并根据所述第二高频子图和所述去噪后的第一高频子图对所述第二去噪模型实例的各参数的值进行更新；对所述去噪后的第一低频子图和所述去噪后的第一高频子图进行小波重建，将重建得到的图像输入所述调色模型输出图像，并根据所述输出图像和所述长曝光图像对所述调色模型的各参数的值进行更新。

【技术特征摘要】
1.一种模型训练方法，其特征在于，用于对包括去噪模型和调色模型的CNN模型进行训练，该方法包括：获取训练数据，该训练数据包括分别在短曝光和长曝光两种条件下对同一场景进行采集得到的短曝光图像和长曝光图像；对所述训练数据中的短曝光图像进行小波分解，得到第一低频子图和第一高频子图，对所述训练数据中的长曝光图像进行小波分解，得到第二低频子图和第二高频子图；对所述去噪模型进行初始化，得到第一去噪模型实例和第二去噪模型实例；将所述第一低频子图输入所述第一去噪模型实例得到去噪后的第一低频子图，并根据所述第二低频子图和所述去噪后的第一低频子图对所述第一去噪模型实例的各参数的值进行更新；将所述第一高频子图输入所述第二去噪模型实例得到去噪后的第一高频子图，并根据所述第二高频子图和所述去噪后的第一高频子图对所述第二去噪模型实例的各参数的值进行更新；对所述去噪后的第一低频子图和所述去噪后的第一高频子图进行小波重建，将重建得到的图像输入所述调色模型输出图像，并根据所述输出图像和所述长曝光图像对所述调色模型的各参数的值进行更新。2.根据权利要求1所述的模型训练方法，其特征在于，根据所述第二低频子图和所述去噪后的第一低频子图对所述第一去噪模型实例的各参数的值进行更新的步骤，包括：根据所述第二低频子图、所述去噪后的第一低频子图、预设的损失函数及预设步长，计算所述第一去噪模型实例中每个参数当前的梯度下降值；当计算出的各个梯度下降值均小于预设的终止距离时，针对所述第一去噪模型实例中的每个参数，将该参数的值更新为该参数的当前值与该参数当前的梯度下降值之差。3.根据权利要求2所述的模型训练方法，其特征在于，根据所述第二高频子图和所述去噪后的第一高频子图对所述第二去噪模型实例的各参数的值进行更新的步骤，包括：根据所述第二高频子图、所述去噪后的第一高频子图、所述损失函数及所述预设步长计算所述第二去噪模型实例中每个参数当前的梯度下降值；当计算出的各个梯度下降值均小于所述终止距离时，针对所述第二去噪模型实例中的每个参数，将该参数的值更新为该参数的当前值与该参数当前的梯度下降值之差。4.根据权利要求2或3所述的模型训练方法，其特征在于，所述方法还包括：当计算出的所述第一去噪模型实例中各参数的梯度下降值为0时，停止更新所述第一去噪模型实例中的各参数的值；当计算出的所述第二去噪模型实例中各参数的梯度下降值为0时，停止更新所述第二去噪模型实例中的各参数的值。5.根据权利要求2或3所述的模型训练方法，其特征在于，根据所述输出图像和所述长曝光图像对所述调色模型的各参数的值的步骤，包括：根据所述输出图像、所述长曝光图像、所述损失函数及所述预设步长计算所述调色模...

【专利技术属性】
技术研发人员：周铭柯，李启东，李志阳，吕仰铭，张伟，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35