图像处理方法、电子装置及芯片制造方法及图纸

本申请公开了一种图像处理方法、电子装置及芯片，该图像处理方法包括：使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型；其中，初始增强模型用于基于解耦表征提取至少一种图像特征，并根据至少一种图像特征进行图像增强处理；通过图像增强模型对待处理暗光图像进行增强处理，获得增强后图像。强后图像。强后图像。

【技术实现步骤摘要】
图像处理方法、电子装置及芯片


[0001]本专利技术涉及机器学习
，尤其涉及一种图像处理方法、电子装置及芯片。

技术介绍

[0002]随着智能手机的普及和发展，对手机拍照的成像要求也越来越高。但是在低光照或夜景场景下，手机的成像过暗，图像中的细节无法清晰呈现，图像质量低。为了解决手机夜景成像质量低的问题，就需要对图像进行增强。
[0003]常见的基于深度学习的图像增强方式，往往需要数据驱动的方法。此类方法都是通过在大规模配对的数据集上训练卷积神经网络，学习到夜景暗光图像到高质量的增强图像之间的映射关系。此类方法主要有以下缺点：获取一个配对的数据集非常耗费成本，复杂度高；使用固定场景下的数据集，训练出的网络鲁棒性和泛化性不强，此网络面对新场景增强效果往往很差。
[0004]可见，目前的暗光图像的增强方式，普遍存在耗时耗力、复杂度高、处理效果不佳的问题。

技术实现思路

[0005]本申请实施例提供了一种图像处理方法、电子装置及芯片能够满足实时性要求高的应用场景，进而可以提升图像处理的效率和效果。
[0006]本申请实施例的技术方案是这样实现的：
[0007]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0008]使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型；其中，所述初始增强模型用于基于解耦表征提取至少一种图像特征，并根据所述至少一种图像特征进行图像增强处理；
[0009]通过所述图像增强模型对待处理暗光图像进行增强处理，获得增强后图像。
[0010]第二方面，本申请实施例提供了一种电子装置，所述电子装置包括：训练单元，处理单元，
[0011]所述训练单元，用于使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型；其中，所述初始增强模型用于基于解耦表征提取至少一种图像特征，并根据所述至少一种图像特征进行图像增强处理；
[0012]所述处理单元，用于通过所述图像增强模型对待处理暗光图像进行增强处理，获得增强后图像。
[0013]第三方面，本申请实施例提供了一种电子装置，所述电子装置包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像处理方法。
[0014]第四方面，本申请实施例提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时，实现如上所述的图像处理方法。
[0015]本申请实施例提供了一种图像处理方法、电子装置及芯片，电子装置使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型；其中，初始增强模型用于基于解耦表征提取至少一种图像特征，并根据至少一种图像特征进行图像增强处理；通过图像增强模型对待处理暗光图像进行增强处理，获得增强后图像。由此可见，在本申请的实施例中，用于对暗光图像进行增强处理的图像增强模型是基于包括内容特征和/或暗光特征的解耦表征训练获得的，因此在训练过程中所使用的暗光图像数据集和增强图像数据集不要求具有映射关系，进而可以降低模型训练的成本和复杂度，且解耦表征的引入，能够提高网络模型的鲁棒性和泛化性，进而可以提升图像处理效果。
附图说明
[0016]图1为基于深度学习的图像增强方法的示意图；
[0017]图2为一种结合有监督、无监督暗光图像增强方法的实现结构图；
[0018]图3为图像处理方法的实现流程示意图；
[0019]图4为初始增强模型的结构示意图；
[0020]图5为损失函数的示意图；
[0021]图6为图像增强模型的结构示意图；
[0022]图7为图像增强处理的示意图；
[0023]图8为模型训练的示意图；
[0024]图9为暗光增强图像数据集示意图；
[0025]图10为初始增强模型的训练过程示意图；
[0026]图11为损失函数的计算过程示意图；
[0027]图12为使用图像增强模型进行图像增强处理的示意图；
[0028]图13为电子装置的组成结构示意图一；
[0029]图14为电子装置的组成结构示意图二。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
[0031]随着科技的不断发展，手机、平板电脑等电子设备的功能越来越全面，其中，电子设备的图像处理功能在人们的日常工作生活中发挥了重要作用。例如，随着智能手机的普及和发展，人们也越来越愿意使用手机进行拍照，对手机拍照的成像要求也越来越高。但是在低光照或夜景场景下，手机的成像过暗，图像中的细节无法清晰呈现，图像质量低。
[0032]为了解决手机夜景成像质量低的问题，就需要对图像进行增强。随着深度学习的发展，一种经典的图像增强技术即为使用卷积神经网络进行图像增强。图1为基于深度学习的图像增强方法的示意图，如图1所示，从传感器获取到图像RAW数据后，将其进行重排。然后输入到卷积神经网络(ConvNet)之中。基于深度学习的方法需要先获取训练数据集，训练数据集一般是一一对应的暗光样本图像和暗光增强图像。随后进行有监督训练，对暗光增强图像和网络重建图像做L1损失，使得网络逐步收敛。最终可以得到一个训练好的卷积神
Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置等终端设备。
[0042]需要说明的是，在本申请的实施例中，解耦就是从数据中分离出一些区分的因素或者特征。例如，解耦期望可以从图像中分离出分别控制光源，物体形状，和表面材料等生成因子的向量。
[0043]相应的，在本申请的实施例中，电子设备在基于解耦表征进行模型训练的过程中，可以选择从图像中分离出内容特征和/或暗光特征，从而可以使用内容特征和暗光特征来完成模型的无监督的训练。
[0044]需要说明的是，在本申请的实施例中，基于Retinex理论，可以分离出照度，消除光照不均的影响，以改善图像的质量。因此，在本申请中，可以将暗光图像分解为图像本身的内容和叠加于其上的暗光蒙板，因此可以使用基于包括内容特征和/或暗光特征的解耦表征的方式模拟这一分解过程，提取出图像中的内容特征和暗光特征。
[0045]可以理解的是，在本申请的实施例中，常见技术中的训练数据集一般可以可以包括有一一对应的未处理图像和已处理图像。然而，本申请实施例提出的图像处理方法，由于可以利用解耦表征进行初始增强模型的训练，因此，对于训练数据集来说，可以不要求暗光图像数据集中的图像和增强图像数据集中的图像存在一一对应的映射关系。
[0046]需要说明的是，在本申请的实施例中，暗光图像数据集中可以包括至少一帧暗光图像，其中，该至少一帧暗光图像可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型；其中，所述初始增强模型用于基于解耦表征提取至少一种图像特征，并根据所述至少一种图像特征进行图像增强处理；通过所述图像增强模型对待处理暗光图像进行增强处理，获得增强后图像。2.根据权利要求1所述的方法，其特征在于，所述初始增强模型包括内容编码器，暗光编码器，内容图像生成器，暗光图像生成器；所述图像增强模型包括训练后的内容编码器和训练后的内容图像生成器；其中，所述内容编码器，用于提取输入图像的内容特征，并将所述内容特征分别输出至所述内容图像生成器和所述暗光图像生成器；所述暗光编码器，用于提取输入图像的暗光特征，并将所述暗光特征输出至所述暗光图像生成器；所述内容图像生成器，用于根据输入的所述内容特征进行图像生成处理；所述暗光图像生成器，用于根据输入的所述内容特征和所述暗光特征进行图像重建处理。3.根据权利要求2所述的方法，其特征在于，所述使用暗光图像数据集和增强图像数据集对初始增强模型进行训练，获得图像增强模型，包括：通过所述内容编码器和所述暗光编码器，分别获取所述暗光图像数据集中的第一图像对应的第一内容特征和第一暗光特征，以及所述增强图像数据集中的第二图像对应的第二内容特征；基于所述第一内容特征、所述第二内容特征以及所述第一暗光特征，通过所述内容图像生成器和所述暗光图像生成器进行生成处理，分别获得第一增强图像、第一重建图像、第二重建图像以及第一暗光图像；通过所述内容编码器和所述暗光编码器，分别获取所述第一增强图像对应的第三内容特征，以及所述第一暗光图像对应的第四内容特征和第二暗光特征；基于所述第三内容特征、所述第四内容特征以及所述第二暗光特征，通过所述内容图像生成器和所述暗光图像生成器进行生成处理，分别获得第一循环图像和第二循环图像；使用所述第一重建图像，所述第二重建图像，所述第一增强图像，所述第一暗光图像，所述第一循环图像以及所述第二循环图像，对所述内容编码器和所述内容图像生成器进行无监督训练，获得所述训练后的内容编码器和所述训练后的内容图像生成器。4.根据权利要求3所述的方法，其特征在于，所述通过所述内容编码器和所述暗光编码器，分别获取所述暗光图像数据集中的第一图像对应的第一内容特征和第一暗光特征，以及所述增强图像数据集中的第二图像对应的第二内容特征，包括：通过所述内容编码器提取所述第一图像对应的所述第一内容特征；通过所述暗光编码器提取所述第一图像对应的所述第一暗光特征；通过所述内容编码器提取所述第二图像对应的所述第二内容特征。5.根据权利要求3所述的方法，其特征在于，所述基于所述第一内容特征、所述第二内容特征以及所述第一暗光特征，通过所述内容图像生成器和所述暗光图像生成器进行生成处理，分别获得第一增强图像、第一重建图像、第二重建图像以及第一暗光图像，包括：
将所述第一内容特征输入至所述内容图像生成器，获得所述第一图像对应的所述第一增强图像；将所述第一内容特征和所述第一暗光特征输入至所述暗光图像生成器，获得所述第一图像对应的所述第一重建图像；将所述第二内容特征输入至所述内容图像生成器，获得所述第二图像对应的所述第二重建图像；将所述第二内容特征和所述第一暗光特征输入至所述暗光图像生成器，获得所述第二图像对应的所述第一暗光图像。6.根据权利要求3所述的方法，...

【专利技术属性】
技术研发人员：刘松，吴同，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：