基于ConvNets的暗光图像处理方法及终端设备技术

本发明专利技术涉及图像处理技术领域，提供了一种基于ConvNets的暗光图像处理方法及终端设备。该方法包括：对图像原始数据进行预处理；将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。本发明专利技术能够在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。

【技术实现步骤摘要】
基于ConvNets的暗光图像处理方法及终端设备
本专利技术涉及图像处理
，尤其涉及一种基于ConvNets的暗光图像处理方法及终端设备。
技术介绍
暗光条件下，基于单目单张图像的快速清晰成像是一个非常具有挑战的任务。常用到的解决方法有物理解决方法和图像处理解决方法。其中物理解决方法有打开光圈、增大曝光时间、采用高感光度、打开闪光灯等；而图像处理方法有基于传统多步骤的方法、基于多帧的方法和基于端到端的深度学习方法。但目前的这些方法各有各的缺点，比如增大曝光时间会因抖动造成模糊；传统多步骤方法过程繁琐，效果也差；基于多帧的方法在暗光条件下，存在匹配困难问题；基于深度学习的端到端的处理方法虽然成像效果良好，但其功耗高、运算时间长，无法在移动端使用。
技术实现思路
有鉴于此，本专利技术实施例提供了基于ConvNets的暗光图像处理方法及终端设备，以解决目前基于深度学习的端到端的图像处理方法功耗高且运算时间长的问题。本专利技术实施例的第一方面提供了基于ConvNets的暗光图像处理方法，包括：对图像原始数据进行预处理；将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。本专利技术实施例的第二方面提供了基于ConvNets的暗光图像处理装置，包括：预处理单元，用于对图像原始数据进行预处理；处理单元，用于将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；生成单元，用于对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。本专利技术实施例的第三方面提供了终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的基于ConvNets的暗光图像处理方法。本专利技术实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的基于ConvNets的暗光图像处理方法。本专利技术实施例与现有技术相比存在的有益效果是：通过卷积神经网络模型对数据进行特征增强，能够实现在暗光条件下的清晰成像，在保证成像清晰度的前提下降低卷积神经网络模型处理的数据量，降低功耗，提高成像速度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的基于ConvNets的暗光图像处理方法的实现流程图；图2是本专利技术实施例提供的基于ConvNets的暗光图像处理方法中对原始数据进行预处理的实现流程图；图3是本专利技术实施例提供的基于ConvNets的暗光图像处理方法中将经过预处理的原始数据输入到卷积神经网络模型进行特征增强的实现流程图；图4是本专利技术实施例提供的基于ConvNets的暗光图像处理方法中对经过特征编码的数据进行特征增强的实现流程图；图5是本专利技术实施例提供的基于ConvNets的暗光图像处理方法流程示意图；图6是本专利技术实施例提供的传统用于暗光条件下成像的端到端的卷积神经网络模型的示意图；图7是本专利技术实施例提供的基于ConvNets的暗光图像处理方法中卷积神经网络模型的示意图；图8是本专利技术实施例提供的暗光条件下相机输出的原始数据的图像示例；图9是本专利技术实施例提供的对原始数据进行亮度线性放大后的图像示例；图10是本专利技术实施例提供的基于ConvNets的暗光图像处理方法得到的图像示例；图11是本专利技术实施例提供的基于ConvNets的暗光图像处理装置的示意图；图12是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1为本专利技术实施例提供的基于ConvNets的暗光图像处理方法的实现流程图，详述如下：在S101中，对图像原始数据进行预处理。在本实施例中，可以获取图像传感器感应的原始数据。其中，图像传感器感应的原始数据是指图像传感器中光电转换器件感应到的原始数据。在将原始数据输入到卷积神经网络前，可以对原始数据进行预处理，以校正图像传感器的偏差，调节图像亮度。作为本专利技术的一个实施例，如图2所示，S101可以包括：在S201中，对所述原始数据进行重排，得到预设个数的通道数据；同一通道的数据对应同一颜色。在本实施中，原始数据包括多种图像颜色对应的数据，可以通过对原始数据进行重排处理，得到预设个数的通道的数据，同一个通道的数据都对应同一颜色。例如，预设个数为四，四个通道可以为对应红色的红色通道、对应绿色的第一绿色通道、对应蓝色的蓝色通道以及对应绿色的第二绿色通道。在S202中，分别对各个通道的数据进行去黑电平处理。在本实施例中，可以通过对各个通道的数据进行去黑电平处理，以实现黑电平校正，这样可以矫正图像传感器的偏差。例如，可以将各个通道的数据减去预设黑电平数值。在S203中，分别将经过所述去黑电平处理的各个通道的数据乘以预设放大倍数进行放大处理。在本实施例中，通过对各个通道的数据乘以预设放大倍数，可以起到ISO亮度调节的作用。其中，ISO是感光度的意思，它也是国际标准化组织(InternationalStandardizationOrganization)的缩写，同时也正是这个组织对感光度做了量化规定。在S102中，将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强。在本实施例中，可以通过卷积神经网络模型对经过预处理的原始数据进行特征增强，从而在保证暗光条件下图像清晰度的情况下提高成像速度。作为本专利技术的一个实施例，如图3所示，S102可以包括：在S301中，对输入所述卷积神经网络模型的数据进行特征编码。在S302中，对经过所述特征编码的数据进行特征增强。在S303中，对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。在本实施例中，可以首先对经过预处理的原始数据进行特征编码，然后对对经过特征编码的数据进行特征增强，最后对经过特征编码的数据与经过特征增强的数据进行解码及融合，从而通过卷积神经网络实现对数据的特征增强。作为本专利技术的一个实施例，S303可以包括：通过深度可分离卷积结构的卷积层、反卷积层和特征融合层对本文档来自技高网...

【技术保护点】
1.一种基于ConvNets的暗光图像处理方法，其特征在于，包括：/n对图像原始数据进行预处理；/n将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；/n对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。/n

【技术特征摘要】
1.一种基于ConvNets的暗光图像处理方法，其特征在于，包括：
对图像原始数据进行预处理；
将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强；
对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像。


2.如权利要求1所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对所述原始数据进行预处理包括：
对所述原始数据进行重排，得到预设个数的通道数据；同一通道的数据对应同一颜色；
分别对各个通道的数据进行去黑电平处理；
分别将经过所述去黑电平处理的各个通道的数据乘以预设放大倍数进行放大处理。


3.如权利要求1所述的基于ConvNets的暗光图像处理方法，其特征在于，所述将经过所述预处理的原始数据输入到卷积神经网络模型进行特征增强包括；
对输入所述卷积神经网络模型的数据进行特征编码；
对经过所述特征编码的数据进行特征增强；
对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。


4.如权利要求3所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合包括：
通过深度可分离卷积结构的卷积层、反卷积层和特征融合层对经过所述特征编码的数据与经过所述特征增强的数据进行解码及融合。


5.如权利要求3所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对经过所述特征编码的数据进行特征增强包括：
通过卷积核个数为4*N的点积卷积对经过所述特征编码的数据进行卷积，得到通道数为4*N的第一数据；其中，所述经过所述特征编码的数据的通道数为N，其中N为大于1的整数；
通过深度卷积对通道数为4*N的第一数据进行特征提取，得到通道数为4*N的第二数据；
通过卷积核个数为N的点积卷积对通道数为4*N的第二数据进行通道特征融合。


6.如权利要求1至5任一项所述的基于ConvNets的暗光图像处理方法，其特征在于，所述对所述卷积网络模型的输出数据进行通道重排处理，生成所述原始数据对应的图像包括：
将所述卷积网络模型输出的各个通道的数据进行通道重排，得到第一颜色通道、第二颜色通道...

【专利技术属性】
技术研发人员：廖秋萍，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44