用于原始低光图像增强的神经网络制造技术

一个神经网络从图像传感器接收拜耳阵列的单色像素，并对像素进行插值以生成全色RGB像素，同时还可以增亮图像以获得更好的细节。在U

【技术实现步骤摘要】
【国外来华专利技术】用于原始低光图像增强的神经网络


[0001]本专利技术涉及推进系统，特别涉及克服大质量物体重力的方法。

技术介绍

[0002]图像处理被广泛用于面部识别、光学字符识别(OCR)等任务，例如读取行驶中汽车的车牌，以及用于自主车辆防撞的物体跟踪。图像数据通常使用神经网络进行处理。
[0003]人工神经网络对于以复杂的方式处理大量数据特别有用，而这些数据很难用传统的计算机程序来处理。不是使用指令编程，而是将训练数据输入到神经网络并与预期输出进行比较，然后在神经网络内进行调整，再次处理训练数据并比较输出以产生对神经网络的进一步调整。在多次这样的训练周期之后，神经网络被改变成可以有效地处理类似训练数据和预期输出的数据。神经网络是机器学习的一个例子，因为神经网络学习如何为训练数据生成预期输出。然后可以将类似训练数据的真实数据输入到神经网络中，以处理实时数据。
[0004]图1显示一个现有技术的神经网络。输入节点102、104、106、108接收输入数据I1、I2、I3、...I4，而输出节点103、105、107、109输出神经网络运算的结果：输出数据O1、O2、O3、...O4。在这个神经网络中有三层运算。节点110、112、114、116、118中的每一个节点都从一个或多个输入节点102、104、106、108中获取输入，执行一些运算，诸如加、减、乘或更复杂运算，然后发送和输出到第二层的节点。第二层节点120、122、124、126、128、129也接收多个输入，合并这些输入以产生一个输出，并将输出发送到第三层节点132、134、136、138、139，类似地合并输入并产生输出。
[0005]每层的输入通常会被加权，因此在每个节点上都会产生加权和(或其他加权运算结果)。这些权重可以表示为W
31
、W
32
、W
32
、W
33
、...W
41
等，并在训练期间可以调整其值。通过试错或其他训练程序，最终可以将较高的权重分配给产生预期输出的路径，而将较小权重分配给不产生预期输出的路径。机器将学会了哪些路径能产生预期输出，并为这些路径上的输入分配高权重。
[0006]这些权重可以存储在权重存储器100中。由于许多神经网络都具有多个节点，所以在权重存储器100中存储有多个权重。每个权重可能需要多个二进制比特来表示该权重的可能值的范围
[0007]深度神经网络具有多层节点，常用于物体分类、语音识别、情感分析、图像识别、面部检测和其他图形处理等应用。视频序列中的图像可以由智能数码相机系统拍摄和处理。
[0008]图2是一个智能数码相机系统的方框图。光线通过透镜聚焦，然后被导向传感器512，其可以是一个电荷耦合器件(CCD)阵列或互补金属氧化物半导体(CMOS)传感器阵列。落在阵列上的光线产生电流，这些电流在被A/D转换器从模拟值转换为数字值之前，被模拟放大器放大。一个8、9或10
‑
比特的单色像素被输出到图像信号处理器(ISP)502。这些单色像素呈拜耳阵列(Bayer
‑
pattern)，如图3所示。每个像素要么是红色，要么是蓝色，要么是绿色强度。每个像素只有3个颜色分量中的一个，而不是每个像素都有3个分量。
[0009]拜耳(或拜尔)阵列中的R、G或B数字值由一个内插器(如ISP 502中的色彩空间转换器)处理，以内插拜耳阵列中的缺失像素。每个填充的像素都有全部3个颜色分量
–
R、G和B。完整RGB图案中的被填充的RGB像素被输出，供系统芯片(SoC)504进一步处理或在显示设备上显示，如液晶显示器(LCD)平面屏幕(未示出)。
[0010]传感器512检测红色、蓝色和绿色。然而，传感器12中的每个阵列点只能检测三原色中的一种。传感器512不是输出一个RGB像素，而是可以在任何给定时间只输出一个单色像素。例如，传感器512输出的一行像素可能有一个红色像素，然后是一个绿色像素。另一行可能有交替的绿色和蓝色像素。
[0011]每个像素代表传感器阵列中某一点的一个原色的强度。因此，一个红色像素表示某一点的红光强度，而一个相邻的绿色像素表示传感器阵列中下一点的绿光强度。因此，每个像素只包含总颜色信息的三分之一。
[0012]其余颜色信息通过插值获得。一个红色像素的绿色强度是通过对相邻绿色像素的绿色强度进行平均来计算的。该红色像素的蓝色强度是通过对最近的蓝色像素进行平均或内插来计算的。ISP 502 10执行此颜色插值，计算每个像素位置缺失的原色强度。
[0013]不同原色产生的电流可能会有所不同，具体取决于所使用的传感器以及光子的波长和能量。在插值器之前，通常要进行称为白平衡的调整。每个原色可以乘以不同的增益，以更好地平衡颜色。还可以针对不同的光照条件进行补偿，对黑暗图片增加所有原色，或对明亮图片(曝光过度)减少所有颜色。
[0014]ISP 502可以在对RGB图案插值之前或之后，对拜耳阵列图像执行各种功能，例如边缘锐化、伽马校正、去除扭曲、去马赛克、自动白平衡(AWB)、自动增益控制(AGC)和自动曝光控制(AEC)。
[0015]每个像素位置都有三种颜色的完整RGB图案从ISP 502发送到SoC 504。SoC 504执行更复杂的图像处理，如面部识别、文本提取等。SoC 504可以有I/O接口、中央处理单元(CPU)、视频编解码器和专用处理器，如数字处理单元(NPU)、数字信号处理器(DSP)或图形处理单元(GPU)。
[0016]拜耳阵列
–
图3
[0017]图3显示一个由传感器捕获的图像，该传感器以拜耳阵列生成单色像素。该例子显示了一个800x600的帧或图像，以常见的超VGA分辨率显示。传感器总共捕获了600条线，每条线有800个像素。
[0018]个人电脑和许多其他设备显示具有所有三原色强度(RGB)的全色像素。相比之下，数码相机中的传感器，如图2中的传感器512，对于800x600传感器阵列中的每个点，只能检测到三原色中的一种。在第一行，绿色检测器与红色检测器交替，而在第二行，绿色检测器与蓝色检测器交替。
[0019]第一条水平线和每条奇数线都有交替的红色和绿色检测器，因此从这些奇数线输出的像素是G
‑
R
‑
G
‑
R
‑
G
‑
R
‑
G的序列。第二条水平线和每条偶数线都有交替的绿色和蓝色检测器，因此从这些偶数线输出的像素是B
‑
G
‑
B
‑
G
‑
B
‑
G
‑
B的序列。
[0020]一半的像素是绿色像素，四分之一的像素是红色的，最后四分之一是蓝色。绿色像素形成一个棋盘格图案，蓝色和红色像素被绿色像素包围。由于人眼对绿色更敏感，拜耳阵列的绿色像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像增亮和像素插值神经网络，包括：一系列收缩层，每个收缩层减少像素数量并增加特征图深度；一系列扩展层，在所述一系列收缩层之后，每个扩展层增加像素数量并减少特征图深度；所述一系列收缩层中的每个收缩层包括最大池化层、后向投影(BP)层和通道注意层；所述一系列扩展层中的每个扩展层包括反卷积层和BP通道压缩层；第一层，其接收单色像素，每个单色像素只有一种颜色，所述单色像素以拜耳阵列排列在输入帧中，所述第一层驱动一个输入到所述一系列收缩层中的一个初始收缩层中；最后一层，其从所述一系列扩展层中的一个最后扩展层接收RGB像素，每个所述RGB像素具有三种颜色的颜色强度信息，所述最后一层将所述RGB像素排列在输出帧中，所述输出帧大小至少为所述输入帧的大小；其中所述BP层和所述BP通道压缩层分别包括：第一增亮运算单元，其使用两个串联的卷积来增亮输入像素以产生增亮像素，其中所述增亮像素的平均亮度大于所述输入像素的平均亮度；变暗运算单元，其使所述增亮像素变暗以产生后向投影像素，其中所述后向投影像素的平均亮度小于所述增亮像素的平均亮度；去噪运算单元，其从所述输入像素生成去噪输入像素；第一加法器，其将所述去噪输入像素与所述后向投影像素相加，以产生低光后向投影误差；第二增亮运算单元，其用于减轻所述低光后向投影误差，以产生正常光后向投影误差；加权运算单元，其对所述输入像素进行加权，以产生加权输入像素；第二加法器，其将所述加权输入像素与正常光后向投影误差相加，以产生输出增亮像素。2.根据权利要求1所述的图像增亮和像素插值神经网络，其中所述BP层还包括：最大池化器，其接收由所述一系列收缩层中的前一个收缩层输出的像素，或者从所述第一层接收像素，所述最大池化器池化接收到的像素，以生成所述输入像素；其中所述最大池化器减少像素数量以生成所述输入像素。3.根据权利要求2所述的图像增亮和像素插值神经网络，其中所述变暗运算单元、所述去噪运算单元、所述第二增亮运算单元、和所述加权运算单元每个都包括串联的卷积块和激活函数。4.根据权利要求3所述的图像增亮和像素插值神经网络，其中所述第一增亮运算单元包括：第一卷积块，其从所述输入像素产生第一卷积输出；第一泄漏整流线性单元(lrelu)，其从所述第一卷积输出产生第一整流输出；第二卷积块，其从所述第一整流输出产生第二卷积输出；第二泄漏整流线性单元(lrelu)，其从所述第二卷积输出产生第二整流输出；其中，所述第二泄漏整流线性单元输出所述增亮像素作为所述第二整流输出。5.根据权利要求4所述的图像增亮和像素插值神经网络，其中所述一系列收缩层和所述一系列扩展层形成U
‑
net卷积神经网络。
6.根据权利要求5所述的图像增亮和像素插值神经网络，其中所述第一层将来自不同时间段或不同缩放因子的多帧所述单色像素连接在一起，以驱动所述输入到所述一系列收缩层中的所述初始收缩层。7.根据权利要求5所述的图像增亮和像素插值神经网络，还包括：损失函数生成器，当训练数据应用于所述第一层时，所述损失函数生成器将所述最后一层产生的输出帧与一个预期目标帧进行比较；在神经网络学习过程中，所述损失函数生成器调整应用于所述一系列收缩层和应用于所述一系列扩展层的权重。8.根据权利要求7所述的图像增亮和像素插值神经网络，其中所述损失函数生成器还包括：Huber损失、最小绝对偏差L1损失、和多尺度结构相似性(SSIM)损失的组合。9.根据权利要求5所述的图像增亮和像素插值神经网络，其中，所述输入帧还包括单色像素的拜耳阵列，其包括绿色像素的棋盘图案，蓝色像素和红色像素交替填充所述棋盘图案中绿色像素之间的位置；其中，所述输出帧还包括一个RGB像素，用于所述输入帧中绿色像素的每个位置，以及所述输入帧中红色像素的每个位置，以及所述输入帧中蓝色像素的每个位置，其中所述输入帧中单色像素的每个位置被加载一个所述输出帧中的RGB像素，其中每个RGB像素包括一个红色子像素、一个绿色子像素和一个蓝色子像素。10.一种神经网络计算机实施的方法，包括：接收单色像素的多个输入帧，所述单色像素以拜耳阵列排列，其中每个像素位置只有一种原色的颜色数据；将所述多个输入帧级联起来，以产生第一输入到一系列收缩层；所述一系列收缩层中的每个级联层使用最大池化层来减小空间像素衍生数据并增加特征深度数据，使用后向投影(BP)层对所述空间像素衍生数据进行卷积和增亮，并使用通道注意层来识别从所述BP层输出的所述空间像素衍生数据的相关特征，以输出到所述一系列收缩层中的下一个收缩层；其中，所述一系列收缩层中的最后一个收缩层输出到一系列扩展层中的第一扩展层；所述一系列扩展层中的每个扩展层将来自所述一系列收缩层中一个收缩层的空间像素衍生数据与由所述一系列扩展层中的前一个扩展层生成的空间像素衍生数据级联起来，以扩展所述空间像素衍生数据并减小特征深度数据...

【专利技术属性】
技术研发人员：王礼闻，萧允治，刘志松，火熖，关醒波，郝苗慧，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：