使用神经网络对摄影曝光不足进行校正制造技术

一种用于图像捕获的方法，包括确定曝光范围并设置至少一个相机参数以捕获曝光范围之外的曝光不足的图像。使用神经网络处理曝光不足的图像以恢复图像细节。可以减少由于相机或对象运动模糊引起的图像缺陷。

【技术实现步骤摘要】
【国外来华专利技术】使用神经网络对摄影曝光不足进行校正相关申请本申请要求在2018年9月13日提交的美国临时申请序列号62/730,799和在2019年5月7日提交的美国临时申请序列号62/844,496的权益，出于所有目的，这两个专利在此通过引用以其整体并入本文。
本公开涉及一种使用卷积神经网络来增强曝光不足的摄影图像的系统。特别地，描述了一种以最小的图像质量损失来减少所需的打开快门时间、减小所需的光圈大小或降低传感器灵敏度的方法。背景弱光环境通常无法提供足够的可用光来适当曝光相机传感器并提供可用的图像。可以通过提高传感器的光敏度、增加光圈大小、延长曝光时间或提供闪光灯或其他人工照明来改善此类弱光照片。遗憾的是，这些解决方案中的每一种方案都有众所周知的问题。提高传感器灵敏度会放大传感器的噪声。光圈大小的增加可能需要大型、笨重且昂贵的镜头。延长曝光时间可导致由相机抖动造成的运动模糊、卷帘快门系统中的剪切伪像、以及对象运动模糊。闪光灯可能很昂贵、难以部署，并且经常导致人或对象的不自然出现的过度曝光。已经应用了各种计算机处理技术来改善弱光图像的出现。例如，诸如直方图均衡化和伽玛校正的简单技术通常可以增加暗区的亮度，而对亮区的影响有限。去噪和去模糊可用于分别降低噪声和运动伪像。使用例如反暗通道先验图像去雾(inversedarkchannelpriorforimagedehazing)、小波变换处理或照明图估计的照片水平分析和处理都可以改善弱光图像。也已经进行了各种尝试，以使用机器智能后处理来挽救不满意或拍摄不良的弱光相机图像。例如，ChenChen、QifengChen、JiaXu、VladlenKoltun在计算机视觉与模式识别会议(ConferenceonComputerVisionandPatternRecognition)(CVPR2018)(arXiv：1805.01934[cs.CV](2018年5月4日))上发表的“LearningtoSeeintheDark”，描述了将全卷积神经网络用于弱光图像的直接单图像处理。对于更复杂的机器智能处理示例，YukiEndo、YoshihiroKanamori和JunMitani在美国计算机学会图形学会刊(ACMTransactionsonGraphics)(SIGGRAPHASIA会议记录，2017)，36，6，文章177(2017年11月)发表的“DeepReverseToneMapping”描述了曝光过度或曝光不足的低动态范围图像的使用并使用神经网络对其进行处理以合成自然出现的高动态范围图像。同样，XinYang等人在2018年4月12日发表的“ImageCorrectionviaDeepReciprocatingHDRTransformation”(arXiv：1804.04371[cs.CV])中描述了利用双神经网络系统进行相机曝光不足/曝光过度校正以重建曝光不良的图像。概述一种用于图像捕获的方法，包括确定曝光范围并设置至少一个相机参数以捕获曝光范围之外的曝光不足的图像。使用神经网络处理曝光不足的图像以恢复图像细节。可以减少由于相机或对象运动模糊引起的图像缺陷。另一实施例是一种用于图像改善的方法，该方法包括以下步骤：针对具有传感器的传感器系统确定模拟设置，并利用该传感器捕获数据。在由传感器提供的先前数据上所训练的神经网络可用于降低噪声并从所捕获的图像数据中恢复图像细节。在一个实施例中，调整模拟设置以改善神经网络训练响应。在一个实施例中，调整模拟设置以使图像曝光不足。在一个实施例中，在用神经网络处理之后，图像被压缩。在一个实施例中，一种用于改善组合的模拟和数字系统中的总系统增益的系统，其包括具有传感器的传感器系统，该传感器被配置为捕获图像数据，并且图像数据以顺序的模拟和数字过程进行处理。可以在由传感器或传感器类型(sensortype)提供的先前数据上训练神经网络以降低噪声并在模拟放大后从所捕获的图像数据中恢复图像细节。在一些实施例中，神经网络处理可以发生在数字放大之前，或者可替代地，可以发生在模拟放大和某种数字放大之后。附图简述参考以下附图描述了本公开的非限制性和非穷举性的实施例，其中，除非另外指明，否则贯穿各个附图，相同的参考数字指代相同的零件。图1示出了用于改善相机图像捕获功能的方法；图2示出了神经网络处理；图3示出了另一个神经网络处理实施例；图4A至图4D示出了数据集的经选择的神经网络去噪；图5示出了相机传感器处理过程的实施例；图6示出了具有控制、成像和显示子系统的系统；图7示出了神经网络训练过程的一个实施例；以及图8是示出实施例的信噪比与总系统增益的关系的曲线图。详细描述所有图像传感系统和传感器都会有在典型操作过程中产生的某种相关联噪声。在诸如弱光环境(例如，低环境照度，快速快门或小光圈)中常见的噪声环境中，此噪声将成为数字化信号的主要部分。遗憾的是，许多传统和现代的计算机视觉算法(即，对象或面部识别、视觉测距、视觉SLAM或图像稳定)在高噪声环境中可能会失灵。需要降低图像噪声并恢复图像细节的算法和系统，以使这些算法能够在它们通常会失灵的环境中工作。降低噪声也可以有益于基于机器智能的图像处理。基于现代学习的算法非常适合那些经过训练的数据分布集。当机器学习算法以超出此分布的数据呈现时，或者使用对抗性示例时，这些算法的准确性、速度和其他性能指标可能会受到影响。如果可以大大降低图像或数据集中的图像传感器噪声，则处理图像或数据集的学习算法的性能下降将较小。噪声的另一个问题是噪声是几乎不可压缩的高熵信息的结果。这意味着对于捕获噪声环境或条件的图像，给定系统或传感器存储介质的压缩率将大大降低。压缩文件的大小最终会比正常操作条件下捕获的等效信号大得多。为了降低噪声、提高正常或弱光条件下的图像精度和细节恢复并提高压缩率，可以使用神经网络来恢复基础信号。实际上，使用诸如本文所公开的系统和神经网络进行预处理的媒体可以在图像质量上得到改善并且被更大程度地压缩，从而产生较小的文件大小以及减少的存储或带宽使用。有利地，即使正确曝光的图像也受益于该预处理步骤。如图1所示，在一个实施例中，一种用于使用神经网络处理来改善相机图像捕获弱光能力并降低噪声的系统和方法100依赖于首先确定理想曝光或曝光范围(步骤110)。在第二步骤112中，捕获至少一个故意曝光不足的图像。在第三步骤114中，使用神经网络或其他机器智能系统来处理该图像，以提高整体系统质量。最终，在步骤116中，基于实际或估计的图像质量，其他相机操作可以具有经调整的功能参数。例如，可以使用低ISO设置代替传统上与弱光条件相关联的高ISO设置。作为另一个示例，在视频应用中，可以提高帧速率。各种各样的静物相机或摄像机受益于对系统和方法100的使用。相机类型可以包括但不限于具有静物或视频功能的常规DSLR、智能手机、平板电脑相本文档来自技高网...

【技术保护点】
1.一种用于图像捕获的方法，包括以下步骤：/n确定曝光范围；/n设置至少一个相机参数以捕获所述曝光范围之外的曝光不足的图像；/n使用神经网络处理所述曝光不足的图像以恢复图像细节。/n

【技术特征摘要】
【国外来华专利技术】20180913 US 62/730,799;20190507 US 62/844,4961.一种用于图像捕获的方法，包括以下步骤：
确定曝光范围；
设置至少一个相机参数以捕获所述曝光范围之外的曝光不足的图像；
使用神经网络处理所述曝光不足的图像以恢复图像细节。


2.根据权利要求1所述的方法，其中，所述相机参数是孔径。


3.根据权利要求1所述的方法，其中，所述相机参数是图像传感器灵敏度。


4.根据权利要求1所述的方法，其中，所述相机参数是快门速度。


5.根据权利要求1所述的方法，其中，曝光不足提供了运动或对象模糊减少。


6.根据权利要求1所述的方法，其中，曝光不足提供了改进的远距离图像捕获。


7.根据权利要求1所述的方法，其中，曝光不足提供了帧速率增加。


8.根据权利要求1所述的方法，其中，曝光不足提供了改进的突发模式捕获。


9.根据权利要求1所述的方法，其中，曝光不足提供了超级图像稳定。


10.根据权利要求1所述的方法，其中，曝光不足提供了增加的动态范围成像。


11.根据权利要求1所述的方法，其中，曝光不足提供了光水平降低。

【专利技术属性】
技术研发人员：凯文·戈登，达西·道格拉，马丁·汉弗莱斯，
申请(专利权)人：光谱OPTIX有限公司，
类型：发明
国别省市：加拿大;CA