基于前景数据为摄像头去噪的集成电路装置制造方法及图纸

本发明专利技术涉及基于前景数据为摄像头去噪的集成电路装置，其中处理装置获得前置图像的所述前景数据，并根据前景数据设定参考曝光量，再根据参考曝光值设定暗帧画面及亮帧画面的曝光量，将黑帧画面、暗帧及亮帧画面代入像素的灰度值模型中以获得黑帧参数及非黑帧参数。计算装置将黑帧参数及非黑帧参数作为先验输入代入神经网络模型中进行训练，以获得去噪输出。出。出。

【技术实现步骤摘要】
基于前景数据为摄像头去噪的集成电路装置


[0001]本专利技术一般地涉及图像信号处理领域。更具体地，本专利技术涉及基于前景数据为摄像头去噪的集成电路装置。

技术介绍

[0002]摄像头和图像传感器是高度成熟的产品，市场上充斥着各式各样不同光学特征的摄像头和不同电气特征的传感器，导致图像信号处理器(image signal processor，ISP)无法自动对这些硬件特征统一补偿，使得图像处理后的效果不如预期。为了解决这个问题，摄像头和图像传感器的供应商会提供一套标定工具，利用现有仪器设备获得的图像作为输入，展示调整程序让输出能够更好地逼近期望效果。现有技术大都采用拜耳(Bayer)去噪算法，即利用深度学习技术取得更好的校正效果。
[0003]在进行黑电平校正时，先标定一组黑帧的均值作为参考值，在后续的算法中减去这个参考值，以去除背景噪音。然而，在黑帧的情况下，像素其实服从的是高斯分布，光响应不均匀性(photo response non
‑
uniformity，PRNU)、暗电流、固定模式噪音(fixed pattern noise)等因素都会产生一定影响，所以黑电平校正的准确度难以保证。
[0004]在进行噪音标定时，由于现有去噪算法是利用一组滤波器，故噪音标定的输出仅为增益大小或者暗帧方差作为滤波强度，并未考虑到噪音更精确的模型和描述噪音的分布，导致噪音标定不精准，去噪效果自然无法令人满意。
[0005]因此，一种去噪效果佳的方案是迫切需要的。

技术实现思路
r/>[0006]为了至少部分地解决
技术介绍
中提到的技术问题，本专利技术的方案提供了一种基于前景数据为摄像头去噪的集成电路装置。
[0007]在一个方面中，本专利技术揭露一种基于前景数据为摄像头去噪的集成电路装置，包括处理装置及计算装置。
[0008]处理装置用以：获得前置图像的所述前景数据；根据所述前景数据设定参考曝光量；根据所述参考曝光值设定暗帧画面及亮帧画面的曝光量；获取所述摄像头拍摄的多张黑帧画面；在感光度小于或等于所述参考曝光量下，获取所述摄像头在多种感光度下拍摄的多张所述暗帧画面；在感光度大于所述参考曝光量下，依序获取所述摄像头在多种感光度下拍摄的多张所述亮帧画面；将所述黑帧画面、暗帧及亮帧画面代入像素的灰度值模型，以获得黑帧参数及非黑帧参数。
[0009]其中所述亮帧画面是执行以下步骤而得：将所述摄像头的镜头光圈调节到最大；调整曝光时间，使标准色卡的白色色块的亮度为亮度最大值的特定百分比；以及拍摄所述标准色卡以获得所述亮帧画面。
[0010]计算装置用以：将所述黑帧参数及非黑帧参数作为先验输入代入神经网络模型中进行训练；以及将所述摄像头拍摄的图像数据输入训练后的神经网络模型进行图像信号处
理，以获得去噪输出。
[0011]本专利技术通过将黑帧参数及非黑帧参数作为先验输入代入神经网络模型中进行训练，可以对噪音更精确的标定，优化图像信号处理的去噪效果。
附图说明
[0012]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
[0013]图1是示出本专利技术实施例的板卡的结构图；
[0014]图2是示出本专利技术实施例的集成电路装置的结构图；
[0015]图3是示出本专利技术实施例的计算装置的内部结构示意图；
[0016]图4是示出本专利技术实施例的处理器核的内部结构示意图；以及
[0017]图5是示出本专利技术实施例的摄像头的单个像素将光子转换成模数单位(ADUs)的示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]应当理解，本专利技术的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本专利技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0020]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本专利技术。如在本专利技术说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0021]如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
[0022]下面结合附图来详细描述本专利技术的具体实施方式。
[0023]本专利技术提出一种在神经网络模型中去噪的方案，此神经网络模型原本用来执行与图像信号处理有关的特定任务，例如图像识别、目标检测、语义分割、视频理解、图像生成、去噪、去马赛克等。本专利技术将黑帧参数及非黑帧参数作为先验输入代入神经网络模型中进行训练，使得此神经网络模型在训练过程中，通过参数的更新进而抑制噪音对图像输出的影响。
[0024]本专利技术的实施例是一种应用于具有摄像头以实现计算机视觉的网络架构中，该网络架构具有如图1所示的板卡10。如图1所示，板卡10包括芯片101，其是一种系统级芯片
(System on Chip，SoC)，或称片上系统，集成有一个或多个组合处理装置，组合处理装置是一种人工智能运算单元，用以支持各类深度学习和机器学习算法，满足计算机视觉领域复杂场景下的智能处理需求。特别是深度学习技术大量应用在云端智能领域，云端智能应用的一个显著特点是输入数据量大，对平台的存储能力和计算能力有很高的要求，此实施例的板卡10适用在云端智能应用，具有庞大的片外存储、片上存储和强大的计算能力。
[0025]芯片101通过对外接口装置102与外部设备103相连接。在此实施例中，外部设备103为摄像头。待处理的图像数据可以由外部设备103通过对外接口装置102传递至芯片101。根据不同的应用场景，对外接口装置102可以具有不同的接口形式，例如PCIe接口等。
[0026]板卡10还包括用于存储数据的存储器件104，其包括一个或多个存储单元105。存储器件104通过总线与控制器件106和芯片101进行连接和数据传输。板卡10中的控制器件106配置用于对芯片101的状态进行调控。为此，在一个应用场景中，控制器件106可以包括单片机(Micro Controller U本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前景数据为摄像头去噪的集成电路装置，包括：处理装置，用以：获得前置图像的所述前景数据；根据所述前景数据设定参考曝光量；根据所述参考曝光值设定暗帧画面及亮帧画面的曝光量；获取所述摄像头拍摄的多张黑帧画面；在感光度小于或等于所述参考曝光量下，获取所述摄像头在多种感光度下拍摄的多张所述暗帧画面；在感光度大于所述参考曝光量下，依序获取所述摄像头在多种感光度下拍摄的多张所述亮帧画面，其中所述亮帧画面是执行以下步骤而得：将所述摄像头的镜头光圈调节到最大；调整曝光时间，使标准色卡的白色色块的亮度为亮度最大值的特定百分比；以及拍摄所述标准色卡以获得所述亮帧画面；以及将所述黑帧画面、暗帧及亮帧画面代入像素的灰度值模型，以获得黑帧参数及非黑帧参数；计算装置，用以：将所述黑帧参数及非黑帧参数作为先验输入代入神经网络模型中进行训练；以及将所述摄像头拍摄的图像数据输入训练后的神经网络模型进行图像信号处理，以获得...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：寒武纪昆山信息科技有限公司，
类型：发明
国别省市：