一种智能CMOS图像传感器芯片及其制造方法技术

本发明专利技术公开了一种智能CMOS图像传感器芯片及其制造方法，其制造方法包括选取包括算法模块和数据采集模块的CMOS图像传感器芯片；所述数据采集模块获取输入图像的图像质量数据并传输至位于CMOS图像传感器芯片外部的深度学习电路单元中；深度学习电路单元中的神经网络根据接收的数据通过自主学习形成深度学习模型；将深度学习电路单元内置于上述CMOS图像传感器芯片中，形成智能CMOS图像传感器芯片。本发明专利技术提供的提供一种智能CMOS图像传感器芯片及其制造方法，基于神经网络的深度学习，在认知交互的基础上，通过自我学习来提升CIS成像效率以及成像效果，从而减少芯片调试及重新设计时间，以便降低芯片设计成本，提升CIS的性能。

An intelligent CMOS image sensor chip and its manufacturing method

The invention discloses an intelligent CMOS image sensor chip and its manufacturing method, the manufacturing method comprises selecting CMOS image sensor chip includes algorithm module and data acquisition module; and transmitted to the image sensor chip in CMOS external circuit deep learning unit image quality data of the data acquisition module acquires the input image; deep learning neural the network circuit unit in the formation of autonomous learning through deep learning model based on the received data; the deep learning circuit unit are built in the CMOS image sensor chip, the formation of intelligent image sensor chip CMOS. An intelligent CMOS image sensor chip and manufacturing method thereof are provided in the present invention provides, neural network based on deep learning, based on cognitive interaction, through self-study to improve CIS imaging efficiency and imaging effect, thereby reducing the chip debugging and re design, in order to reduce the design cost, enhance the performance of CIS.

【技术实现步骤摘要】
一种智能CMOS图像传感器芯片及其制造方法
本专利技术涉及集成电路芯片领域，具体涉及一种智能CMOS图像传感器芯片及其制造方法。
技术介绍
CMOS图像传感器(CIS)，是一种基于互补金属氧化物半导体的芯片，其表面包含有几十万到上亿的光电二极管。光电二极管受到光照射时，就会产生电荷。从技术角度分析成像原理，核心结构上每单位像素点由一个感光电极、一个电信号转换单元、一个信号传输晶体管，以及一个信号放大器所组成。理论上CMOS图像传感器感受到的光线经光电转换后使电极带上负电和正电，这两个互补效应所产生的电信号(电流或者电势差)被CMOS从一个一个像素当中顺次提取至外部的A/D(模/数)转换器上再被处理芯片记录解读成影像。具体工作时先由水平传输部采集信号，再由垂直传输部送出全部信号，故CMOS图像传感器可以在每个像素基础上进行信号放大，采用这种方法可进行快速的数据扫描。CMOS图像传感器的质量好坏，与很多因素有关系，如感光器件和加工工艺水平，电路设计技术能力，以及后端彩色滤光膜加工和封装等。因此为了提高图像质量，会在CIS传感器设计的时候加入一些算法，例如：自动黑电平矫正，去横条纹，降噪等等。现有技术中CIS内部的算法包含着自动黑电平矫正，去横条纹，降噪等等，为了得到最佳的图像质量，我们希望这些算法都能够达到最佳计算效果。但是实践中，这些算法在整合调试过程中常常会出现调整某一个算法，影响到其他算法的情况，由于参数过多，以及正常光照/暗光光照，温度高低等情况的不同，也会导致参数设计的不一致，往往只能保证其中一个算法的计算结构是最佳的，而其他算法的效果并不如意。为了保证各个算法之间的最佳平衡，在实际过程中常常需要有经验的工程师进行调整，选择一个平衡点。但是这种人工调节过程对工程师的经验值要求非常高，并且只依靠经验值的调节往往会出现各种各样不同的问题，无法保证CIS内部的算法全部达到最佳状态。
技术实现思路
本专利技术所要解决的技术问题是提供一种智能CMOS图像传感器芯片及其制造方法，基于神经网络的深度学习，在认知交互的基础上，通过自我学习来提升CIS成像效率以及成像效果，从而减少芯片调试及重新设计时间，以便降低芯片设计成本，提升CIS的性能。为了实现上述目的，本专利技术采用如下技术方案：一种智能CMOS图像传感器芯片，包括算法模块，包括至少一种算法，用于依次对智能CMOS图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据；数据采集模块，连接算法模块和深度学习电路单元，用于获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至深度学习电路单元中的神经网络；深度学习电路单元，包括神经网络和深度学习模型，其中，所述神经网络根据所述数据采集模块获取的图像质量数据以及工作参数，并通过自主学习形成深度学习模型；所述深度学习模型调整所述算法模块中各算法的寄存器参数，获得和各个算法一一对应的最优算法，所述算法模块中的各个最优算法用于依次对输入图像进行计算，并输出计算之后的图像数据。进一步地，所述算法模块中的算法包括自动黑电平矫正算法和/或去横条纹算法和/或降噪算法。进一步地，所述算法对应的工作参数还包括各个算法进行计算时的实时温度和AC/DC增益数据。进一步地，所述图像质量数据包括图像信噪比数据、图像清晰度数据和图像横竖条纹数据。一种智能CMOS图像传感器芯片的制造方法，包括以下步骤：S01：选取包括算法模块和数据采集模块的CMOS图像传感器芯片，此时，深度学习电路单元位于该CMOS图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各个算法依次对输入图像进行计算，并输出计算之后的图像数据；S02：所述数据采集模块获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至位于上述CMOS图像传感器芯片外部的深度学习电路单元中；S03：深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据和包含寄存器参数在内的工作参数，通过自主学习形成深度学习模型，并存储在深度学习电路单元中；S04：将深度学习电路单元内置于上述CMOS图像传感器芯片中，所述深度学习电路单元中的深度学习模型调整所述算法模块中各个算法的寄存器参数，获得和各个算法一一对应的最优算法；形成包括算法模块、数据采集模块和深度学习电路单元的智能CMOS图像传感器芯片；所述算法模块中的各个最优算法依次对输入图像进行计算，并输出计算之后的图像数据。进一步地，步骤S02中数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据。进一步地，步骤S03中深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。一种智能CMOS图像传感器芯片，包括算法模块和数据采集模块，所述算法模块包括至少一种算法和深度学习电路单元，所述深度学习电路单元包括神经网络和深度学习模型，所述神经网络根据所述数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型；其中，所述深度学习模型和各个算法用于依次对智能CMOS图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。进一步地，所述深度学习模型对输入图像进行计算之后可以实现自动黑电平矫正和/或去横条纹和/或降噪的功能。一种智能CMOS图像传感器芯片的制造方法，包括以下步骤：T01：选取包括算法模块和数据采集模块的CMOS图像传感器芯片，此时，深度学习电路单元位于该CMOS图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各算法分别对输入图像进行计算，并输出计算之后的图像数据；T02：所述数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据，并传输至位于上述CMOS图像传感器芯片外部的深度学习电路单元中；T03：所述深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据，并通过自主学习形成深度学习模型，存储在深度学习电路单元中；T04：将深度学习电路单元内置于上述CMOS图像传感器芯片中的算法模块中，此时，深度学习电路单元替换步骤T01中所述算法模块中的部分算法，形成包括数据采集模块和算法模块的智能CMOS图像传感器芯片；所述深度学习电路单元中的深度学习模型和未被替换的算法依次对输入图像进行计算，并输出计算之后的图像数据。进一步地，步骤T01中的CMOS图像传感器芯片中的算法模块包括自动黑电平矫正算法和/或去横条纹算法和/或降噪算法。一种智能CMOS图像传感器芯片，包括深度学习电路单元和数据采集模块，所述深度学习电路单元包括神经网络和深度学习模型，所述神经网络根据所述数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型，其中，所述深度学习模型用于对智能CMOS图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。一种智能CMOS图像传感器芯片的制造方法，包括以下步骤：B01：选取包括算法模块和数据采集模块的CMOS图像传感器芯片，此时，深度学习电路单元位于该CMOS图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各算法分别对输入图像进行计算，并输出计算之后的图像数据；B02：所本文档来自技高网...

【技术保护点】
一种智能CMOS图像传感器芯片，其特征在于，包括算法模块，包括至少一种算法，用于依次对智能CMOS图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据；数据采集模块，连接算法模块和深度学习电路单元，用于获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至深度学习电路单元中的神经网络；深度学习电路单元，包括神经网络和深度学习模型，其中，所述神经网络根据所述数据采集模块获取的图像质量数据以及工作参数，并通过自主学习形成深度学习模型；所述深度学习模型调整所述算法模块中各算法的寄存器参数，获得和各个算法一一对应的最优算法，所述算法模块中的各个最优算法用于依次对输入图像进行计算，并输出计算之后的图像数据。

【技术特征摘要】
1.一种智能CMOS图像传感器芯片，其特征在于，包括算法模块，包括至少一种算法，用于依次对智能CMOS图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据；数据采集模块，连接算法模块和深度学习电路单元，用于获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至深度学习电路单元中的神经网络；深度学习电路单元，包括神经网络和深度学习模型，其中，所述神经网络根据所述数据采集模块获取的图像质量数据以及工作参数，并通过自主学习形成深度学习模型；所述深度学习模型调整所述算法模块中各算法的寄存器参数，获得和各个算法一一对应的最优算法，所述算法模块中的各个最优算法用于依次对输入图像进行计算，并输出计算之后的图像数据。2.根据权利要求1所述的一种智能CMOS图像传感器芯片，其特征在于，所述算法模块中的算法包括自动黑电平矫正算法和/或去横条纹算法和/或降噪算法。3.根据权利要求1所述的一种智能CMOS图像传感器芯片，其特征在于，所述算法对应的工作参数还包括各个算法进行计算时的实时温度和AC/DC增益数据。4.根据权利要求1所述的一种智能CMOS图像传感器芯片，其特征在于，所述图像质量数据包括图像信噪比数据、图像清晰度数据和图像横竖条纹数据。5.一种制造权利要求1所述的智能CMOS图像传感器芯片的方法，其特征在于，包括以下步骤：S01：选取包括算法模块和数据采集模块的CMOS图像传感器芯片，此时，深度学习电路单元位于该CMOS图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各个算法依次对输入图像进行计算，并输出计算之后的图像数据；S02：所述数据采集模块获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至位于上述CMOS图像传感器芯片外部的深度学习电路单元中；S03：深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据和包含寄存器参数在内的工作参数，通过自主学习形成深度学习模型，并存储在深度学习电路单元中；S04：将深度学习电路单元内置于上述CMOS图像传感器芯片中，所述深度学习电路单元中的深度学习模型调整所述算法模块中各个算法的寄存器参数，获得和各个算法一一对应的最优算法；形成包括算法模块、数据采集模块和深度学习电路单元的智能CMOS图像传感器芯片；所述算法模块中的各个最优算法依次对输入图像进行计算，并输出计算之后的图像数据。6.根据权利要求5所述的制造智能CMOS图像传感器芯片的方法，其特征在于，步骤S02中数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据。7.根据权利要求5所述的制造智能CMOS图像传感器芯片的方法，其特征在于，步骤S03中深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。8.一种智能CMOS图像传感器芯片，其特征在于，包括算法模块和数据采集模块，所述算法模块包括至少一种算法和深度学习电路单元，所述深度学习电路单元包括神经网络和深度学习模型，所述神经网络根据所述数据...

【专利技术属性】
技术研发人员：王勇，李赟晟，
申请(专利权)人：上海集成电路研发中心有限公司，成都微光集电科技有限公司，
类型：发明
国别省市：上海,31