一种适用于阵列相机的多芯片分布式自动曝光装置制造方法及图纸

本发明专利技术属于阵列相机体系技术领域，具体为一种适用于阵列相机的多芯片分布式自动曝光装置。本发明专利技术的分布式自动曝光装置，由N

【技术实现步骤摘要】
一种适用于阵列相机的多芯片分布式自动曝光装置


[0001]本专利技术属于阵列相机体系
，具体涉及适用于阵列相机的多芯片分布式自动曝光装置。

技术介绍

[0002]为了实现超高分辨率视频(比如5亿像素)，一般会采用多摄像头拼接融合的方法，采用多芯片阵列互联架构来实现超高分辨率视频，可以从根本上缓解相机成像系统的可扩展性、支持超高分辨率，同时成本、功耗、体积都得到了很好的控制。
[0003]通过很多路摄像头融合出来的超高像素，由于采用的摄像头传感器不同、光圈值不同等等差异性，对融合产生了很大的困扰。对于自动曝光问题，不同摄像头、图像相处理器看到的区域不同，各自的自动曝光统计值不一致，动态范围调整策略不同，最后HDR融合的结果不同，色阶映射根据各自的区域调整，这严重影响了拼接的前提条件。
[0004]典型阵列相机为了解决这一类问题，采用简单的集总式策略，采用全景镜头来看全景预览，通过这颗摄像头来做统一的自动曝光统计，采用通用的算法得到一个曝光结果，甚至采用单曝光策略，把这个结果映射到其他38路复眼镜头之上，这样做一定程度上可以缓解同步问题，但是由于全景摄像头的分辨率不够高，没有复眼之间的边界信息，得到的信息很难精确表针超高分辨率相机系统的状态，另外需要额外的一颗摄像头成本，同时也没法解决镜头阴影一致性问题。
[0005]本专利技术提出了一种分布式阵列自动曝光架构，可以充分利用阵列中的分布式MCU，来计算自动曝光的统计，并利用各个自己的并行能力控制图像传感器实现自动曝光调整。这都保障了超高分辨率亮度拼接的可靠性和实时性，同理可以扩展应用到色温拼接、对焦拼接等等。

技术实现思路

[0006]本专利技术的目的在于针对阵列相机多摄像头实时协同工作的特定需求，提出一种适用于阵列相机的多芯片自动曝光装置。
[0007]本专利技术提供的适用于阵列相机的多芯片自动曝光装置，利用阵列中的分布式MCU，进行自动曝光的统计，并利用各个芯片自己的并行能力控制图像传感器实现自动曝光调整，以保障超高分辨率亮度拼接的可靠性和实时性。
[0008]本专利技术提供的适用于阵列相机的多芯片自动曝光装置，参见图3所示，由N
×
N颗芯片二维阵列排布组成，记为芯片[i,j], i,j=1,2,
…
, N,其中，左上角芯片[1，1]为主MCU；N至少为4；图3中，N为4；每颗芯片结构，包括独立的4核图像处理器（简记为核1、核2、核3核核4）、一个多芯片控制器、一个中央处理器、独立的4路图像传感器主控器、IIC控制器、3路输入MIPI和3路输出MIPI；参见图4所示。其中，4核图像处理器包括4个独立的自动曝光统计模块；3路输入MIPI和3路输出MIPI，用于多芯片通信。每颗芯片中的模块互联关系如下：四核图像处理器接收来自四个图像传感器传送过来的四路视频流，每路图像处理过程中，自动
曝光统计模块对视频流进行曝光统计，并把统计数据送给中央处理器以及多芯片控制器，再由多芯片控制器通过输出端口分发给与其相邻的其他芯片；多芯片控制器也接收与其相邻其他芯片发送过来的统计数据。同时，所述多芯片控制器还接收来自与其相邻的芯片发出的广播数据，并送给中央处理器，中央处理器控制图像传感器主控器和IIC控制器来发送同步信号、曝光、模拟增益等信号给4个图像传感器，把数字增益以及参数发送给4路图像处理器(图4中核1，核2，核3，核4)，以实现并行实时的动态控制，同时多芯片控制器通过输出端口将广播数据发送给与相邻的其他芯片；于是，各个芯片（这里16颗）之间通过MIPI的虚拟通道互传统计值和广播值，形成一个闭环。
[0009]多芯片控制器分发数据给与其相邻的其他芯片，具体是：多芯片控制器，通过第一输出端口将广播数据发送给左侧芯片（参见图4中虚线输出1），通过第二输出端口将统计数据和广播数据发送给左上方的芯片（参见图4中实线和虚线输出2），通过第三输出端口将广播数据发送给上方的芯片（参见图4中虚线输出3）；所述多芯片控制器，接收与其相邻其他芯片送过来的数据，具体地是：多芯片控制器通过输入端口1 接收来自其右侧芯片的统计数据（参见图4中实线输入1），通过第二输入端口接收来自其右下方芯片的统计数据和广播数据（参见图4中实线和虚线输入2），通过第三输入端口接收来自下侧芯片的统计数据（参见图4中实线输入3）。
[0010]本专利技术提供的适用于阵列相机的多芯片自动曝光装置，除了每颗芯片单独统计全局的分块区域，用户感兴趣区域仍然保留，因为4x4=16颗芯片最后处理的是一幅超高分辨率的图，所以用户感兴趣区域应该从全局来看，而不是每颗图像处理器有一个用户感兴趣区域。实现上，每个图像处理器的4x4统计功能还在，但不是所有4x4的块都工作，是否工作根据用户感兴趣区域在最后超高分辨率大图坐标来决定。
[0011]本专利技术提供多芯片分布式自动曝光装置，利用每一颗芯片的MCU算力，实时的在自己的芯片内完成耗时主力运算，最后把运算的中间产物送到左上角芯片[1，1]主MCU，进行最后的计算决策，再通过广播机制，把决策结果发布给每一颗芯片，让每颗芯片独立的控制4颗图像传感器；MIPI传送的速率比IIC快很多，所以几乎是无感的，这样，16颗芯片的MCU并行计算统计值，并行的控制图像传感器，系统上实现了良好的实时性决策和控制。
[0012]本专利技术的具体收益效果是：提出的适用于阵列相机的多芯片分布式自动曝光装置，结合多芯片通信机制，可以在系统上实现良好的实时性决策和控制，减少主核MCU的算力需求，充分利用阵列上每一颗芯片的MCU算力以及每一颗芯片对图像传感器的实时控制能力，减少整个自动曝光闭环的系统延迟，大幅提高性能。
附图说明
[0013]图1为单芯片单图像处理器自动曝光统计。
[0014]图2为多芯片自动曝光统计。
[0015]图3为本专利技术分布式阵列自动曝光装置结构图示。
[0016]图4为单芯片系统结构图示。
具体实施方式
[0017]图1是单芯片单图像处理器自动曝光的统计示意图，把单图像处理器处理的图像
分成8x6=48块，每一个块单独进行平均值计算、256份的直方图统计分布，另外中间浮动的4x4是用户感兴趣区域，单独计算每个块的平均值，256份的直方图统计分布。单芯片内部每一颗图像处理器都同样的计算。
[0018]本专利技术提出的一种适用于阵列相机的多芯片自动曝光装置，比如4x4=16颗芯片一起工作，相当如8x6x4x4x4=64x48=3072，分成3072个块进行单独统计。每个块都统计平均值、256份的直方图分布，如图2所示。
[0019]除了每颗芯片单独统计全局的分块区域，用户感兴趣区域仍然保留，因为4x4=16颗芯片最后处理的是一幅超高分辨率的图，所以用户感兴趣区域应该全局来看，而不是每颗图像处理器有一个用户感兴趣区域。如图2所示。实现上，每个图像处理器的4x4统计功能还在，但不是所有4x4的块都工作，是否工作是根据用户感兴趣区域在最后超高分辨率大图坐标来决定，比如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于阵列相机的多芯片自动曝光装置，其特征在于，利用阵列分布式MCU，进行自动曝光的统计，并利用各个芯片自己的并行能力控制图像传感器实现自动曝光调整，以保障超高分辨率亮度拼接的可靠性和实时性；由N
×
N颗芯片二维阵列排布组成，记为芯片[i,j], i,j=1,2,
…
, N,其中，左上角芯片[1，1]为主MCU； N至少为4；每颗芯片结构，包括独立的4核图像处理器、一个多芯片控制器、一个中央处理器、独立的4路图像传感器主控器、IIC控制器、3路输入MIPI和3路输出MIPI；其中，4核图像处理器包括4个独立的自动曝光统计模块；3路输入MIPI和3路输出MIPI，用于多芯片通信；每颗芯片中的模块互联关系如下：四核图像处理器接收来自四个图像传感器传送过来的四路视频流，每路图像处理过程中，自动曝光统计模块对视频流进行曝光统计，并把统计数据送给中央处理器以及多芯片控制器，再由多芯片控制器通过输出端口分发给与其相邻的其他芯片；多芯片控制器也接收与其相邻其他芯片发送过来的统计数据；同时，所述多芯片控制器还接收来自与其相邻的芯片发出的广播数据，并送给中央处理器，中央处理器控制图像传感器主控器和IIC控制器来发送同步信号、曝光、模拟增益等信号给4个图像传感器，把数字增益以及参数发送给4路图像处理器，以实现并行实时的动态控制，同时多芯片控制器通过输出端口将广播数据发送给与相邻的其他芯片；于是，各个芯片之间通过MIPI的虚拟通道互传统计值和广播值，形成一个闭环。2.根据权利要求1所述的多芯片自动曝光装置，其特征在于：多芯片控制器分发数据给与其相邻的其他芯片，具体是：多芯片控制器，通过第一输出端口将广播数据发送给左侧芯片，通过第二输出端口将统计数据和广播数据发送给左上方的芯片，通过第三输出端口将广播数据发送给上方的芯片；多芯片控制器接收与其相邻的其他芯片送过来的数据，具体是：多芯片控制器通过第一输入端口接收来自其右侧芯片的统计数据，通过第二输入端口接收来自其右下方芯片的统计数据和广播数据，通过第三输入端口接收来自下侧芯片的统计数据。3.根据权利要求1所述的多芯片自动曝光装置，其特征在于，每一颗芯片利用自己的MCU算力，实时的在自己的芯片内完成耗时主力运算，最后把运算的中间产物送到左上角芯片[1，1]主MCU，进行最后的计算决策；再通过广播机制，把决策结果发布给每一颗芯片，让每颗芯片独立的控制4颗图像传感器；这样，16颗芯片的MCU并行计算统计值，并行的控制...

【专利技术属性】
技术研发人员：凌毅，范益波，曾晓洋，
申请(专利权)人：复旦大学，
类型：发明
国别省市：