用于多路复用MIPI多光谱成像设备的系统和方法技术方案

本发明专利技术提供一种从多个摄像机获取接近同步的帧的方法和系统。可以从两种方式获取同步帧。如果摄像机设置为在触发模式下工作，为了从每个摄像机获取接近同步的图像，要调整触发第一摄像机和下一个摄像机的时间使每个摄像机的触发信号和图像通信控制信号的时序有所重叠。如果摄像机处于视频模式，通过使用公用时钟并同时启动各摄像机就可使它们保持同步。在每个摄像机产生帧的同时，每个摄像机在收到触发信号后相继采样单独的相应的帧。因此，即可从视频模式下多个摄像机中采样并存储接近同步的图像。

【技术实现步骤摘要】
用于多路复用MIPI多光谱成像设备的系统和方法
本专利技术涉及适用于协调多个成像设备的操作的方法及系统。更确切地，在至少一个实施例中，本专利技术涉及无人驾驶飞行器上与多光谱成像系统相关的电子控制系统及管理多个数字摄像机的相关软件。
技术介绍
可携带轻型优质数字摄像机(及其相应的电子控制系统)的不断发展已自然导致了这些设备与各种应用领域的广泛结合。而一直以来，由于空间小、能耗高和其他实际应用中的各种限制，与这些设备的结合都被认为是不可行的。同样，移动电子设备的发展也使得遥控无人驾驶飞行器(UAVs，也称无人机(drone))被广泛运用。通常，UAV的配置包括多个小型、电子控制、呈垂直或水平方向的螺旋桨，该螺旋桨设于UAV机身的中部或靠近端部边缘。而结合了轻型优质数字摄像机的改良型UAV由于其高质量的UAV摄影技术而带来了新型娱乐和商业应用的迅猛发展。通常，安装于UAV上的数字摄像机具有专用的图像处理单元，用来控制触发信号、获取图像及传送图像，除此之外，处理单元还包括各种其它操纵远程模式下安装在移动运输工具上的数字摄像机所需的控制功能。然而，在某些应用中，需要将多个数字摄像机安装在同一个UAV上，以获得同步或接近同步的多个图像，其中每个摄像机分别捕捉不同光谱范围内的图像。这种应用在军事，安全防护和农业等应用中很常见。但是，可以理解，由于现有蓄电池技术的局限性，通常希望UAV的电子部件要尽量质轻且节能，以最大限度地减少VAV能耗并延长UAV飞行时间。因此，通常期望多摄像机的配置能最大幅度减少电子硬件的重量和能耗。更确切地，我们期望减少用于操作多个数字摄像机所需的每个图像处理单元的数量，这样就能缩小UAV上的集成电路板的总体尺寸。因此，我们需要一种能够将操作多个数字摄像机的图像处理器的数量减至最少的系统和方法，同时能最大幅度地缩小对于每个数字摄像机的触发信号之间的总体延迟，以确保每个数字摄像机都能够捕捉到接近同步的图像。
技术实现思路
在至少一个实施例中，本专利技术提供了一种系统和方法，其用于最大限度减少用来操作多个数字摄像机的图像处理器的数量，因而也最大幅度减少了用于触发多个摄像机中每一个摄像机的各触发信号之间的总体延迟，从而确保了每个摄像机所获取的图像都接近相同(near-identical)。特别是，在一个实施例中，本专利技术提供了一种方法和系统，用于触发第一摄像机和下一个摄像机，以便通过同一个图像处理单元获取接近同步的图像。在一个实施例中，提供了一种方法和系统，其对多个摄像机与同一个图像处理单元之间的各自的图像通信链接和触发链接通过多路复用的形式进行协调。在至少一个实施例中，其中，在摄像机处于触发模式时，根据本专利技术构思，与第一摄像机相关的第一触发信号和与下一个摄像机相关的下一个触发信号，分别跟与第一摄像机相关的第一图像通信链接，及与第二摄像机相关的第二图像通信链接有所重叠。因此，在这些与第一摄像机相关的第一触发信号、第一图像通信控制信号、第一曝光周期以及第一数据传送链接启动之后，接下来的触发信号和曝光周期的启动都开始于第一通信控制信号和第一数据传送链接的关闭之前。在至少一个实施例中，本专利技术提供了一种方法，用于控制触发模式下的多个摄像机，从而获得多个接近相同的图像。该方法包括以下步骤：作为对主触发信号的响应，产生第一触发信号和第二触发信号，该第一触发信号与触发模式下的第一摄像机有关，该第二触发信号与触发模式下的第二摄像机有关，该第一触发信号具有起始点和终止点，该第二触发信号也具有起始点和终止点；通过第一摄像机和处理单元之间的第一触发信号链接接收第一触发信号；通过第一通信控制信号链接在第一摄像机和处理单元之间建立与第一摄像机相关的第一图像通信控制信号，该第一图像通信控制信号具有起始点和终止点；建立与第一摄像机相关的第一曝光周期，该第一曝光周期具有起始点和终止点；以及在第一摄像机和处理单元之间建立与第一摄像机相关的第一数据传送链接，该第一数据传送链接具有起始点和终止点，因此，在第一触发信号的起始点、第一图像通信控制信号的起始点、第一曝光周期的起始点和第一数据传送链接的起始点之后，接收第二触发信号；以及，在第一通信控制信号的终止点和第一数据传送链接的终止点之前，建立与第二摄像机相关的第二曝光周期。在至少一个实施例中，本专利技术提供了一种系统，用于控制多个触发模式下的摄像机，从而获取多个接近相同的图像。该系统包括：处理单元，以及多个摄像机，该多个摄像机中的每一个都处于触发模式，这样，该处理单元通过触发控制信号链接、复位信号链接、开关控制信号链接、图像通信信号链接、以及摄像机控制信号链接与每个摄像机电子连接。在另一个实施例中，摄像机处于视频模式。对于视频模式下的摄像机，从第一摄像机获取的第一组帧中采样第一帧，从第二摄像机获取的第二组帧中采样第二帧。这样，第一帧和第二帧就代表了由视频模式下两个不同摄像机所获取的两个接近相同的图像。在至少一个实施例中，本专利技术提供了一种方法，用于控制视频模式下的多个摄像机以获取多个接近相同的图像。该方法包括以下步骤：用外部时钟对至少第一摄像机和至少第二摄像机进行同步；在第一摄像机和处理单元之间建立第一图像通信链接；从视频模式下的第一摄像机获取的第一组帧中采样第一帧，该第一帧对应于第一时间；在第二摄像机和处理单元之间建立第二图像通信链接；从视频模式下的第二摄像机获取的第二组帧中采样第二帧，该第二帧对应于第二时间；这样，该第一时间和第二时间接近相同，因此，第一图像和第二图像也接近相同。在至少一个实施例中，本专利技术提供了一种系统，用于控制视频模式下的多个摄像机以获取多个接近相同的图像。该系统包括：处理单元，以及，多个摄像机，该多个摄像机中的每一个都处于视频模式，其中：处理单元通过起始控制信号链接、复位信号链接、开关控制信号链接、图像通信信号链接、外部时钟信号链接以及摄像机控制信号链接与每个摄像机电子连接。附图说明通过阅读如下相关附图，可以更好地理解本专利技术的说明书。其中：图1A为根据本专利技术的至少一种实施例，一种带有典型输入/输出信号的数字摄像机实施例示意图；图1B为根据本专利技术的至少一种实施例，一种适当的模拟低频开关(适用于(例如)控制12C和/或复位信号)的实施例示意图；图1C为根据本专利技术的至少一种实施例，一种适当的2x1多通道高频多路复用器(适用于(例如)控制MIPI链接)的实施例示意图；图1D为根据本专利技术的至少一种实施例，一种用于产生信号和控制信号的适当的移位寄存器的实施例示意图；图2为根据本专利技术的至少一种实施例的一般电路布置示意图；图3A为根据本专利技术的至少一种实施例，一种用于适当系统的2n:1MIPI链接多路复用布置的实施例示意图；图3B为根据本专利技术的至少一种实施例，一种2n:1MIPI链接多路复用布置的实施例示意图，该布置采用带有2:1MIPI开关级联格式的树状结构；图4为根据本专利技术的至少一种实施例，一种摄像机在触发模式下触发和图像获取过程的时序示意图；本文档来自技高网...

【技术保护点】
1.一种系统，用于控制触发模式下的多个摄像机以获取多个接近相同的图像，该系统包括：/n处理单元，以及/n多个摄像机，该多个摄像机中的每一个都处于触发模式；/n其中：处理单元通过触发控制信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与每一个摄像机电子连接；其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。/n

【技术特征摘要】
20190520 US 16/416,3661.一种系统，用于控制触发模式下的多个摄像机以获取多个接近相同的图像，该系统包括：
处理单元，以及
多个摄像机，该多个摄像机中的每一个都处于触发模式；
其中：处理单元通过触发控制信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与每一个摄像机电子连接；其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。


2.根据权利要求1所述的系统，其中，至少一个摄像机触发信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。


3.根据权利要求1所述的系统，其中，至少一个外部摄像机时钟信号链接通过至少一个移位寄存器将多个摄像机中的至少一个与处理单元电子连接。


4.根据权利要求1所述的系统，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。


5.一种系统，用于控制视频模式下的多个摄像机以获取多个接近相同的图像，该系统包括：
处理单元，以及
多个摄像机，该多个摄像机中的每一个都处于视频模式；
其中：处理单元通过起始控制信号链接、复位信号链接、开关控制信号链接、至少一个通信信号链接、外部时钟控制信号链接以及摄像机控制信号链接，与每一个摄像机电子连接；
其中，至少一个复位信号链接和至少一个通信信号链接，通过至少一个以多路复用形式设置的开关，与处理单元电子连接。


6.根据权利要求5所述的系统，其中，至少一个摄像机起始信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。


7.根据权利要求5所述的系统，其中，至少一个外部摄像机时钟信号链接通过移位寄存器将多个摄像机中的至少一个与处理单元电子连接。


8.根据权利要求5所述的系统，其中，至少一个通信信号链接选自以下链接：图像通信链接和设置通信链接。


9.一种方法，用于控制触发模式下的多个摄像机以获取多个接近相同的图像，该方法包括以下步骤：
利用外部时钟控制信号链接对至少第一摄像机和至少第二摄像机进行同步；
作为对主触发信号的响应，产生至少第一触发信号和第二触发信号，该第一触发信号与触发模式下的第一摄像机相关，该第二触发信号与触发模式下的第二摄像机相关，该第一触发信号具有起始点和终止点，该第二触发信号也具有起始点和终止点；
通过在第一摄像机和处理单元之间的第一触发信号链接接收第一触发信号；
通过第一通信控制信号链接在第一摄像机和处理单元之间建立与第一摄像机相关的第一图像通信控制信号，该第一图像通信控制信号具有起始点和终止点；
建立与第一摄像机相关的第一曝光周期，该第一曝光周期具有起始点和终止点；以及
在第一摄像机和处理单元之间建立与第一摄像机相关的第一数据传送链接，该第一数据传送链接具有起始点和...

【专利技术属性】
技术研发人员：阿里夫·巴赫塔扎德，杰什里·萨巴里纳森，海曼舒·希兰哈尔，扎赫拉·阿泰，尼古拉斯·斯科特·米切尔，格雷格·帕特森，阿塔·哈达迪，单铂，
申请(专利权)人：AL加拿大实验室股份有限公司，
类型：发明
国别省市：加拿大;CA