多传感器摄像机、用于多传感器摄像机的方法和处理管道技术

本公开提供了多传感器摄像机、用于多传感器摄像机的方法和处理管道。提供了一种在包括具有部分重叠视野的第一传感器和第二传感器的多传感器摄像机中执行的方法。第一视频帧和第二视频帧各自具有非重叠部分和重叠部分。通过将来自第一和第二视频帧的非重叠部分的图像数据与仅来自第一视频帧的重叠部分的图像数据结合来生成第一视频流的帧；生成第二视频流的帧以包括来自至少第二视频帧的重叠部分的图像数据。并行处理第一视频流的帧和第二视频流的帧。将重叠添加到第一视频流中的处理后的帧。在准备重叠的步骤和添加重叠的步骤中的至少一个步骤中，将来自第一视频帧的重叠部分的图像数据与来自第二视频帧的重叠部分的图像数据融合。

【技术实现步骤摘要】
多传感器摄像机、用于多传感器摄像机的方法和处理管道
本专利技术涉及多传感器摄像机领域，并且具体地涉及通过多传感器摄像机捕获到的图像的拼接。
技术介绍
包括具有部分重叠视野的多个传感器的摄像机日益受到监控市场的青睐。通过这样的摄像机的多个传感器同时捕获到的图像可以被拼接在一起来形成全景图像，该全景图像描绘了该多个传感器的组合视野。优选进行拼接以便提供图像之间的无缝衔接。将来自多个传感器的图像拼接在一起的处理通常是处理密集的(processingintense)，因此倾向于在摄像机的处理管道(processingpipeline)中引入延迟。最终，这可能会限制摄像机的帧速率，原因在于摄像机的处理管道可能无法足够快地处理捕获到的帧。在市场上可利用的摄像机中发现的这个问题的一个解决方案是在摄像机的处理管道的上游包括现场可编程门阵列(FPGA)，从而在将同时捕获到的图像输入到处理管道之前执行图像的拼接。然而，这种方案是昂贵的，尤其是在FPGA应当足够快从而不会引入由图像拼接引起的不期望的延迟的情况下。而且，这种方案排除了以下情况：摄像机的处理管道中实施的一些图像处理是在执行拼接之前对单个图像进本文档来自技高网...

【技术保护点】
1.一种在包括具有部分重叠视野的第一传感器(102a)和第二传感器(102b)的多传感器摄像机(100)中执行的方法，包括：接收(S02)分别通过所述第一传感器(102a)和所述第二传感器(102b)同时捕获到的第一视频帧(108a)和第二视频帧(108b)，其中所述第一视频帧(108a)和所述第二视频帧(108b)中的每个具有不与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的非重叠部分(118a、118b)、以及与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的重叠部分(128a、128b)，通过将来自所述第一视频帧(108a)和所述第二视频帧(...

【技术特征摘要】
2017.06.20 EP 17176772.61.一种在包括具有部分重叠视野的第一传感器(102a)和第二传感器(102b)的多传感器摄像机(100)中执行的方法，包括：接收(S02)分别通过所述第一传感器(102a)和所述第二传感器(102b)同时捕获到的第一视频帧(108a)和第二视频帧(108b)，其中所述第一视频帧(108a)和所述第二视频帧(108b)中的每个具有不与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的非重叠部分(118a、118b)、以及与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的重叠部分(128a、128b)，通过将来自所述第一视频帧(108a)和所述第二视频帧(108b)的所述非重叠部分(118a、118b)的图像数据(A、B)与仅来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)结合在一起，生成(S04)第一视频流(214)的帧(302)，生成(S06)第二视频流(216)的帧(304、404)，其中所述第二视频流的所述帧(304、404)包括来自至少所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)，并行处理(S08)所述第一视频流的所述帧(302)和所述第二视频流的所述帧(304、404)，其中所述第二视频流的所述帧(304、404)的处理包括基于来自至少所述第二视频帧(108b)的所述重叠部分(128b)的所述图像数据(B’)来准备重叠(306、406)，以及在所述第一视频流中的处理后的帧(308)的与所述第一视频帧(108a)的所述重叠部分(128a)相对应的部分(328a)处，将所述重叠(306、406)添加(S10)到所述第一视频流中的所述处理后的帧(308)，其中在准备所述重叠的步骤和添加所述重叠的步骤中的至少一个步骤中，将来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)与来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)融合。2.根据权利要求1所述的方法，其中所述第二视频流的所述帧(304)包括来自所述第二视频帧(108b)和所述第一视频帧(108a)的所述重叠部分(128a、128b)的图像数据(A’)，并且其中准备所述重叠的步骤包括将来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)与来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)融合。3.根据权利要求2所述的方法，其中，在添加所述重叠的步骤中，所述重叠(306)替换所述第一视频流中的所述处理后的帧(308)的在与所述第一视频帧(108a)的所述重叠部分(128a)相对应的部分(328a)中的图像数据(A’)。4.根据权利要求2或3所述的方法，其中所述融合包括：针对所述重叠部分(128a、128b)中的每个像素，计算来自所述第一视频帧(108a)的图像数据(A’)和来自所述第二视频帧(108b)的图像数据(B’)的加权平均值，其中与来自所述第二视频帧(108b)的所述重叠部分(128b)的所述图像数据(B’)相关联的权重取决于从所述像素到所述第二视频帧(108b)的所述重叠部分(128b)和所述非重叠部分(118b)之间的边界的最短距离，并且其中与来自所述第一视频帧(108a)的所述重叠部分(128a)的所述图像数据(A’)相关联的权重取决于从所述像素到所述第一视频帧(108a)的所述重叠部分(128a)和所述非重叠部分(118a)之间的边界的最短距离。5.根据权利要求2或3所述的方法，其中所述融合包括：计算来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)和来自所述第二视频帧(108b)的所述重叠部分(128b)图像数据(B’)的第一加权平均值，其中所述第一加权平均值是关于低于第一阈值的空间频率来计算的，计算来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)和来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)的第二加权平均值，其中所述第二加权平均值是关于等于或高于第二阈值的空间频率来计算的，所述第二阈值大于或等于所述第一阈值，其中，为所述第一加权平均值和所述第二加权平均值不同地选择权重，并且通过将所述第一加权平均值与所述第二加权平均值相加来计算所述重叠。6.根据权利要求2或3所述的方法，其中所述融合包括：识别所述第一视频帧(108a)的所述重叠部分(128a)中的对象和所述第二视频帧(108b)的所述重叠部分(128b)中的对象，计算所述重叠部分(128a、128b)中来自所述第一视频帧(108a)的图像数据(A’)和来自所述第二视频帧(108b)的图像数据(B’)的加权平均值，其中，如果对象被识别为位于所述第一视频帧(108a)的所述重叠部分(128a)和所述第二视频帧(108b)的所述重叠部分(128b)二者中，则对于被识别为属于所述对象的像素，将与所述第一视频帧(108a)的所述图像数据(...

【专利技术属性】
技术研发人员：T·亨宁松，袁嵩，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典,SE