用于制作可靠的拼接图像的系统和方法技术方案

一种用于检测拼接图像中的赝像的方法，包括：从具有重叠视场的相应车载摄像机获取环境的分量图像；从分量图像形成(410)拼接图像；用分类器处理(420)对应于重叠视场的拼接图像的至少一部分，以提供在拼接图像中的相应位置处从环境检测到的物体列表；确定(430)检测到的物体列表中的任何检测到的物体是否是检测到的物体列表中的另一个物体的复制；以及报告被确定是复制的任何物体。确定是复制的任何物体。确定是复制的任何物体。

【技术实现步骤摘要】
【国外来华专利技术】用于制作可靠的拼接图像的系统和方法


[0001]本申请涉及用于制作可靠的拼接图像的系统和方法。

技术介绍

[0002]拼接图像是这样一种图像，其组合了从一个或多个具有重叠视场的不同姿态的摄像机获取的至少两个分量图像，以创建具有比分量图像更大或不同的视场的图像。
[0003]如果分量图像图中的相同物体的图像映射到拼接图像中的不同位置，则拼接过程会导致拼接图像中的赝像，例如重影效应。
[0004]US9509909描述了一种用于校正光度未对准的方法，包括从合成视图几何查找表、输入鱼眼图像和视图重叠区域中的至少一个提取块样本，从提取的块样本中选择样本内标，估计所选块样本的最佳颜色增益，基于估计的颜色增益执行精细调整并应用颜色变换，以及产生合成环绕视图图像。
[0005]US2018/0253875描述了一种用于拼接图像的方法，包括基于分量图像的一个或多个内容度量从一组拼接方案中选择拼接方案，并应用所选择的拼接方案。
[0006]DE102016124978A1描述了一种方法，该方法使用虚拟三维空间中的附加投影面来改善机动车辆的驾驶员辅助系统的显示设备上的竖直物体的可识别性，以在显示设备上更好地表示一个或多个竖直物体。
[0007]US2012/0262580描述了一种系统，该系统可以通过位于车辆上不同位置的摄像机提供来自车辆的环绕视图。摄像机可以生成对应于环绕视图的图像数据，并且处理设备可以处理图像数据并生成环绕视图。
[0008]US2009/0110327描述了一种便于识别3D坐标系中的平面的方法，其中将基于2D图像生成3D模型。设置该平面和2D图像之一中的感兴趣区域的挤出方向，并且该平面被挤出，直到平面中的感兴趣区域与2D图像中的对应区域相匹配。
[0009]本专利技术的目的是使拼接图像更加可靠，而没有先前工作的限制。

技术实现思路

[0010]本专利技术由独立权利要求限定。从属权利要求提供了进一步的可选特征。
[0011]简而言之，描述了一种使拼接图像更可靠的方法。该方法有效且准确地检测双效赝像，其中分量图像中的物体映射到拼接图像中的分离的离散位置，并且如果拼接图像中的内容不可靠，则能够发出警报。在一些实施例中，检测到的赝像被动态伪像实时有效地替换，以产生可靠的拼接图像。
附图说明
[0012]现在将参考附图，通过示例的方式描述本专利技术的实施例，其中：
[0013]图1示出了具有多个车载摄像机的车辆；
[0014]图2更详细地示出了图1的车辆和两个摄像机之间的重叠区域；
[0015]图3示出了同一场景的两幅拼接图像，其中不同的混合区域被突出显示；
[0016]图4示出了根据本专利技术实施例的检测和处理双效赝像的方法；
[0017]图5示出了在图4的实施例中使用的用于标记图像的卷积神经网络CNN；
[0018]图6示出了叠加有检测到的已知物体的标签的图像；
[0019]图7示出了图3场景的进一步拼接图像，其中标记了相应的混合区域。在左图中，汽车的双效赝像被检测并标记。在右图中，检测到的双赝像已被处理；
[0020]图8示出了图3场景的更多拼接图像，其中标记了相应的混合区域。在左图中，路灯结构的双效赝像被检测并标记。在右图中，检测到的双赝像已被处理；以及
[0021]图9示出了在检测到的双效赝像被处理后的图8的拼接图像。
具体实施方式
[0022]对于许多涉及驾驶车辆的任务，获取关于本地环境的信息是重要的。实现此的一种方法是分析来自安装在车辆上的摄像机模块的图像。然后可以将图像拼接在一起，以提供更方便的图像来观看。
[0023]当试图对车辆周围的环境成像时，一个摄像机通常没有足够的视场来获取所有需要的数据。解决这个问题的一种方法是使用多个摄像机。在图1中，示出了车辆100，其具有位于车辆外围的四个摄像机101、102、103、104。每个摄像机视场的一个边缘用虚线101a、102a、103a、104a标记。摄像机的这种配置导致视场在区域101b、102b、103b、104b中重叠。作为示例，区域102b表示前置摄像机101的视场101a和左侧摄像机102的视场102a之间的重叠。图示的配置仅仅是示例性的。所公开的教导对于其他摄像机配置同样有效。
[0024]图示的视场对着约180度。宽视场通常由具有宽视场透镜的摄像机实现，例如鱼眼镜头。鱼眼镜头是优选的，因为它们通常是圆柱对称的。在本专利技术的其他应用中，视场可以小于或大于180度。虽然鱼眼镜头是优选的，但可以使用提供宽视场的任何其他透镜。在本文中，宽视场是具有超过100度视场的透镜，优选超过150度，更优选超过170度。通常，具有如此宽视场的摄像机导致所采集图像中的成像赝像和失真。
[0025]本专利技术中使用的摄像机的灵敏度不必限于任何特定的波长范围，但最常见的是，它将与对可见光敏感的摄像机一起使用。摄像机通常是摄像机模块的形式，包括用于透镜和传感器的外壳，透镜用于将光聚焦到传感器上。摄像机模块还可以具有为传感器供电并能够与传感器通信的电子设备。摄像机模块还可以包括处理图像的电子设备。该处理可以是低级图像信号处理，例如增益控制、曝光控制、白平衡、去噪等，和/或它可以包括例如用于计算机视觉的更强大的处理。
[0026]如果摄像机配置成使得它从车辆周围的所有方向提供图像，如图1所示，它们的分量图像可以提供足够的信息视图，以从各种虚拟摄像机姿态之一合成拼接图像，特别是从车辆上方。
[0027]在如图1所示的具有多个摄像机的车辆的情况下，可能希望显示周围图像，包括从车辆正上方的视点观察的局部环境的单个图像，而不是来自多个摄像机的多个图像。因此，来自所有四个摄像机的图像必须拼接在一起。在执行拼接之前或者作为拼接过程的一部分，可以将图像映射到不同的表面。例如，在拼接之前，可以将分量图像映射到球面或柱面上。在一实施例中，在拼接之前，分量图像被映射到平底碗表面上。这种映射还可以考虑镜
头失真和/或便于拼接过程。
[0028]在其他时间，如在下面描述的示例中，例如，如果车辆将要左转，可能希望从从车辆前置摄像机101和左侧摄像机102获取的分量图像产生拼接图像，其中虚拟摄像机姿态位于车辆上方，以便更清楚地向驾驶员示出交叉路口。当车辆将要右转或在拐角处倒车时，可以从成对的图像中生成相似的拼接图像。
[0029]有多种已知的方法将分量图像拼接在一起。例如直接拼接、线性混合、选择性混合或多带混合。为了描述这些过程，现在转向图2，其示出了图1所示车辆的更多细节。在该图2中，重叠区域102b具有混合段102c。混合段102c是重叠区域的至少一部分，并且由两个角度限定：角偏移102d和角宽度102e。来自位于混合段102c内的任何分量图像的数据将与来自另一分量图像的数据组合，并且组合的数据在形成拼接图像时使用。混合段在分量图像上的投影限定了分量图像中的混合区域。
[0030]直接拼接在两个分量图像之本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于检测拼接图像中的赝像的方法，包括：从具有重叠视场的相应车载摄像机获取环境的分量图像；从分量图像形成(410)拼接图像；用分类器处理(420)对应于重叠视场的拼接图像的至少一部分，以提供在拼接图像中的相应位置处从所述环境检测到的物体列表；确定(430)检测到的物体列表中的任何检测到的物体是否是检测到的物体列表中的另一个物体的复制；以及报告被确定是复制的任何物体。2.根据权利要求1所述的方法，还包括：对于任何报告的复制物体，用来自所述分量图像之一的伪像替换(450)包含报告的复制物体的拼接图像的区域。3.根据权利要求2所述的方法，其中，检测到的物体列表中的每个检测到的物体(601a)由边界框限定，并且其中，用来自所述分量图像之一的伪像替换包含报告的复制物体的拼接图像的区域包括用与报告的复制物体的边界框具有相同形状的伪像(701
’
)替换报告的复制物体(701)。4.根据权利要求2或3所述的方法，其中，所述伪像的至少一部分与原始拼接图像混合(460)。5.根据任一前述权利要求所述的方法，还包括：选择任何报告的复制物体；以及响应于(440)所选物体在分量图像中多次出现，将所选物体标记为非复制。6.根据任一前述权利要求所述的方法，其中，从所述分量图像形成拼接图像包括：选择两个分量图像的多个重叠区域以限定多个混合区域；调整多个混合区域中的至少两个混合区域的形状或位置；以及从两个分量图像形成拼接图像，包括在多个混合区域中组合来自两个分量图像的数据。7.根据权利要求...

【专利技术属性】
技术研发人员：M康迪帕西，F奥马利，
申请(专利权)人：康诺特电子有限公司，
类型：发明
国别省市：