用于协调从非重叠相机视图获取的图像的方法技术

公开了一种图像处理方法，用于协调由连接到车辆的第一相机和第二相机获取的图像，所述第一相机和第二相机被布置成使得当车辆沿着行驶方向行驶时，它们的视野在不同时间覆盖相同的道路空间。该方法包括：由选定的相机在第一时间获取第一图像；从第一图像中选择界定道路部分的第一感兴趣区域；对第一感兴趣区域进行采样；通过另一个相机获取第二图像，使得所述道路部分包括在第二感兴趣区域中；对第二感兴趣区域进行采样；以及基于第一和第二感兴趣区域的图像内容之间的比较，确定用于协调由第一和第二相机获取的图像的一个或多个校正参数。数。数。

【技术实现步骤摘要】
用于协调从非重叠相机视图获取的图像的方法


[0001]本专利技术涉及一种用于协调由连接到车辆并具有不重叠的视野的两个或更多个相机获取的图像的方法。

技术介绍

[0002]已知车辆配备有多相机汽车视觉系统，包括设置在车辆的前、后以及左右后视镜上的多个相机，用于捕获车辆周围环境的图像。
[0003]来自这些相机的图像通常被传送到电子控制单元ECU，该ECU包括处理器，该处理器在各种任务中处理图像，然后将一个或多个处理后的图像提供给位于车辆车厢(cabin)内的显示器或风挡，以向车辆驾驶员提供帮助。
[0004]在向驾驶员显示或用于其他应用(例如自动或半自动车辆操作)之前，车辆ECU可以通过组合从多个相机接收的输入图像来生成不同类型的视图。特别地，来自输入相机图像的感兴趣区域可以首先被重新映射到目标视口，然后被合并，从而生成拼接图像(mosaic image)，该拼接图像表示从车辆周围环境中的特定选定3D点的视图。例如，可以将虚拟相机放置在车辆上方，从顶部中心位置观看，并且将对应于相机图像的感兴趣区域的输入相机纹理(camera texture)投射到对应于平坦2D平面的表面视口，并且合并以生成示出车辆上侧以及车辆周围环境的马赛克视图，该视图通常被称为俯视图(或鸟瞰图)。可以使用车辆ECU的渲染(rendering)能力来生成其他合并视图，例如多维视图(例如，3D碗视图，其中使用碗形投射2D来代替平坦的2D平面)。
[0005]每个车辆相机具有其自己的镜头、图像传感器，并且在许多实施方式中，具有独立的图像信号处理链(因此，车辆相机可以具有不同的曝光或增益控制、不同的白平衡等)。此外，每个车辆相机面向不同的方向，并且看到车辆环境的不同区域。
[0006]因此，由于车辆相机的限制(镜头、图像传感器等)和不同方向，每个车辆相机获取的图像的亮度和色调可能略有不同。这些颜色和亮度上的微小差异会对所显示的合并视图的视觉质量产生负面影响，从而危及驾驶员对与车辆周围的3D点中的虚拟相机相对应的视图的错觉。
[0007]为了提高合并视图的视觉质量，通常应用亮度和颜色协调。特别地，具有重叠视野的两个车辆相机之间的协调是通过使用由相机捕获的公共地面区域作为协调的参考来实现的。例如，可以使用拐角道路区域来实现前侧和右侧镜相机之间的协调，其中这些相机的视野重叠。
[0008]例如，WO2018/087348(参考号：SIE0426)公开了一种方法，用于使用表示合并的输入图像的亮度Y和色度值U、V的直方图来协调车辆周围环境的合成图像的亮度和颜色。
[0009]还已知的是，车辆设置有允许它们牵引拖车的挂钩(hitch)。应当理解，拖车(以及由拖车运输的对象，在适用的情况下)会给驾驶员带来很大的盲点，因为他们不能看到拖车周围的大部分区域，特别是，不熟练的驾驶员很难在没有帮助的情况下试图对具有拖车的车辆进行倒车。因此，众所周知，这种拖车还包括指向拖车后方的后置相机(以及在一些情
况下从拖车的相应侧指向外的拖车侧置相机)。来自这些相机的图像可以由拖车内的控制器获取，并提供给车辆ECU以产生增强的显示来帮助驾驶员。在某些情况下，任何拖车相机都可以直接连接到车辆ECU。
[0010]例如，车辆ECU可以通过合并由车辆后置相机和拖车后置相机获取的图像来生成不可见的拖车视图。特别地，不可见拖车视图是通过将后置相机获取的图像的感兴趣区域重新映射到目标视口(不可见拖车视口)并合并重新映射的感兴趣区域来构建的。以这种方式，经由车辆显示器或风挡向驾驶员提供后视，其中拖车变得几乎看不见。例如，WO2021/032434(参考号：2019PF00307)公开了从车辆的后置相机生成第一相机图像，以及从挂在车辆上的拖车的后置相机生成第二相机图像。通过叠加这些相机图像产生不可见的拖车视图，使得第二相机图像根据车辆和拖车之间的挂接角(hitch angle)覆盖第一相机图像的一部分。
[0011]其他应用可能需要合并由车辆和挂接拖车的后置相机获取的图像。例如，DE102019133948(参考号：V25
‑
2103
‑
19DE)公开了使用车辆和拖车组合的多个相机来构建车辆和拖车组合周围环境的3D视图，以显示给驾驶员。
[0012]在为辅助与拖车结合的车辆的驾驶员而生成的合并视图中，在由车辆和挂接的拖车的后置相机获取的图像的合并区域中，驾驶员可以看到亮度和/或颜色差异。然而，这些相机被定位成使得它们的视野不会以覆盖公共地面部分的方式重叠。因此，没有可靠的通用参考来协调车辆和挂接拖车的后置相机。
[0013]类似地，对于协调由车辆(有或没有拖车)的后和前置相机获取的图像，没有可用作可靠参考的公共基础。
[0014]同样，也没有可作为可靠参考的共同点(common ground)来协调由车辆(有或没有拖车)后和前置相机获取的图像。

技术实现思路

[0015]根据本专利技术，提供了一种用于协调由连接到车辆的第一相机和第二相机获取的图像的方法，所述第一相机和第二相机具有不同时重叠的视野。
[0016]本专利技术的实施例基于这样的认识，即尽管第一和第二相机不能在给定时间捕获相同的道路部分，但是当车辆沿着行驶方向前进时，第一和第二相机可以在不同时间捕获相同的道路部分，并且这可以有利地用作用于协调包括由第一和第二相机捕获的合并图像的视图的可靠参考。例如，在第一和第二相机是车辆的后置相机和由车辆牵引的拖车的后置相机的实施例中，协调视图可以是不可见的拖车视图。在其他实施例中，第一和第二相机可以是车辆的前置和后置相机。
[0017]更详细地，本专利技术的实施例涉及从第一图像中采样至少一个第一感兴趣区域ROI，该第一图像由基于车辆的确定方向选择的第一和第二相机之一在第一时间获取。第一ROI在第一图像中被限定为包括捕获场景内的参考道路部分。从由另一个相机在第二时间获取的第二图像中采样第二ROI，使得根据在第一时间之后监控的车辆行驶距离，第二ROI也可以包括参考道路部分。然后，基于采样ROI内的图像数据之间的比较，确定用于协调由第一和第二相机获取的图像的一个或多个校正参数。
[0018]在一些实施例中，第一和第二ROI内的图像数据在转换成YUV格式后进行比较。在
这些实施例中，基于这样的认识，即如果ROI包括成像场景内的不同对象(例如，因为在第二图像的获取时间之前，对象已经移动到参考道路部分上或上方或离开参考道路部分)，则估计的亮度值Y之间的差是显著的，将为第一和第二ROI估计的亮度值Y之间的差与阈值进行比较，目的是确定这些ROI是否实际上包括相同的道路参考部分。
[0019]本专利技术的其他方面包括汽车多相机视觉系统、车辆和拖车或车辆的组合以及被配置为执行根据本专利技术的方法的计算机程序产品。
附图说明
[0020]现在将参照附图以示例的方式描述本专利技术的实施例，在附图中：
[0021]图1示出了车辆与拖车的组合，包括根据本专利技术的多相机视觉系统；...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法(100)，用于协调由连接到车辆(11)的第一相机(RV，FV)和第二相机(TR，RV)获取的图像，并且第一相机和第二相机以这样的方式布置，使得当车辆沿着行驶方向行驶时，它们的视野(FOV1，FOV2)在不同时间覆盖相同的道路空间(18)，该方法包括：确定(101)车辆的行驶方向；基于该行进方向，选择第一相机和第二相机之一来获取第一图像(200，400)；由所选择的相机在第一时间获取(102，108)第一图像(200，400)；选择(103，109)第一图像(200，400)的至少一个第一感兴趣区域(201，202；401，402)，第一感兴趣区域潜在地界定一道路部分(50，51；60，61)；对来自该第一图像(200，400)的至少一个第一感兴趣区域(201，202；401，402)进行采样(104，110)；监控(105，111)在第一时间之后车辆(11)沿着行驶方向行驶的距离，以确定第二时间，从而由另一个相机以这样的方式获取第二图像(300，600)，使得潜在的道路部分(50，51；60，61)被包括在第二图像(300，600)的第二感兴趣区域(301，302；601，602)中；由另一个相机在第二时间获取(106，112)第二图像(300，600)；对来自第二图像(300，600)的第二感兴趣区域(301，302；601，602)进行采样(107，113)；验证(116)第一和第二感兴趣区域(201
‑
301，202
‑
302；401
‑
601，402
‑
602)是否包括道路部分(50，51；60，61)；和响应于第一和第二感兴趣区域都包括道路部分的验证，基于第一和第二感兴趣区域(201
‑
301，202
‑
302，401
‑
601，402
‑
602)的图像内容之间的比较，确定(117)用于协调由第一和第二相机获取的图像的一个或多个校正参数。2.根据权利要求1所述的方法，其中，第一相机是车辆(11)的后置相机(RV)，第二相机是经由连接装置(14)连接到车辆的拖车(12)的后置相机(TR)。3.根据权利要求2所述的方法，其中，响应于确定所述车辆(11)正在向前方向上行驶，选择第一相机(RV)以在第一时间获取(102)第一图像(200)，并且其中第一图像(200)的所述至少一个第一感兴趣区域(201，202)或该至少一个第一感兴趣区域中的每个对应于已知包括所述拖车(12)和所述车辆(11)之间的道路空间的区域。4.根据权利要求3所述的方法，其中，第一图像(200)的所述至少一个第一感兴趣区域(201，202)或该至少一个第一感兴趣区域中的每个在界定所述连接装置(14)的区域旁边。5.根据权利要求4所述的方法，其中，选择(103)至少一个第一感兴趣区域包括：当拖车(12)沿纵向轴线(20)与车辆(11)对准时，在第一图像(200)中限定至少两个第一感兴趣区域(201，202)，一个第一感兴趣区域(201)在界定连接装置(14)的区域的第一侧(500)，另一个第一感兴趣区域(201)在界定连接装置(14)的区域的第二侧(510)；确定两个第一感兴趣区域(201，202)中的任何一个是否包括拖车(12)和连接装置(14)中的至少一个的一部分；响应于确定两个第一感兴趣区域(201，202)都不包括拖车(12)和连接装置(14)中的至少一个的一部分，从第一图像(200)中选择(103)要采样的两个第一感兴趣区域(201，202)；和响应于确定两个第一感兴趣区域(201，202)中的一个包括拖车(12)和连接装置(14)中
的至少一个的一部分，从第一图像(200)中选择(103)要采样的另一个第一感兴趣区域。6.根据权利要求5所述的方法，其中，确定两个第一感兴趣区域(201，202)中的任何一个是否包括拖车(12)和连接装置(14)中的至少一个的一部分包括：检测拖车(12)和连接装置(14)中的至少一个的一部分是否包括在两个第一感兴趣区域(201，202)的任何一个中。7.根据权利要求5所述的方法，包括：测量以下中的至少一个：车辆(11)的转向角；以及车辆(11)和拖车(12)之间的挂接角；和其中确定两个第一感兴趣区域(201，202)中的任何一个是否包括拖车(12)和连接装置(14)中的至少一个的一部分是基于至...

【专利技术属性】
技术研发人员：M格里芬，A凯西，E图尔盖，A珀金斯，
申请(专利权)人：康诺特电子有限公司，
类型：发明
国别省市：