车辆的混合现实的条件可用性制造技术

提供了用于提供涉及领头车辆和跟随车辆的混合现实场景的方法、装置和计算机可读介质。该系统可以向跟随车辆的驾驶员呈现混合现实图像的序列，该混合现实图像是通过合并(a)由领头车辆上的摄像机捕获的图像和(b)由跟随车辆上的摄像机捕获的图像来生成合并图像而产生的。该系统可以响应于一个或多个检测到的状况而中断或减少混合现实图像序列的混合现实内容，该检测状况可以包括检测领头车辆和跟随车辆之间的对象。随车辆之间的对象。随车辆之间的对象。

【技术实现步骤摘要】
【国外来华专利技术】车辆的混合现实的条件可用性

技术介绍

[0001]本公开的各方面涉及混合现实，并且更具体地说，涉及向车辆的驾驶员提供“透视(see
‑
through)”功能。在领头车辆在跟随车辆前面的情况下，领头车辆通常会遮挡住跟随车辆的驾驶员的视野。这可能会导致不安全的状况。混合现实已被提出作为解决此类问题的有效解决方案，其方法是为跟随车辆的驾驶员提供视野，该视野模拟了能够看穿领头车辆并使被领头车辆遮挡的对象变得可见的能力。然而，在以安全和有效的方式提供这种透视功能方面出现了许多挑战。

技术实现思路

[0002]描述了用于提供涉及领头车辆和跟随车辆的混合现实场景的特定实施例。在一个实施例中，该系统可以向跟随车辆的驾驶员呈现混合现实图像的序列，其中，在混合现实图像的序列中的至少一个图像是通过合并(a)由领头车辆上的摄像机捕获的图像和(b)由跟随车辆上的摄像机捕获的图像以生成合并图像而产生的。合并可以包括弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，该遮挡部分对应于领头车辆的遮挡，并且增强由领头车辆上的摄像机捕获的图像的未遮挡部分。响应于一个或多个检测到的状况，该系统可以中断或减少呈现给跟随车辆的驾驶员的混合现实图像的序列的混合现实内容。具体地说，一个或多个检测到的状况可以包括检测领头车辆和跟随车辆之间的对象，其中，在合并图像中，由于弱化由跟随车辆上的摄像机捕获的图像的遮挡部分并且增强由领头车辆上的摄像机捕获的图像的未遮挡部分，该对象的视图潜在地(potentially)被遮挡。
[0003]在一个实施例中，弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，并且增强由领头车辆捕获的图像的未遮挡部分可以包括混合由跟随车辆上的摄像机捕获的图像和由领头车辆上的摄像机捕获的图像。
[0004]在另一实施例中，弱化由跟随车辆上的摄像机捕获的图像的遮挡部分，并且增强由领头车辆捕获的图像的未遮挡部分可以包括用由领头车辆捕获的图像的未遮挡部分替换由跟随车辆上的摄像机捕获的图像的遮挡部分。
[0005]混合现实图像的序列的混合现实内容的减少可以包括增强由跟随车辆上的摄像机捕获的图像的遮挡部分，并且弱化由领头车辆上的摄像机捕获的图像的未遮挡部分。
[0006]此外，一个或多个检测到的状况还可以包括检测与领头车辆相关联的制动状况。一个或多个检测到的状况还可以包括检测由跟随车辆执行的至少一个相关动作。至少一个相关动作可以选自超车动作、右转、街区中间行人过街事件或意外的领头车辆停车。一个或多个检测到的状况还可以包括检测与领头车辆上的摄像机和跟随车辆上的摄像机相关联的不正确的摄像机对准。一个或多个检测到的状况还可以包括确定候选领头车辆没有位于跟随车辆的前面。最后，一个或多个检测到的状况还可以包括确定附近没有发现配备用于支持透视功能的摄像机的车辆。
[0007]根据各种实施例，中断或减少混合现实图像的序列的混合现实内容包括在合并图像中呈现领头车辆和跟随车辆之间的对象的表示。可以通过(1)在合并图像中定义包括在
领头车辆和跟随车辆之间的对象的区域，以及(2)在定义的区域中，呈现领头车辆和跟随车辆之间的对象的表示，而不是由领头车辆捕获的图像的未遮挡部分，来呈现领头车辆和跟随车辆之间的对象的表示。在一个实施例中，在合并图像中包括领头车辆和跟随车辆之间的对象的区域被定义为沿着领头车辆和跟随车辆之间的对象的轮廓。在另一实施例中，在合并图像中包括领头车辆和跟随车辆之间的对象的区域被定义为边界框。例如，边界框可以具有矩形形状。
附图说明
[0008]本公开的各方面通过示例来示出。在附图中，相似的附图标记指示相似的元件。
[0009]图1示出了呈现给跟随车辆的驾驶员的混合现实图像，其模拟了透视领头车辆的能力；
[0010]图2呈现了根据本专利技术的实施例的用于实现涉及领头车辆和跟随车辆的透视混合现实的硬件组件的概览图；
[0011]图3是示出根据本专利技术的实施例的用于生成涉及领头车辆和跟随车辆的透视混合现实的整个过程中的步骤的流程图；
[0012]图4A示出了一种场景，其中在混合现实视野中使用的不良的摄像机对准以用于透视领头车辆，可能歪曲物理世界；
[0013]图4B是在捕获并呈现在图4A中所示的混合现实场景之后的真实世界道路场景时刻的图像；
[0014]图5示出了一种场景，其中在物理上位于领头车辆和跟随车辆之间的对象可以在混合现实视野中被遮挡以透视领头车辆，这是对物理世界的另一种歪曲；
[0015]图6是示出了根据实施例的用于自动启用和禁用用于显示给跟随车辆的驾驶员的透视混合现实功能的过程的流程图；
[0016]图7A、图7B和图7C示出了根据某些实施例的用于支持透视功能的良好和不良的摄像机对准的各种场景；
[0017]图8A、图8B、图8C和图8D示出了根据本公开的实施例的位于领头车辆和跟随车辆之间的对象的呈现，以使这种对象在透视领头车辆的混合现实视野中可见；以及
[0018]图9是根据实施例可以实现的电子控制单元(ECU)示例的内部组件的框图。
具体实施方式
[0019]现在将参照附图描述几个说明性实施例，附图构成本文的一部分。虽然下面描述了可以实现本公开的一个或多个方面的特定实施例，但是在不脱离本公开的范围或所附权利要求的精神的情况下，可以使用其他实施例并且可以进行各种修改。
[0020]图1示出了呈现给跟随车辆的驾驶员的混合现实图像，该图像模拟了透视领头车辆的能力。在此，领头车辆102停在人行横道上。图1示出了从跟随车辆(未示出)的驾驶员的角度看的视野，该车辆位于领头车辆102的正后方并且朝向相同的方向。行人104正在过人行横道。然而，在某些情况下，跟随车辆的驾驶员不能看到行人104，因为他们被领头车辆102遮挡，即从视野中遮挡。这呈现了可能的不安全驾驶条件。例如，如果跟随车辆的驾驶员没有意识到行人104正在横过人行横道并且变得不耐烦，那么跟随车辆的驾驶员可能试图
绕过领头车辆，这可能导致可能撞到行人104的情况。虽然图1示出了行人被遮挡在视野之外的情况，但是其他车辆、动物或其他移动或静止对象也可以由于领头车辆而被遮挡在视野之外。领头车辆挡住跟随车辆视野造成的不安全情况不一定仅限于人行横道，也可能发生在其他位置，如停车场、十字路口、道路等。
[0021]为了解决这种情况和类似的情况，可以将混合现实图像106呈现给跟随车辆的驾驶员，以“透视”领头车辆。混合现实图像106可以呈现在安装在跟随车辆的仪表板中的显示器上、集成到跟随车辆的挡风玻璃中、实现为跟随车辆的“平视”显示器等。例如，显示器可以是液晶显示器(LCD)、头戴式显示器(HUD)或其他增强现实(AR)显示器。混合现实图像106可以被呈现为单个图像，例如静止帧，或者被呈现为构成呈现给跟随车辆的驾驶员的视频流的混合现实图像的序列的一部分。在各种实施例中，混合现实图像的生成和呈现与最小时间延迟相关联，使得视频流可以被认为是实况视频流，并且可以由后面车辆的驾驶员在驾驶时用作有本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供涉及领头车辆和跟随车辆的混合现实场景的方法，包括：向跟随车辆的驾驶员呈现混合现实图像的序列，其中，所述混合现实图像的序列中的至少一个图像是通过合并(a)由所述领头车辆上的摄像机捕获的图像和(b)由所述跟随车辆上的摄像机捕获的图像来生成合并图像而产生的；其中，所述合并包括弱化由所述跟随车辆上的摄像机捕获的图像的遮挡部分，所述遮挡部分对应于所述领头车辆的遮挡，并且增强由所述领头车辆上的摄像机捕获的图像的未遮挡部分；响应于一个或多个检测到的状况，中断或减少呈现给所述跟随车辆的所述驾驶员的所述混合现实图像的序列的混合现实内容，其中，所述一个或多个检测到的状况包括：检测所述领头车辆和所述跟随车辆之间的对象，其中，在所述合并图像中，由于弱化由所述跟随车辆上的摄像机捕获的图像的所述遮挡部分，并且增强由所述领头车辆上的摄像机捕获的图像的所述未遮挡部分，因此所述对象的视图潜在地被遮挡。2.如权利要求1所述的方法，其中，对由所述跟随车辆上的摄像机捕获的图像的所述遮挡部分的弱化和对由所述领头车辆捕获的图像的所述未遮挡部分的增强包括：将所述跟随车辆上的摄像机捕获的所述图像与所述领头车辆上的摄像机捕获的所述图像进行混合。3.如权利要求1所述的方法，其中，对由所述跟随车辆上的摄像机捕获的图像的所述遮挡部分的所述弱化和对由所述领头车辆捕获的图像的所述未遮挡部分的增强包括：将所述跟随车辆上的摄像机捕获的图像的所述遮挡部分替换为由所述领头车辆捕获的图像的所述未遮挡部分。4.如权利要求1所述的方法，其中，减少所述混合现实图像的序列的混合现实内容包括：增强由所述跟随车辆上的摄像机捕获的图像的所述遮挡部分，以及弱化由所述领头车辆上的摄像机捕获的图像的所述未遮挡部分。5.如权利要求1所述的方法，其中，所述一个或多个检测到的状况还包括检测与所述领头车辆相关联的制动状况。6.如权利要求1所述的方法，其中所述一个或多个检测到的状况还包括检测由所述跟随车辆执行的至少一个相关动作，其中所述至少一个相关动作选自超车动作、右转、街区中间行人过街事件或意外的领头车辆停车。7.如权利要求1所述的方法，其中，所述一个或多个检测到的状况还包括检测与所述领头车辆上的所述摄像机和所述跟随车辆上的所述摄像机相关联的不正确的摄像机对准。8.如权利要求1所述的方法，其中，所述一个或多个检测到的状况还包括确定候选领头车辆没有位于所述跟随车辆的前面。9.如权利要求1所述的方法，其中，中断或减少所述混合现实图像的序列的混合现实内容包括：在所述合并图像中，呈现所述领头车辆和所述跟随车辆之间的对象的表示。10.如权利要求9所述的方法，其中，所述领头车辆和所述跟随车辆之间的所述对象的所述表示通过以下方式呈现：
在所述合并图像中定义包括所述领头车辆和所述跟随车辆之间的所述对象的区域；以及在所定义的区域中，呈现所述领头车辆和所述跟随车辆之间的所述对象的所述表示，而不是由所述领头车辆捕获的图像的所述未遮挡部分。11.一种用于提供涉及领头车辆和跟随车辆的混合现实场景的装置，包括：电子控制单元(ECU)；以及显示器，其中，所述ECU被配置为：生成用于呈现给所述跟随车辆的驾驶员的混合现实图像的序列，其中，所述ECU被配置为通过合并(a)由所述领头车辆上的摄像机捕获的图像和(b)由所述跟随车辆上的摄像机捕获的图像以生成合并图像，来生成在所述混合现实图像的序列中的至少一个图像；其中，所述合并包括弱化由所述跟随车辆上的摄像机捕获的图像的遮挡部分，所述遮挡部分对应于所述领头车辆的遮挡，并且增强由所述领头车...

【专利技术属性】
技术研发人员：CS诺瓦科夫斯基，SK库奥奇，AJ加瑙尔特，MAMN阿比尔福图，
申请(专利权)人：法雷奥舒适驾驶助手公司，
类型：发明
国别省市：