提高车辆内的情境感知能力制造技术

本发明专利技术提供了一种提高主车辆中高级驾驶辅助系统情境感知能力的方法，该方法包括利用图像传感器获取包括多个图像帧的图像数据流；视觉处理器可以分析所述图像数据流以检测所述图像帧中的物体、阴影和/或照明；情境识别引擎可以在考虑到检测到的物体、阴影和/或照明的情况下从一组预定交通状况中识别出至少一种最可能的交通状况；然后，处理器可以在考虑至少一种最可能的交通状况的情况下控制所述主车辆。主车辆。主车辆。

【技术实现步骤摘要】
提高车辆内的情境感知能力


[0001]本专利技术涉及车辆领域，具体涉及一种用于车辆以提高车辆内的情境感知能力的计算设备和一种提高车辆内的情境感知能力的方法。

技术介绍

[0002]车辆中的高级驾驶辅助系统，包括代客泊车辅助(Valet Parking Assistance，VaPA)，可以提供全自动转向和操纵。此类系统使用自动车辆控制系统，以及摄像头、激光雷达、雷达、GPS(Global Positioning System，全球定位系统)、近距离和/或超声波传感器来记录、识别和解释周围环境。
[0003]VaPA系统无需用户监督或输入即可识别停车位、导航和停放车辆。该系统还能够根据用户的要求将停放的车辆从停车位自动驾驶到指定的上车地点。
[0004]其他高级驾驶辅助系统可能包括城市交通中的辅助驾驶、自动紧急制动、前后交叉车流警报和倒车制动辅助。
[0005]高度自动化的驾驶辅助系统旨在在没有任何人工监督的情况下运行，这增加了对传感系统正确感知和解释其正在行驶的环境的需求。对环境的充分了解可以确保车辆安全运行。
[0006]与普通驾驶员的表现相比，基于检测和对摄像机视野中物体分类的经典传感和感知可能会有所不足，普通驾驶员除了评估他或她的视野中的事物外，还具有仅基于迹象对即将发生的事件的某些预期。在处理高度自动化的系统(例如自动代客泊车)时，由于不需要人类监督，因此这些系统需要建立同等的情境感知能力是显而易见的，尤其是在将至少与普通人类驾驶员同等水准的性能作为目标时。
专利技术内容
[0007]根据一个方面，本专利技术涉及一种用于提高主车辆中高级驾驶辅助系统(ADAS)情境感知能力的方法。根据另一方面，本专利技术涉及一种高级驾驶辅助系统和一种用于车辆的自主驾驶系统。
[0008]因此，本专利技术公开了一种提高主车辆中高级驾驶辅助系统情境感知能力的方法。本专利技术还包括相应的高级驾驶辅助系统(ADAS)和自动驾驶系统、相应的计算机程序和相应的计算机可读数据载体。
[0009]根据第一方面，用于提高主车辆中高级驾驶辅助系统情境感知能力的方法包括以下步骤：
[0010]S1：利用图像传感器获取包括多个图像帧的图像数据流；
[0011]S2：利用视觉处理器分析图像数据流以检测图像帧中的物体、阴影和/或照明；
[0012]S3：利用情境识别引擎，在考虑到检测到的物体、阴影和/或照明的情况下，从一组预定交通状况中识别出至少一种最可能的交通状况；和
[0013]S4：利用处理器在考虑到至少一种最可能的交通状况的情况下控制主车辆。
[0014]在本公开的上下文中，视觉处理器可以理解为用于处理图像数据而优化的计算单元，即，包括处理器和存储器的计算设备。嵌入式视觉处理器可以基于异构处理单元，该异构处理单元包括，例如，用于处理每个输入图像的像素并行计算的标量单元和附加矢量DSP(digital signal processing，数字信号处理)单元。
[0015]过去，对于要检测的每种类型的物体，传统的计算机视觉算法都是手工编写的。用于检测的算法示例包括“Viola
‑
Jones”或“定向梯度直方图”(Histogram of Oriented Gradient，HOG)。HOG算法查看图像中的边缘方向以尝试描述对象。总体上，这些方法在今天仍然有效。
[0016]然而，由于深度神经网络的突破，物体检测不再是手工编写的编码练习。深度神经网络允许从训练示例中自动学习特征。在这方面，如果神经网络具有输入和输出层以及至少一个隐藏的中间层，则认为它是“深度”神经网络。每个节点都是根据前一层中多个节点的加权输入计算得出的。卷积神经网络(Convolutional neural network，CNN)可以有效地实现视觉的深度神经网络。因此，视觉处理器还可以包括嵌入式CNN引擎。现代嵌入式CNN引擎可能足够强大，可以处理图像流的整个传入的图像帧。处理整个图像帧的好处是可以训练CNN以同时检测多个物体，例如交通参与者(汽车、行人、自行车等)、障碍物、驾驶面边界、道路标记和交通标志。
[0017]考虑到视觉处理器提供的信息以及高级驾驶辅助系统可获得的附加信息，情境识别引擎适于从一组预定交通状况中识别出与当前状况最匹配的状况。情境识别引擎可以基于确定性方法、概率方法、模糊方法、概念图，或者再次基于深度学习/神经网络。在最简单的形式中，情境识别引擎可以——例如——基于硬编码的决策树。在确定性模型中，已识别的情况是通过状态和事件之间的已知关系精确确定的。概率模型通过基于时间和空间参数计算所有可能情况的概率来预测情况。模糊模型包括一组有限的模糊关系，这些模糊关系形成一种从过去有限数量的输入和输出中识别情况的算法。概念图属于基于逻辑的方法，但它们也受益于图论和图算法。
[0018]基于由情境识别引擎识别的最可能的情况，高级驾驶辅助系统可以调整当前或计划的驾驶操作。
[0019]有利的是，可以考虑基于经验的指示，以便在检测到的场景出现变化之前对其进行预测。
[0020]本方法不仅依赖于对视场中物体的检测，还考虑了所呈现场景的光学图像中包含的附加信息，以便更好地预测场景在不久的将来可能发生的变化。这包括预测尚不可见的其他交通参与者的存在，还包括预测一个交通参与者在不久的将来从静态交通参与者到动态交通参与者的变化。
[0021]在一些实施例中，分析图像数据流包括检测图像帧中的阴影。
[0022]特别地，分析图像数据流可以包括检测动态阴影。检测动态阴影可以轻松识别移动的交通参与者。可以通过比较图像数据流的至少第一和第二图像帧来检测动态阴影。
[0023]动态阴影的移动和/或尺寸的变化可以参考各个阴影投射到的表面来检测。直接将阴影与下面的表面的形状和/或其他特征进行比较简化了动态阴影的检测，因为它补偿了由于主车辆的移动而导致的视角变化。
[0024]在一些实施例中，一组预定交通状况包括视线外交通参与者将阴影投射到图像传
感器的视场中的交通状况。在此上下文中的交通状况可以指状况模板、相应的物体或类似的数据结构，以及这些数据结构所代表的“现实生活中的”交通状况。
[0025]这使高级驾驶辅助系统能够预测视线外交通参与者。
[0026]如果检测到的阴影正在移动，则可以评估移动的轨迹以预测相应的视线外交通参与者的移动。
[0027]在一些实施例中，一组预定交通状况包括包含一排停车位的交通状况，其中多个但不是所有的停车位被各自的汽车占用。根据交通状况，在被占用车位内的汽车相应地将阴影投射到在主车辆的图像传感器的视场中。这样，即使未占用的停车位本身仍然在视线外或被后面停放的汽车挡住，也可以通过缺少相应的阴影来识别或至少预测一排停车位中的未占用的停车位。
[0028]根据另一个有利的方面，从一组预定交通状况中识别出至少一种最可能交通状况的步骤可以包括：在已被视觉处理器检测到的物体缺少相应的阴影但是基于现有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于车辆的计算设备，包括处理器和存储器，所述存储器被配置为使得所述计算设备被编程为：利用图像传感器获取包括多个图像帧的图像数据流；利用视觉处理器分析所述图像数据流以检测所述图像帧中的物体、阴影和/或照明，其中分析所述图像数据流包括检测所述图像帧中的人工照明，所述人工照明是动态照明，其包括与被照明的表面或物体相关的移动或尺寸变化中的至少一个；利用情境识别引擎在考虑到检测到的物体、阴影和/或照明的情况下从一组预定交通状况中识别出至少一种最可能的交通状况；以及，考虑到所述至少一种最可能的交通状况来控制所述车辆。2.如权利要求1所述的计算设备，还被编程为通过检测所述图像帧中的阴影来分析所述图像数据流。3.如权利要求2所述的计算设备，还被编程为通过检测动态阴影来分析所述图像数据流，其中，根据各个阴影投射到的表面来检测所述动态阴影的移动和/或尺寸变化。4.根据权利要求2所述的计算设备，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括所述视线外交通参与者将阴影投射到所述图像传感器的视场中，其中所述阴影为移动阴影。5.根据权利要求2所述的计算设备，其中，所述一组预定交通状况包括包含一排停车位的交通状况，其中多个但不是全部的所述停车位被相应的汽车占用，被占用的停车位中的所述汽车相应地将阴影投射到所述图像传感器的视场中，即使未被占用的停车位本身仍然不在视线范围内，也可以通过缺少相应的阴影来识别所述未被占用的停车位。6.根据权利要求1所述的计算设备，其中，从一组预定交通状况中识别出至少一种最可能的交通状况包括：在已被所述视觉处理器检测到的物体缺乏相应的阴影但是基于现有的照明条件预期会出现这种阴影的情况下，减小与包含已检测到的物体的交通状况相关的概率值，包括当所述视觉处理器检测到的所述已检测到的物体附近的所有其他物体都投下各自的阴影时，减小与包含已检测到的物体的交通状况相关的概率值。7.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括包含开启车辆照明的交通参与者的交通状况，特别是其中所述开启车辆照明包括刹车灯、倒车灯、方向指示灯、危险警示灯、近光灯和远光灯中的至少一个发射出能够在所述图像帧中检测到的人工照明。8.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括开启车辆照明的视线外交通参与者，所述开启车辆照明在所述图像传感器的视场中可检测到并照亮所述图像传感器的视场中的物体、表面和/或空气中的粒子中的一个或多个。9.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括用于预测交通参与者突然移动到主车辆的路径中的交通状况，所述交通状况相应地包括在所述图像传感器的视场中的开启车辆照明的交通参与者，所述开启车...

【专利技术属性】
技术研发人员：加布丽埃勒，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：