借助人工神经网络确定地平面的方法和系统技术方案

本发明专利技术涉及一种确定车辆的环境区域中的道路平面的方法，其中所述车辆具有用于采集所述车辆的环境区域的立体图像的立体摄像系统(2)和用于加工所述立体摄像系统(2)提供的图像信息的人工神经网络(3)，所述神经网络(3)确定所述车辆的环境区域的视差信息，基于所述视差信息计算距离信息，所述距离信息包含与所述图像信息上示出的对象距所述立体摄像系统(2)或所述车辆的距离相关的信息，其中从所述距离信息中提取道路距离信息，基于所述道路距离信息确定所述道路平面。息确定所述道路平面。息确定所述道路平面。

【技术实现步骤摘要】
借助人工神经网络确定地平面的方法和系统


[0001]本专利技术涉及一种确定车辆的环境区域中的道路平面的方法和系统以及一种具有这种系统的车辆。

技术介绍

[0002]自动驾驶功能需要能够可靠地检测远距离处的较小障碍物的传感器系统。可以使用激光雷达(LIDAR)系统或立体摄像系统来检测此类障碍物，因为这些系统能够对周围环境进行三维成像。这样就能同时检测障碍物以及自由空间的大小和距离。立体摄像系统的优点在于，其横向分辨率明显高于LIDAR系统，而LIDAR系统则能非常精确地确定距离。
[0003]就自动驾驶功能而言，检测道路上的障碍物尤为重要。重要之处特别是在于例如能够辨别是否道路上仅存在可驶过的较小物体，或者是否其为无法驶过的障碍物且因此必须采取紧急制动或避让策略。
[0004]为此，重要的是，能够尽可能精确地确定道路上的对象的高度，即使是在距离汽车例如35m或更远的位置处，以便有足够的时间来采取紧急制动或避让策略。
[0005]使用LIDAR传感器的问题在于，尽管这些传感器提供了较高的距离分辨率，但从距离车辆约35m之处起，激光束被道路全反射，使得无法再检测道路平面。
[0006]先前已知的立体摄像系统的问题在于，其具有较高的信噪比，故而只能不充分地确定道路平面或道路平面上的对象。

技术实现思路

[0007]有鉴于此，本专利技术的目的是提出一种确定车辆的环境区域中的道路平面的方法，所述方法能够可靠且高精度地确定道路平面。
[0008]本专利技术用以达成上述目的的解决方案在于一种具有独立权利要求1的特征的方法。优选实施方式是从属权利要求的主题。一种用于确定车辆的环境区域中的道路平面的系统是独立权利要求10的主题，一种具有这种系统的车辆是独立权利要求15的主题。
[0009]根据第一方面，本专利技术涉及一种确定车辆的环境区域中的道路平面的方法。所述车辆具有用于采集车辆的环境区域的立体图像的立体摄像系统。所述立体摄像系统具有至少两个设置在车辆上的不同位置处的摄像头。为了提高距离确定的精度，这些摄像头优选地彼此间隔大于0.8m、特别是大于1m的距离。这些摄像头优选地集成在挡风玻璃上或者每个摄像头集成至一个前照灯中。此外，所述车辆具有人工神经网络，所述人工神经网络对立体摄像系统所提供的图像信息进行加工。该神经网络接收摄像头的图像信息并确定这些图像信息的视差信息。这些视差信息特别是表明两个摄像头的图像信息的对应像素间的距离。该距离是由该像素所示出的场景区域的不同视角和由此产生的视差而引起的。基于这些视差信息计算距离信息，所述距离信息包含关于图像信息上示出的对象距立体摄像系统或车辆的距离的信息。一般而言，这些距离信息指示所示出的对象相对于车辆所处的深度。该距离或深度可以与不同的参考点有关，例如与立体摄像系统的参考点或车辆的参考点有
关。然后从这些距离信息中提取道路距离信息。这特别是表明，借助信息限制将所有距离信息限制为与道路相关的信息。然而，要注意的是，道路距离信息不必仅包含道路的距离信息，而是还可以包含针对其他对象、特别是非静止对象的距离的信息。
[0010]最后，基于这些道路距离信息确定道路平面，其中所述确定也可以表示对道路平面的估计。
[0011]所述方法的技术优势在于，通过使用神经网络估计视差，可以确定低噪声的视差信息，进而确定精确的距离信息，这也使得确定距车辆大于35m的距离范围的距离信息成为可能。通过提取道路距离信息并根据这些道路距离信息确定道路平面，可以更好地识别道路上的障碍物。
[0012]根据一个示例性实施例，基于通过车辆的驾驶辅助系统的环境模型提供的对象信息从距离信息中提取道路距离信息。车辆的环境模型例如包含通过车载传感器系统进行检测和/或分类和/或由地图提供的对象。这些对象例如可以是车辆、房屋、行人、骑自行车的人等。道路距离信息可以通过从距离信息中去除由环境模型已知的这些对象来提取，使得道路平面的确定不受这些对象的影响。这样就能更精确地确定道路平面。
[0013]根据一个示例性实施例，从距离信息中提取道路距离信息，具体方式在于，从立体图像或该立体图像中所包含的距离信息中减去和/或除去从车辆的驾驶辅助系统的环境模型中获得的信息。在此情况下，环境模型的信息又可以是车辆环境中的对象，其包含在该环境模型中。这样就又能实现更精确的道路平面确定。
[0014]根据一个示例性实施例，人工神经网络通过图像信息的非线性相关性来补偿因立体摄像系统的两个摄像头相对于彼此的相对运动而产生的校准误差。人工神经网络优选地被训练以从识别出的视差中识别出立体摄像系统的摄像头的校准并对其进行补偿。在训练期间，将从不同视向记录并适当标记的图像序列输送至神经网络，即针对各个像素存在相应视差信息和/或距离信息。这样就能选择神经网络的加权因子，使得识别出的视差与通过训练数据预设的视差之间的误差或通过神经网络确定的距离信息与训练数据的距离信息之间的误差最小化。
[0015]根据一个示例性实施例，基于道路平面来检查在车辆的环境区域中的道路上是否存在对象。例如结合道路平面和立体摄像系统所提供的距离信息，确定立体图像中是否存在至少一个相对于道路平面向上突出的区域，进而可以表示对象或障碍物。这样就能基于所检测的道路平面来对道路表面上的对象进行对象识别。
[0016]根据一个示例性实施例，基于与道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度。例如，可以通过对象相对于所确定的道路平面向上突出至何种程度来检查对象的高度。可以基于所检测的横向宽度和/或深度(即进入图像平面的尺寸)来确定对象的尺寸。通过该对象的尺寸或高度可以确定是否可以驶过该对象，或者是否必须采取避让策略或紧急制动策略。
[0017]根据一个示例性实施例，基于识别到的对象的高度，即该对象相对于道路平面突出至何种程度的几何信息，对对象进行分类。分类例如可以表明对象类型和/或对象尺寸或者可以将该对象标记为可驶过或无法驶过。基于该分类，驾驶辅助系统可以做出与分类相关的决定。
[0018]根据一个示例性实施例，基于在车辆行驶期间被记录且标示为与道路相关联的信
息的立体图像的信息对人工神经网络进行再训练。这样就能通过在系统持续工作的过程中获得的信息对神经网络进行再训练，进而改进道路平面的估计。
[0019]根据一个示例性实施例，人工神经网络提供视差信息并且在独立的计算单元中根据视差信息计算距离信息。借此可以降低神经网络的复杂性。作为替代方案，人工神经网络提供距离信息作为输出信息。借此通过立体摄像系统直接提供距离信息，可以通过驾驶辅助系统直接对这些距离信息进行分析。
[0020]根据一个示例性实施例，摄像头具有惯性传感器，用于检测相应摄像头的运动变化。惯性传感器例如可以检测摄像头沿笛卡尔坐标系的三个空间方向的平移运动和围绕笛卡尔坐标系的三个空间轴的旋转运动。这样就能识别相应摄像头的绝对位置或定向变化以及两个摄像头相对彼此的相对位置或定向的变化(外部校准参数)。
[0021]根据一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定车辆的环境区域中的道路平面的方法，其中所述车辆具有用于采集所述车辆的环境区域的立体图像的立体摄像系统(2)和用于加工所述立体摄像系统(2)提供的图像信息的人工神经网络(3)，所述神经网络(3)确定所述车辆的环境区域的视差信息，基于所述视差信息计算距离信息，所述距离信息包含与所述图像信息上示出的对象距所述立体摄像系统(2)或所述车辆的距离相关的信息，从所述距离信息中提取道路距离信息，基于所述道路距离信息确定所述道路平面。2.根据权利要求1所述的方法，其特征在于，基于通过所述车辆的驾驶辅助系统的环境模型提供的对象信息从所述距离信息中提取所述道路距离信息。3.根据权利要求1或2所述的方法，其特征在于，从所述距离信息中提取所述道路距离信息，具体方式在于，从立体图像或所述立体图像中所包含的距离信息中减去和/或除去从所述车辆的驾驶辅助系统的环境模型中获得的信息。4.根据上述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(3)通过所述图像信息的非线性相关性来补偿因所述立体摄像系统(2)的两个摄像头(2.1、2.2)相对于彼此的相对运动而产生的校准误差。5.根据上述权利要求中任一项所述的方法，其特征在于，基于所述道路平面来检查在所述车辆的环境区域中的道路上是否存在对象。6.根据权利要求5所述的方法，其特征在于，基于与所述道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度。7.根据权利要求5或6所述的方法，其特征在于，基于识别到的对象的高度，即所述对象相对于所述道路平面突出至何种程度的几何信息，对所述对象进行分类。8.根据上述权利要求中任一项所述的方法，其特征在于，基于在所述车辆行驶期间被记录且标示为道路所对应的信息的立体图像的信息对所述人工神经网络(3)进行再训练。9.根据上述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(3)提供所述视...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：大众汽车股份有限公司，
类型：发明
国别省市：