用于车道特征分类和定位的人工神经网络制造技术

技术编号:21399794 阅读:56 留言:0更新日期:2019-06-19 07:12
提供了用于控制车辆的系统和方法。在一个实施例中,一种控制车辆的方法包括通过至少一个处理器接收来自于安装在车辆上的多个摄像机中的每一个的图像数据。该方法包括通过至少一个处理器对来自于多个摄像机中的每一个的图像数据进行组合,以形成组合的图像数据。该方法包括使用人工神经网络基于组合的图像数据对车道特征进行分类和定位,以产生分类和定位的车道数据。该方法包括通过至少一个处理器基于分类和定位的车道数据进行数据融合处理,从而产生融合的车道特征数据。该方法包括通过至少一个处理器部分地基于融合的车道特征数据来控制车辆。

【技术实现步骤摘要】
用于车道特征分类和定位的人工神经网络
本专利技术主要涉及使用人工神经网络进行特征感知的车辆、系统以及方法,更具体地,涉及包括用于分类和定位车道特征的人工神经网络的车辆、系统以及方法。引言自主和半自主车辆能够基于所感测到的环境进行环境感测和导航。这种车辆使用诸如雷达、激光雷达、图像传感器等传感装置来感测它们的环境。车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆间通讯、车辆对基础设施技术,和/或线控驱动系统的信息来为车辆进行导航。车辆自动化已被分为零到五的数字等级,零对应于没有自动化,全部由人进行控制;五对应于全自动化,无人控制。诸如巡航控制系统、自适应巡航控制系统和泊车辅助系统的各种自动驾驶员辅助系统对应于较低的自动化等级,而真正的无人驾驶车辆对应于较高的自动化等级。一些自动化车辆系统对车道特征进行分类和定位,例如路障、道路边缘、车道标记以及其它道路标记。包括自动化车辆特征的一些车辆包括了多个光学摄像机以对车辆周围的环境成像。因此,期望提供以在计算上有效且精准的方式对图像特征进行分类和定位的系统和方法。还希望提供对来自多个摄像机的图像特征进行分类和定位并能同时保持计算效率的系统和方法。此外,从以下结合附图和前面的

技术介绍
的具体实施方式和所附的权利要求中可以更清楚地了解本专利技术的其它理想特征和特性。
技术实现思路
本专利技术提供了用于分类和定位车道特征的系统及方法。在一个实施例中,一种控制车辆的方法包括通过处理器从安装在车辆上的多个摄像机中的每一个接收图像数据。该方法包括通过处理器对来自于多个摄像机中每一个的图像数据进行组合以形成组合图像数据。该方法包括用人工神经网络基于组合的图像数据对车道特征进行分类和定位,以产生分类和定位的车道数据。该方法包括通过处理器基于分类和定位的车道数据进行数据融合处理,从而产生融合的车道特征数据。该方法包括通过处理器,部分地根据所产生的融合的车道特征数据来对车辆进行控制。在实施例中,该方法包括通过处理器基于分类和定位的车道数据进行图像空间到真实空间的变换,以提供真实空间车道特征数据。在实施例中,该图像空间到真实空间的变换配置为接收用于多个摄像机中的每一个的图像到真实空间校准数据,并且使用用于与多个摄像机中给定的一个对应的分类和定位的车道数据中每个部分的相应校准数据。在实施例中,变换发生在融合之前。在实施例中,多个摄像机具有不同但重叠的视野,并且融合包括巩固重叠的视野。在实施例中,分类和定位的车道数据限定线段。在实施例中,基于线段进行曲线拟合,以产生分类和定位的车道曲线数据。在实施例中,基于线段进行数据聚类,以产生聚类数据,并且基于该聚类数据进行曲线拟合。在实施例中,该方法包括通过处理器限定沿每个线段的锚点。在实施例中,该方法包括通过处理器在锚点上执行数据聚类算法,以产生聚类锚点。在实施例中,该方法包括通过处理器曲线拟合聚类锚点,以产生分类和定位的车道曲线数据。在实施例中,该方法包括通过处理器基于分类和定位的车道曲线数据进行图像空间到真实空间的变换以提供真实空间车道特征数据,以及基于该真实空间车道特征数据进行数据融合处理,从而产生融合的车道特征数据。在实施例中,对已从多个摄像机中获取的数据进行数据融合处理。在另一个实施例中,提供了一种用于对基于线条的特征进行定位和分类的系统。该系统包括配置为从多个摄像机中的每一个接收图像数据的处理器。处理器配置为对来自于多个摄像机中每一个的数据图像进行组合以形成组合的图像数据。该系统包括配置为基于组合的图像数据对图像特征进行分类和定位以产生分类和定位的线数据的人工神经网络。处理器被配置为基于分类和定位的线数据进行数据融合处理,从而产生融合的基于线的特征数据。通过处理组合的数据图像数据可以实现更加高效的人工神经网络。在实施例中,人工神经网络配置为对基于线的车道特征进行分类和定位。基于线的车道特征包括车道标记、道路标记、车道边界和/或道路边界。在实施例中,该系统为车辆系统,处理器配置为部分地基于融合的车道特征数据来控制车辆。在另一个实施例中,提供了一种训练人工神经网络的方法。该方法包括通过人工神经网络接收图像数据和特征标签,每个特征标签包括特征分类和定位线(直线,曲线或者两者结合)。该方法包括限定位于感兴趣特征边界之外的两条线之间的感兴趣区域。该方法包括使用图像数据作为输入层来运行人工神经网络,以产生包括输出分类和定位参数的输出分类和定位数据。该方法包括通过人工神经网络来评估对比输出分类和定位参数和限定在感兴趣区域内的相应的标称参数的成本函数,其中标称参数是根据特征标签来限定的,并用作成本函数的学习目标。该方法包括基于成本函数来训练人工神经网络。在实施例中,标称参数包括从特征标签中变换而来的类概率、正交偏移和向感兴趣特征边界的切向取向。在实施例中,人工神经网络是卷积神经网络。在实施例中,该方法包括通过处理器产生用于通过使用图像变换效果对包括相关联的特征标签的图像数据进行变换来训练人工神经网络的增强图像数据。在实施例中,图像变换效果包括视角、尺度、纵横比等的变化。在实施例中,图像变换效果包括来自以下的选择:亮度效果的变化、天气效果的变化、图像噪声效果、聚焦效果的变化和白平衡效果。在实施例中,每个特征标签包括第一和第二定位线,其中该方法包括通过处理器从边缘向外扩展由该第一和第二线描绘的感兴趣区域(ROI);通过人工神经网络评估对比输出分类和定位参数和限定在ROI内用作学习目标的相应的标称参数的成本函数。在实施例中,输出定位参数包括线段。在实施例中,输出定位参数包括每个线段的角度。在实施例中,该方法包括使用人工神经网络来确定车道特征,以及基于该车道特征控制车辆。在另一个实施例中,提供了一种训练人工神经网络的方法。该系统包括配置为接收包括相关特征标签的图像数据的人工神经网络,每个特征标签包括特征分类和至少一条定位线。该系统的处理器配置为以至少一条线的形式限定至少一个边缘,该至少一条线定位在至少一个定位线的每一个附近。人工神经网络配置为使用图像数据作为输入层,以产生包括输出分类和定位参数的输出分类和定位数据。人工神经网络配置为评估对比给予至少一个边缘限定在感兴趣区域内的输出分类和定位参数的成本函数,其中在该感兴趣区域内的标称的分类和定位参数用作该成本函数的学习目标。在实施例中,人工神经网络配置为基于成本函数的评估来调整其至少一个层,从而训练人工神经网络。在另一个实施例中,提供了一种车辆。该车辆包括多个能提供图像数据的摄像机,以及处理器,该处理器配置为:从每个摄像机中接收图像数据,将来自多个摄像机中的每一个的图像数据进行组合以形成组合的图像数据,使用人工神经网络基于组合的图像数据对车道特征进行分类和定位来产生分类和定位的车道数据,基于分类和定位的车道数据进行数据融合处理由此产生融合的车道特征数据,以及部分地基于该融合的车道特征数据来控制车辆。在实施例中,处理器配置为基于分类和定位的车道数据进行图像空间到真实空间的转换,以提供真实空间车道特征数据。在实施例中,多个摄像机具有不同但重叠的视野,融合包括巩固重叠的视野。在实施例中,分类和定位的车道数据限定线段。在实施例中,处理器配置为对线段进行曲线拟合,以产生分类和定位的车道曲线数据本文档来自技高网...

【技术保护点】
1.一种控制车辆的方法,包括:通过至少一个处理器接收来自于安装在所述车辆上的多个摄像机中的每一个的图像数据;通过所述至少一个处理器对来自于所述多个摄像机中的每一个的所述图像数据进行组合,以形成组合的图像数据;使用人工神经网络基于所述组合的图像数据对车道特征进行分类和定位,以产生分类和定位的车道数据;通过所述至少一个处理器基于所述分类和定位的车道数据进行数据融合处理,从而产生融合的车道特征数据;通过所述至少一个处理器部分地基于所述融合的车道特征数据来控制所述车辆。

【技术特征摘要】
2017.12.11 US 15/8372761.一种控制车辆的方法,包括:通过至少一个处理器接收来自于安装在所述车辆上的多个摄像机中的每一个的图像数据;通过所述至少一个处理器对来自于所述多个摄像机中的每一个的所述图像数据进行组合,以形成组合的图像数据;使用人工神经网络基于所述组合的图像数据对车道特征进行分类和定位,以产生分类和定位的车道数据;通过所述至少一个处理器基于所述分类和定位的车道数据进行数据融合处理,从而产生融合的车道特征数据;通过所述至少一个处理器部分地基于所述融合的车道特征数据来控制所述车辆。2.根据权利要求1所述的方法,通过所述至少一个处理器,基于所述分类和定位的车道数据进行图像空间到真实空间的变换,以提供真实空间车道特征数据。3.根据权利要求2所述的方法,其中所述变换发生在所述融合之前。4.根据权利要求1所述的方法,其中所述多个摄像机具有不同但重叠的视野,并且所述融合包括巩固重叠的视野。5.根据权利要求1所述的方法,其中所述分类和定位的车道数据限定线段。6.一种训练人工神经网络的方法,所述方法包括:通过所述人工神经网络接收包含相关特征标签的图像数据,每个所述特征标签都包含特征分类和至少一个定位线;以至少一条线相邻于每个所述至少一个定位线的形式限定至少一个边缘;基于所述至少一个边缘限定感兴趣区域;使用所述图像数据作为输入层来操作人工神经网络,以产生包含输出分类和定位参数的输出分类和定位数据;通过人工神经网络评估对比感兴趣区...

【专利技术属性】
技术研发人员:邹光宇
申请(专利权)人:通用汽车环球科技运作有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1