检测多模式图像的特征制造技术

提供了用于从多模式图像类数据表示检测特征的系统和方法。所述系统包含：小波变换器，所述小波变换器被配置成经由至少一个处理器接收图像数据并对所述图像数据进行小波变换，从而提供分为频率子带的分解图像数据。所述系统进一步包含人工神经网络，所述人工神经网络被配置成接收并处理所述分解图像数据的至少一个子带以基于其检测图像特征，所述人工神经网络被配置成输出所述检测到的图像特征。

【技术实现步骤摘要】
检测多模式图像的特征引言本专利技术大体涉及用于检测图像特征的系统和方法，并且更具体地说，涉及用于检测用于控制车辆的物体和/或道路特征的系统和方法。自主和半自主车辆能够感测其环境，并且基于所感测的环境进行导航。这种车辆使用例如雷达、激光雷达、图像传感器等的传感装置来感测它们的环境。该车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驾驶系统的信息来导航车辆。车辆自动化被分类为若干数字级别，范围从零(对应于没有自动化，完全人工控制)到五(对应于完全自动化而无人工控制)。各种自主驾驶辅助系统，例如巡航控制、自适应巡航控制和停车辅助系统，对应于较低的自动化级别，而真正的“无人驾驶”车辆对应于较高的自动化级别。包含自主车辆特征的一些车辆包含多个光学摄像头以对车辆周围的环境进行成像。基于从摄像头获得的图像，一些自主车辆系统检测车道特征和/或检测车辆周围的物体以用于控制车辆，例如通过避开从图像中提取的障碍物并遵守从图像中提取的道路信息所指示的驾驶规则。因此，需要提供以计算有效的方式检测图像特征的系统和方法。进一步需要提供使用功率有效且处理有效的人工神经网络来检测图像特征的方法和系统。此外，本专利技术的其它所需特征和特性将从随后的详细描述和所附权利要求结合附图和前述
和背景而变得显而易见。
技术实现思路
提供了用于检测图像特征的系统和方法。一种用于检测图像特征的系统包含：小波变换器，该小波变换器被配置成经由处理器接收图像数据并对该图像数据进行小波变换，从而提供被分成频率子带的分解图像数据；以及人工神经网络，该人工神经网络被配置成接收并处理该分解图像数据的子带以基于其检测图像特征，该人工神经网络被配置成输出检测到的图像特征。在实施例中，该小波变换器执行二维离散小波变换功能。在实施例中，该小波变换器执行多级二维离散小波变换功能以获得分解图像特征的多级子带。在实施例中，该离散小波变换包含子带译码。在实施例中，该小波变换器包含具有高通滤波器和低通滤波器的至少一个分解级别，并且该分解图像数据包含至少四个子带，包含LLk、HLk、LHk和HHk，其中k表示分解级别，L表示已通过低通滤波器的图像数据，并且H表示已通过高通滤波器的图像数据。各级的滤波器限定小波变换功能。在实施例中，该人工神经网络被配置成接收并处理该分解图像数据的该频率子带中的仅一个、一些或全部。在实施例中，该系统包含滤波器，该滤波器被配置成去除该分解图像数据的低于阈值的系数或将其设置为零，从而提供经滤波的分解图像数据，其中该人工神经网络被配置成接收并处理该经滤波的分解图像数据的一组子带，以基于其检测图像特征。在实施例中，基于该分解图像数据来自适应地设置阈值(例如，最小的75％的系数设置为零)，或使用静态阈值。在实施例中，该人工神经网络被配置成执行基于刺激的漏失，从而当分解图像的输入系数全部基本为零时，神经元的输出被设置为零，而不执行常规计算。在实施例中，基于刺激的漏失是在人工神经网络的训练和/或应用期间执行的。在实施例中，该人工神经网络包含并行计算管线，该并行计算管线被配置成接收并处理该分解图像数据的相应子带并输出相应的特征图。在实施例中，该人工神经网络被配置成级联该输出的特征图以形成级联特征图且基于该级联特征图检测图像特征。在实施例中，该人工神经网络包含禁用器，该禁用器被配置成选择性地禁用该计算管线中的一个或多个。在实施例中，该并行计算管线中的每一个包含一个或多个卷积层。在实施例中，该人工神经网络被配置成级联该输出的特征图以形成级联特征图，其中该人工神经网络包含一个或多个完全连接层，该完全连接层被配置成基于该级联特征图检测图像特征。在实施例中，已经从车辆摄像头接收该图像数据，其中该人工神经网络被配置成检测该图像数据中的道路特征，并且其中该系统包括驾驶系统，该驾驶系统被配置成接收检测到的道路特征并且部分地基于检测到的道路特征自动控制车辆特征。在实施例中，该道路特征包含物体(包含移动物体)、车道标记、车道和道路边界、道路标志以及与车辆周围环境中的道路相关联的其它特征。在实施例中，提供了一种用于检测图像特征的方法。该方法包含：经由处理器接收图像数据；经由该处理器对该图像数据进行小波变换，从而提供分成频率子带的分解图像数据；经由人工神经网络处理该分解图像数据的一个或多个子带，以基于其检测图像特征；以及经由该人工神经网络输出检测到的图像特征。在实施例中，该人工神经网络处理该分解图像数据的该频率子带中的仅一个、仅一些或全部。在实施例中，该人工神经网络包含并行计算管线，该并行计算管线处理该分解图像数据的相应子带并输出相应的特征图。在实施例中，该人工神经网络级联该输出的特征图以形成级联特征图，并且基于该级联特征图检测图像特征。在实施例中，该方法包含选择性地禁用该计算管线中的一个。在实施例中，该并行计算管线中的每一个包含卷积层和池层，并且其中该人工神经网络包含基于该级联特征图检测图像特征的完全连接层。在实施例中，该方法包含：从车辆摄像头或多个车辆摄像头接收该图像数据；经由该人工神经网络检测该图像数据中的道路特征；以及部分地基于检测到的道路特征自动控制车辆特征。在另一实施例中，提供了一种车辆。该车辆包含：车辆摄像头，该车辆摄像头被配置成捕获车辆环境的图像并提供对应图像数据；处理器，该处理器被配置成接收该图像数据并对该图像数据进行小波变换，从而提供被分成频率子带的分解图像数据。人工神经网络被配置成接收并处理该分解图像数据的一个或多个子带以基于其检测道路特征，该人工神经网络被配置成输出检测到的道路特征。驾驶系统被配置成接收检测到的道路特征且部分地基于检测到的道路特征自动控制车辆特征。在实施例中，该人工神经网络包含多个计算管线，该计算管线被配置成接收分解图像数据的相应子带并输出相应的特征图，每个计算管线包含卷积层和池层，其中该人工神经网络被配置成级联所输出的相应特征图以提供级联特征图，并且其中该人工神经网络包含完全连接层，该完全连接层被配置成基于级联特征图检测道路特征。在实施例中，该人工神经网络被配置成处理该分解图像数据的该子带中的仅一个、仅一些或全部。附图说明在下文中将结合以下附图描述示例性实施例，其中相同的数字表示相同的元件，并且其中：图1是说明根据各种实施例的具有图像特征检测系统的车辆的功能方框图；图2是说明根据各种实施例的具有一个或多个自主车辆的运输系统的功能方框图；图3是说明根据各种实施例的包含自主车辆中的图像特征检测系统的自主驾驶系统的数据流图；图4是说明根据各种实施例的图像特征检测系统的数据流图；图5说明根据各种实施例的二维小波变换器：图6说明根据各种实施例的各种级别的分解图像数据；图7是根据各种实施例的人工神经网络架构；以及图8是说明根据各种实施例的用于控制自主车辆的控制方法的流程图。具体实施方式以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受前述
、
技术介绍
、
技术实现思路
或以下详细描述中提出的任何明示或暗示的理论的约束。如本文中所使用，术语模块单独地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包含但不限于：专用集成电路(ASIC)、电子电路、处理器(共享的、本文档来自技高网...

【技术保护点】
1.一种用于检测图像特征的系统，所述系统包括：小波变换器，所述小波变换器被配置成经由至少一个处理器接收图像数据并对所述图像数据进行小波变换，从而提供分为频率子带的分解图像数据；以及人工神经网络，所述人工神经网络被配置成接收并处理所述分解图像数据的至少一个子带以基于其检测图像特征，所述人工神经网络被配置成输出所述检测到的图像特征。

【技术特征摘要】
2017.12.18 US 15/8447321.一种用于检测图像特征的系统，所述系统包括：小波变换器，所述小波变换器被配置成经由至少一个处理器接收图像数据并对所述图像数据进行小波变换，从而提供分为频率子带的分解图像数据；以及人工神经网络，所述人工神经网络被配置成接收并处理所述分解图像数据的至少一个子带以基于其检测图像特征，所述人工神经网络被配置成输出所述检测到的图像特征。2.根据权利要求1所述的系统，其中所述人工神经网络被配置成接收并处理所述分解图像数据的所述频率子带中的仅一个、一些或全部。3.根据权利要求1所述的系统，所述系统包括滤波器，所述滤波器被配置成去除所述分解图像数据的低于阈值的系数或将其设置为零，从而提供经滤波的分解图像数据，其中所述人工神经网络被配置成接收并处理所述经滤波的分解图像数据的至少一个子带，以基于其检测图像特征。4.根据权利要求1所述的系统，其中所述人工神经网络被配置成执行基于刺激的漏失，从而当到所述分解图像的系数的神经元的所有输入基本为零时，所述神经元的输出被设置为零。5.根据权利要求1所述的系统，其中所述人工神经网络包含并行计算管线，所述并行计算管线被配置成接收并处理所述分解图像数据的相应子带并输出相应的特征图。6.根据权利要求...

【专利技术属性】
技术研发人员：邹光宇，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US