用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统制造方法及图纸

一种用于混合多模式数据融合的设备、方法和系统，其用于通过集中式数据融合处理来融合多种不同格式的数据，并且通过分布式数据处理将融合数据发送至异构传感器装置组。混合多模式数据融合设备包括多模式融合模块，该多模式融合模块配置成在第一模式中操作，以接收从异构装置组感测的多种不同格式的融合数据，并且该多模式融合模块配置成在第二模式中操作，以将融合数据发送至异构装置的每个。关联模块用于融合从异构装置的每个感测的多种不同格式的数据并且将融合数据发送至多模式融合模块。融合轨迹数据文件用于存储先前融合数据，以使得多模式融合模块能将基于存储的先前融合数据的提示信息发送至异构装置。

【技术实现步骤摘要】
用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统引言本专利技术总体涉及数据融合的领域，并且更具体地说涉及用于混合数据融合的设备、方法以及系统，以通过集中式数据融合处理来融合多种不同格式的数据并且通过分布式数据处理来将融合数据发送至异构传感器装置组。传感器数据融合对乘用车和商用车中的先进传感器扮演着不可或缺的角色。单个独立的传感器在范围和视域上具有限制，并且可能无法提供足够且可靠的360度覆盖。为了克服单个传感器的限制，采用多组异构传感器来感测并且提供关于驾驶环境的增大视野和数据范围。因此，在汽车领域中，采用诸如GPS、FM-CWLIDAR“光检测和测距”雷达、脉冲和FSK雷达以及CCD、CMOS或其它照相机/视频图像模块传感器的许多异构车载传感器，以提供关于驾驶环境的更多数据和可靠的360度覆盖。因此，期望具有混合的集中式和分布式体系结构，以融合由异构传感器产生的数据并且能够在混合的内部集中式和分布式处理中枢处有效地处理从异构装置接收的多种不同格式的传感器数据。此外，通过数据融合可获得其它益处，因为融合来自不同异构传感器的感测数据不仅拓宽关于围绕车辆的状况的数据覆盖，而且增大整个感测系统在单个或多个传感器故障的情形中的可靠性。也就是说，融合数据为来自多个传感器的处理提供重叠或冗余数据，这允许对接收的数据进行完整性检查。此外，期望使用来自异构传感器的存储在融合轨迹数据文件中的先前融合数据，用于从先前融合数据生成增强提示解决方案，以分布至各个传感器，用于噪声过滤，调节传感器检测阈值以及另外调节其它传感器属性，由此有效地增强传感器精确性和可靠性。此外，期望针对每个异构传感器利用多级别模块方案，以融合使用块、特征以及传感器级别处理接收的多种数据类型。此外，期望生成融合轮廓模型，用于增强从异构传感器接收的针对多模式融合模块的测量值，用以改进传感器精确性。此外，结合附图和设备的
技术介绍
，从设备的后续详细描述和所附权利要求中，本专利技术的其它期望特征和特点会变得显而易见。
技术实现思路
提供一种用于混合多模式数据融合的设备。该设备包括：多模式融合模块，该多模式融合模块配置成在第一模式中操作，以接收从异构装置组感测的多种不同格式的融合数据，并且配置成在第二模式中操作，以将融合数据发送至异构装置和相关联模块的每个，从而融合从每个异构装置感测的多种不同格式的数据并且将融合数据发送至多模式融合模块；以及进一步包括融合轨迹数据文件，以存储先前融合数据，从而使得多模式融合模块能将基于存储的先前融合数据的提示信息发送至异构装置。提供一种用于混合多模式数据融合的方法。该方法包括：在自下而上模式中操作，以融合从异构装置组感测的数据，以及在自上而下模式中操作，以将融合数据分布至异构装置组；以及进一步包括：存储从异构装置接收的先前融合数据，以基于存储的接收先前融合数据生成预测数据，从而分布至异构装置来用于增强感测能力。附图说明本专利技术之后会结合以下附图进行描述，其中，类似的附图标记指代类似的元件，且图1是说明根据各个示例性实施例的车辆中的传感器管理系统的功能性框图；图2是说明根据示例性实施例的联接于多模式融合系统的对象级别、特征级别以及传感器级别模块的多级别融合图的功能性框图；图3是说明根据示例性实施例的多模式融合系统的多级别自下而上和自上而下融合处理的混合的集中式和分布式体系结构图的功能性框图；图4A是说明根据示例性实施例的集中式融合体系结构的多模态时间融合时间线的时间线；图4B是说明根据示例性实施例的集中式融合体系结构的多模态时间融合方案图的功能性框图；图5是说明根据示例性实施例的多模式融合系统的雷达处理系统的雷达处理图的功能性框图；图6是说明根据示例性实施例的多模式融合系统的LIDAR处理系统的LIDAR处理图的功能性框图；图7是说明根据示例性实施例的多模式融合系统的视觉处理系统的视觉处理图的功能性框图；图8是说明根据示例性实施例的多模式融合系统的轨迹级别传感器处理图的功能性框图；图9A、9B和9C是说明根据示例性实施例的用于多模式融合模块系统的轮廓模型图的视图；图10是说明根据示例性实施例的多模态融合模块系统的多模式融合图的功能性框图；图11A和11B是说明根据示例性实施例的多模式融合模块系统的LIDAR聚类图的功能性框图；图12A、12B和12C是说明根据示例性实施例的与多模式模块系统的目标轮廓融合相关联的雷达原始轨迹图的功能性框图；图13是说明根据示例性实施例的多模式模块系统的轨迹级别传感器模块的视觉轨迹关联性的图形视图的功能性框图。具体实施方式以下详细描述在本质上仅仅是说明性的且不旨在限制该主题或申请的实施例以及这些实施例的使用。如本文中所使用的，措辞“示例性”表示“用作示例、实例或说明”。本文中描述的任何实施方式不应被解释成优选的或者关于其它实施方式是有利的。此外，并不旨在受前文
、
技术介绍
、
技术实现思路
或以下具体实施方式中呈现的任何明示或暗指理论所限制。在本文中可根据功能和/或逻辑块部件，并且参照可由各个计算部件或装置执行的操作、处理任务、和功能的符号表示来描述技术和技艺。这些操作、任务以及功能有时称为计算机执行、计算机化、软件实施或者计算机实施。此外，附图中示出的各个块部件可由配置成执行特定功能的任意数量的硬件、软件和/或固件部件来实现。例如，系统或部件的一个实施例可采用诸如存储元件、数字信号处理元件、逻辑元件、查询表等等的各种集成电路部件，这些集成电路部件可在一个或多个微处理器或其它控制设备的控制下执行多种功能。如本文所使用的是，术语模块个别地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或装置，包括但不限于：专用集成电路(ASIC)、电子电路、模块(共享、专用或集群)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能性的其它合适部件。参照图1，示出根据示例性实施例的具有多模式融合系统110的车辆100。车辆100包括多个传感器120和多模式融合系统110的多模式融合模块140。传感器感测车辆100的可观测状况，并且可包括但不限于图像传感器、LIDAR传感器以及雷达传感器。通常，多个传感器的每个传感器确切地说联接于车辆100的多模式融合模块140，并且配置成感测车辆100的外部环境。多模式融合模块140接收由传感器120产生的传感器信号，处理传感器信号以获得传感器数据，并且融合传感器数据。在各个实施例中，多模式融合模块140基于本文公开的集中式和多模式处理方法和系统来融合传感器数据。虽然所示出的实施例将移动平台体现为车辆100，但本文呈现的概念能部署在其它移动平台中，例如飞行器、航空器、船舶、摩托车、机器人、机器人装置等等。此外，如果如此期望的话，本文呈现的概念也可部署在非移动平台应用中。例如所提及的是，车辆100通常包括多个传感器120、装置以及软件，以足以感测信息，将感测信息转换成数字信息，并且将数字信息提供给多模式融合模块140。通常，多个传感器的每个均配置成感测车辆100的环境的各方面。多模式融合系统可联接于收发器136，该收发器可包括至少一个接收器和至少一个发送器，且该至少一个接收器和至少一个发送器操作地联接于处理器142。收发器136能使本文档来自技高网...

【技术保护点】
1.一种混合多模式融合设备，包括：多模式融合模块，所述多模式融合模块配置成在第一模式中操作，以接收从异构装置组感测的多种不同格式的融合数据，并且所述多模式融合模块配置成在第二模式中操作，以将所述融合数据发送至所述异构装置的每个；关联模块，所述关联模块配置成融合从所述异构装置的每个感测的多种不同格式的数据并且将所述融合数据发送至所述多模式融合模块；以及融合轨迹数据文件，所述融合轨迹数据文件配置成存储先前融合数据，以使得所述多模式融合模块能将基于所述存储的先前融合数据的提示信息发送至所述异构装置。

【技术特征摘要】
2017.06.14 US 15/6226281.一种混合多模式融合设备，包括：多模式融合模块，所述多模式融合模块配置成在第一模式中操作，以接收从异构装置组感测的多种不同格式的融合数据，并且所述多模式融合模块配置成在第二模式中操作，以将所述融合数据发送至所述异构装置的每个；关联模块，所述关联模块配置成融合从所述异构装置的每个感测的多种不同格式的数据并且将所述融合数据发送至所述多模式融合模块；以及融合轨迹数据文件，所述融合轨迹数据文件配置成存储先前融合数据，以使得所述多模式融合模块能将基于所述存储的先前融合数据的提示信息发送至所述异构装置。2.根据权利要求1所述的多模式融合设备，其中，所述异构装置组至少包括视觉、雷达或LIDAR感测装置。3.根据权利要求1所述的多模式融合设备，其中，所述关联模块配置成对来自所述异构装置的所述感测数据执行对准数据校正。4.根据权利要求1所述的多模式融合设备，其中，所述关联模块配置成对来自所述异构装置的所述感测数据执行偏差数据校正。5.根据权利要求1所述的多模式融合设备，所述多模式融合模块进一步包括：多级别融合模块，所述多级别融合模块包括传感器模块，所述传感器模块配置成将从所述异构装置感测的数据转换成传感器数据，以发送至所述多模式融合模块来用于数据融合。6.根据权利要求5所述的多模式融合设备，所述多模式融合模块进一步包括：特征模块，所述特征模块联接于所述传感器模块，且配置成将传感器数...

【专利技术属性】
技术研发人员：曾树青，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US