用于远程感测和车辆控制的实时机器视觉和点云分析制造技术

提供了用于实时机器视觉和点云数据分析的方法和装置，用于远程感测和车辆控制。点云数据可以经由可扩展的集中式云计算系统来分析，以用于提取资产信息以及生成语义地图。数据存储器/预处理器(1220)将数据集进行细分以用于流送至分布式处理单元(1240)，并且经由数据分析机构(1250)操作。处理单元(1240)的输出由地图生成器(1230)聚合。机器学习部件可以优化数据分析机构，以改善从传感器数据的资产和特征提取。优化的数据分析机构可以被下载到车辆以在车载系统中用于分析车辆传感器数据。语义地图数据可以与车载传感器一起在车辆中本地使用，以得到精确的车辆定位以及向车辆提供用以控制系统的输入。

Real-time machine vision and point cloud analysis for remote sensing and vehicle control

The method and device for real-time machine vision and point cloud data analysis are provided for remote sensing and vehicle control. Point cloud data can be analyzed by an extensible centralized cloud computing system to extract asset information and generate semantic maps. The data memory / pre processor (1220) data set for segmentation approach to distributed processing unit (1240), and analyze the mechanism via the data (1250) operation. The output of the processing unit (1240) is aggregated by a map generator (1230). The machine learning components can optimize the data analysis mechanism to improve the extraction of the assets and features from the sensor data. The optimized data analysis mechanism can be downloaded to the vehicle to analyze vehicle sensor data in the vehicle system. Semantic map data can be used locally in vehicles with vehicle sensors to get precise vehicle location and provide vehicle input to control system input.

【技术实现步骤摘要】
【国外来华专利技术】用于远程感测和车辆控制的实时机器视觉和点云分析相关申请的交叉引用本申请要求于2015年1月20日提交的题为“AScalableApproachToPoint-CloudDataProcessingforRailroadAssetLocationandHealthMonitoring(用于铁路资产定位和健康监测的点云数据处理的可扩展方法)”的美国临时专利申请No.62/105,696的优先权益，该申请的全部内容通过引用合并到本文中。
技术介绍
在若干不同的领域中，移动车辆的自动定位和车辆本地环境的基于机器的远程感测变得越来越重要。一个这样的领域就是机动车运输。近年来，许多汽车和卡车实施车载全球定位系统(GPS)接收器和导航系统，从而利用GPS数据来引导驾驶员。然而，由于机动车制造商追求实施更加先进的驾驶自动化，诸如自主驾驶特征，所以基于GPS的定位系统可能既不能提供足够准确的车辆定位，它们也不允许对车辆的本地环境进行实时感测。因此，可能期望补充性感测系统，以及非常详细的基础设施和地标地图，可能包括三维语义地图。可能期望车辆定位、对本地环境进行感测以及三维语义地图的另一种应用是在列车的运行中。美国国会在2008年通过了美国铁路安全改善法案(RailSafetyImprovementAct)以确保实时监测所有的列车，从而启用“主动式列车控制”(PTC，PositiveTrainControl，列车主动控制)。该法规要求所有的列车报告它们的位置信息，使得实时追踪所有的列车移动。要求PTC能在有信号地域和无信号(dark，无广播、昏暗)地域两者中运作。为了实现此里程碑，许多公司已经尝试实施各种PTC系统。重新出现的问题是当前的PTC系统仅可以在列车经过沿着铁路线设置的路旁询答机或信号站时追踪列车，致使操作员不知道列车在路旁信号之间的状态。因此，连续的物理路旁信号基础设施之间的距离确定了列车之间所需的最小安全距离(间隔距离(headway，间隔时间))。由于沿着铁路网络的长度构建PTC基础设施和对其进行维护的成本和复杂性，当前的信令基础设施还限制了部署路旁信令设施的范围。当前的用于检测列车最近一次在路旁检测器附近经过的方法经受询答机之间的位置信息缺失。一些公司更进一步地利用沿着操作员的轨道网络的无线电塔来创建列车之间的虚拟信号，避开了对路旁信号设施的需求。为了进行无线电通信，无线电塔仍然需要部署信令设施。然而，为了可靠的位置信息，必须沿着列车的轨道部署额外的询答机，以可靠地确定列车的位置以及列车当前正占用的轨道。在使用中的PTC系统的一个示例是欧洲列车控制系统(ETCS)，其依赖于轨道旁设施和对与信令有关的信息做出反应的安装在列车上的控制装置。该系统严重依赖于已经不在美国或者发展中国家部署的基础设施。要求最少地部署路旁信令设施的方案对于在整个美国和发展中国家建立主动式列车控制是有益的。沿着轨道每1-15km部署数百万的应答器——用于检测并传送列车的存在和列车的位置的询答机——不太有效，这是因为应答器会受到环境状况、偷窃的负面影响，且应答器需要常规维护，并且所采集的数据可能未被实时使用。考虑到遍及整个铁路网络PTC利用应答器的成本，仅通过轨道旁设施获得位置数据不是可扩展的方案。此外，列车控制和安全系统不能仅仅依赖于全球定位系统(GPS)，这是因为其不能足够准确地在轨道之间进行区分，因而需要路旁信令来进行位置校准。随着自主驾驶、列车控制和其他车辆操作系统的发展，通过下文描述的系统和方法可以解决这些和其他的挑战。
技术实现思路
根据本文公开的一个方面，描述了用于定位和/或控制车辆诸如列车或机动车的系统和方法。可以在车辆上安装可以包括机器视觉系统诸如LiDAR的本地环境传感器。还可以包括GPS接收器以提供车辆的第一地理位置。远程数据库和处理器存储并处理从多个源采集的数据，并且车载车辆处理器下载与移动车辆的运行、安全和/或控制相关的数据。本地环境传感器生成描述周围环境的数据，诸如由LiDAR传感器生成的点云数据。所采集的数据可以在本地处理、在车辆上处理，或者被上传到远程数据系统以进行存储、处理和分析。分析机构(车载的和/或在远程数据系统中实施的)可以对所采集的数据进行操作，以从传感器数据中提取信息，诸如在本地环境中的对象的标识和位置。本文描述的系统的一示例性实施方案包括安装在铁路上或其他车辆上的硬件部件、远程数据库以及分析部件，该分析部件用以处理所采集的与关于运输系统的信息有关的数据，包括移动和静止车辆、基础设施和运输路径(如铁轨或道路)状况。系统可以诸如通过将在车辆的车载传感器中检测到的对象的位置与对象的已知位置进行比较来准确地估计车辆沿运输路径行进的精确位置。关于示例性部件的另外的属性会在本文进行详述，并且包括以下内容：硬件：为了安全告知车辆的移动，包括：在铁路应用中，除了其他特征以外，识别车辆行进所在的轨道、障碍物、轨道和铁轨系统的健康；以及在机动车应用中，除了其他特征以外，车辆行进所在的车道、道路的纹理和健康、附近资产的标识。远程数据库：包含关于资产的信息，并且其可以被远程地查询以获得额外的资产信息。具有资产信息的数据库总体(population)：方法包括由行进车辆本身采集数据，或者由其他车辆(诸如公路铁路两用车辆、轨道检查车辆、飞行器、移动映射平台等)采集数据。然后处理该数据以生成资产信息(除了其他信息以外，位置、特征、道路/轨道健康)。数据分析机构：将若干数据和信息流(如来自传感器、数据库、路旁单元、车辆的信息总线等)融合到一起以产生对车道、轨道ID或其他定位标记的准确估计。根据本文提供的文本和附图，公开内容的这些方面和其他方面将是明了的。附图说明现在将参照附图进一步描述示例性实施方案，附图中相同的附图标记表示相同的元件，并且：图1是列车控制系统的代表性流程图；图2是车载生态系统的代表性流程图；图3是用于获得位置信息的代表性流程图；图4是列车推断信号灯状态的示例性描绘；图5是可作为反馈用于列车员的各种界面的示例性描绘；图6是用于获得由列车占用的轨道ID的代表性流程图；图7是描述轨道ID算法的代表性流程图；图8是描述信号灯(signal，信号器)状态算法的代表性流程图；图9是描绘感测和反馈的代表性流程图；以及图10是用于相关轨道定位的图像拼接技术的代表性流程图。图11A和图11B是点云分析过程的流程图。图12是用于点云分析的装置的示意性框图。图13是用于分析点云数据的过程的流程图。图14是用于分析点云数据的过程的又一流程图。图15是示出了在示例性点云勘测(survey)中的点云图块(tile)大小和密度分布的图表。图16是点云处理集群(cluster)的示意性框图。图17是可使用点云数据的压缩机构的特性的标绘图。图18是可使用点云数据的压缩机构的特性的标绘图。图19是可使用点云数据的压缩机构的特性的标绘图。图20是用于轨道检测的过程的流程图。图21是具有提取的铁轨信息的点云段的可视化。图22是示例性点云段中点云强度级别的直方图。图23是轨道检测机构输出的可视化。图24是利用监督机器学习的地图生成系统的示意性框图。图25是用于机动车定位、机动车控制和地图审核的运行时间系统的示意性框图。具体实施方式根据一个实施本文档来自技高网...

【技术保护点】
一种用于识别点云勘测数据内的资产的装置，所述装置包括：用于接收点云数据集的前端部件，所述前端部件能够经由数字通信网络访问；数据存储部件，所述数据存储部件存储所述点云数据集，并且将所述点云数据集细分为多个数据块；包括计算集群的处理单元，所述处理单元从所述数据存储部件接收流送的数据块，并且对每个数据块应用一个或多个分析机构以提取资产信息；以及地图生成器，所述地图生成器将从所述数据分析机构提取的资产信息组合成输出地图。

【技术特征摘要】
【国外来华专利技术】2015.01.20 US 62/105,6961.一种用于识别点云勘测数据内的资产的装置，所述装置包括：用于接收点云数据集的前端部件，所述前端部件能够经由数字通信网络访问；数据存储部件，所述数据存储部件存储所述点云数据集，并且将所述点云数据集细分为多个数据块；包括计算集群的处理单元，所述处理单元从所述数据存储部件接收流送的数据块，并且对每个数据块应用一个或多个分析机构以提取资产信息；以及地图生成器，所述地图生成器将从所述数据分析机构提取的资产信息组合成输出地图。2.根据权利要求1所述的装置，其中，每个数据块包括一个或多个点云数据图块。3.根据权利要求2所述的装置，其中，每个图块均包括在沿着地球的重力矢量纵向延伸的矩形列内的点云数据子集。4.根据权利要求3所述的装置，其中，每个数据块包含被优化以实现目标数据块大小的多个连续图块。5.根据权利要求1所述的装置，其中，所述地图生成器还包括注释完整性验证器，所述注释完整性验证器将输出地图中的资产信息与对应于公用本地环境的一个或多个先前输出地图中的资产信息进行比较，以在检测到差异时生成通知。6.根据权利要求1所述的装置，还包括：压缩机构，所述压缩机构运行以在将所述点云数据存储到所述数据存储部件内之前压缩所述点云数据；以及解压缩机构，所述解压缩机构运行以在所述处理单元应用所述分析机构之前解压缩所述点云数据；由此，所述压缩机构调制其压缩比以使从所述数据存储部件的数据检索速率和由所述处理单元能够实现的数据处理速率平衡。7.一种车辆定位装置，包括：安装至车辆的GPS接收器，所述GPS接收器提供所述车辆的第一地理位置；驻留在所述车辆内的本地地图缓存器，所述本地地图缓存器存储资产的本地地图，对于每个资产，所述本地地图包括位置、与该资产相关联的性质以及相对于其他资产的一个或多个关系；一个或多个本地环境传感器，所述一个或多个本地环境传感器安装在所述车辆上以使得能够采集与所述车辆附近的本地环境相关联的数据；一个或多个车辆计算机，所述车辆计算机从所述GPS接收器接收所述第一地理位置，以从所述本地地图缓存器检索与在所述第一地理位置附近的先前绘制的资产相关联的记录；由所述车辆计算机实现的特征提取部件，所述特征提取部件接收所述本地环境传感器的数据，以识别和定位目前在所述车辆附近的观察到的资产；以及由所述车辆计算机实现的位置细化部件，所述位置细化部件将来自所述特征提取部件的观察到的资产的标识和位置与从所述本地地图缓存器检索的资产信息进行比较，以确定所述车辆的目前状态。8.根据权利要求7所述的车辆定位装置，其中，所述车辆的所述目前状态包括车辆位置。9.根据权利要求8所述的车辆定位装置，其中，所述车辆的所述目前状态还包括车辆速度和行进方向。10.根据权利要求7所述的车辆定位装置，还包括无线车辆通信设备，经由所述无线车辆通信设备，所述本地地图缓存器能够在车辆运行期间从远程数据库下载本地地图数据。11.根据权利要求7所述的车辆定位装置，其中，所述一个或多个本地环境传感器包括...

【专利技术属性】
技术研发人员：法比安·克雷姆，尚穆哈·普塔贡塔，阿努杰·古普塔，斯科特·哈维，杰森·克雷多尔，格雷汉姆·米尔斯，
申请(专利权)人：索菲斯研究股份有限公司，
类型：发明
国别省市：美国,US