自动驾驶数据处理跟踪方法、系统及车辆技术方案

本发明专利技术提供了一种自动驾驶数据处理跟踪方法、系统及车辆，其中，自动驾驶数据处理跟踪方法，通过关系型数据库在分布式存储上面的应用，能够对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索，实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。

【技术实现步骤摘要】
自动驾驶数据处理跟踪方法、系统及车辆
本专利技术涉及大数据
，更具体地，涉及一种自动驾驶数据处理跟踪方法、系统和具有该系统的车辆。
技术介绍
在自动驾驶技术中，摄像头和激光雷达取代了人眼，机器学习和神经网络则取代了人的大脑。无论是做各种仿真场景的测试还是训练自动驾驶技术的大脑-神经网络都需要海量的数据，包括摄像头数据、激光雷达数据、地图数据、车辆总线数据等等。这些数据包括实际道路采集得到的数据，更多的则是基于场景模拟仿真系统产出的数据，可达上百PB级别。这些原始的场景数据文件往往经过多个步骤的处理，比如剪切、清洗、各种数据格式的转换，最终生成对研发过程有价值的数据格式文件。在整个数据处理链中，如果有一处数据处理出了错，研发人员需要在数据处理的错误日志中查找错误，解决此处数据处理程序的缺陷，然后重新运行整个数据处理流程，直到错误很少或者没有错误出现为止。这将是一个相当漫长的过程，并且会导致计算资源的大量浪费。在目前的自动驾驶数据处理过程中存在以下几点问题：自动驾驶研发需要对采集的或者仿真生成的数据文件进行一系列的处理，比如剪本文档来自技高网...

【技术保护点】
1.一种自动驾驶数据处理跟踪方法，其特征在于，包括以下步骤：/nS1、建立自动驾驶数据存储管理集群；/nS2、将分布式存储系统添加到所述存储管理集群中；/nS3、将关系型数据库添加到所述存储管理集群中；/nS4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；/nS5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；/nS6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；/nS7、运行标签数据和元数据脚本：把标签数据和...

【技术特征摘要】
1.一种自动驾驶数据处理跟踪方法，其特征在于，包括以下步骤：
S1、建立自动驾驶数据存储管理集群；
S2、将分布式存储系统添加到所述存储管理集群中；
S3、将关系型数据库添加到所述存储管理集群中；
S4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；
S5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；
S6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；
S7、运行标签数据和元数据脚本：把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中；
S8、运行文件处理脚本：对场景文件进行处理，将原文件、操作名称和处理后的文件映射关系写入关系型数据，将出错节点的名称和输入文件写入关系型数据库进行入库存储；
S9、开发数据存储管理应用和前端UI。


2.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S1中所述存储管理集群包括至少三个服务器，所述至少三个服务器包括：
关系型数据库服务器，其上部署有MysQL关系型数据库，用于保存数据文件的定位信息、元数据信息、标签数据信息以及各种映射关系信息；
数据管理服务器，其上部署有数据存储管理应用，用于对数据进行分类存储、精准定位和持续跟踪等工作；
数据应用服务器，其上部署有数据处理和格式转换等各种应用程序。


3.根据权利要求2所述的自动驾驶数据处理跟踪方法，其特征在于，所述映射关系信息至少包括标签数据和数据文件之间的映射关系信息和数据文件与数据文件处理操作之间的映射关系信息。


4.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S2中所述分布式存储系统上存储有自动驾驶中采集的真实的场景文件数据、仿真场景数据以及各种数据格式转换得到的结果数据。


5.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S4中使用...

【专利技术属性】
技术研发人员：张彦君，
申请(专利权)人：浙江吉利汽车研究院有限公司，浙江吉利控股集团有限公司，
类型：发明
国别省市：浙江;33