一种车辆离线场景数据处理方法及系统技术方案

本发明专利技术涉及一种车辆离线场景数据处理方法和系统，方法包括：获取车辆离线场景数据的数据源标准格式和原始日志文件；根据所述数据源标准格式对所述原始日志文件进行解析，得到待处理的日志文件；对所述待处理的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；从目标场景数据日志文件中提取目标场景数据，并将目标场景数据进行存储。本发明专利技术对存储在私有云的车辆数据尤其对行驶中采集的场景数据进行过滤，得到高质量的有效数据。在满足应用需求的同时，降低数据的存储量和计算量，大幅度地缩减数据中心的建设、运维成本。

A data processing method and system for vehicle offline scene

【技术实现步骤摘要】
一种车辆离线场景数据处理方法及系统
本专利技术涉及车辆数据处理领域，尤其涉及一种车辆离线场景数据处理方法及系统。
技术介绍
随着智能驾驶汽车逐步实现小规模量产化或预量产化，以设备为中心的传统数据中心在对采集到的智能驾驶汽车的原始数据进行存储、分析、机器学习或可视化展示上越显力不从心。L3等级的智能驾驶汽车，在日均使用时长为8小时的情况下，每车每天会产生25TB至30TB的数据量。巨大的数据量对数据的存储和计算提出了更高的要求。传统数据中心如要满足当前或未来数据存储和计算的高要求，投入的经济成本将会十分巨大，并且，系统复杂的传统数据中心在运维、升级方面面临巨大的困难。更关键的是，传统数据中心的模式无法响应当前快速发展的业务需求。针对这种情况，一种应对思路是用云数据中心取代传统数据中心，云数据中心以面向服务的架构，将数据中心的设备、系统和功能输出视作服务，随时随时地按需交付。另一种应对思路则是对数据进行过滤或称筛选。与公有云不同的一点是，私有云还无需保存数据过滤处理后的无效数据或无用数据，只需存储满足应用需求的有效数据，其分布式存储和分布式本文档来自技高网...

【技术保护点】
1.一种车辆离线场景数据处理方法，其特征在于，所述方法包括：/n获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；/n根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；/n对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；/n从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。/n

【技术特征摘要】
1.一种车辆离线场景数据处理方法，其特征在于，所述方法包括：
获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；
根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；
对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；
从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。


2.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件包括：
建立车载传感设备与数据格式的的映射表，所述映射表包含数据源标准格式；
获取所述车载传感设备采集的场景数据；
通过车载终端数据记录设备对所述场景数据进行记录，并生成所述车辆离线场景数据的原始日志文件。


3.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件包括：
根据所述车辆离线场景数据的原始日志文件的数据源，从所述车辆离线场景数据的数据源标准格式中选取与所述原始日志文件中的每一个原始日志文件匹配的数据源标准格式；
根据所述与所述每一个原始日志文件匹配的数据源标准格式，对所述原始日志文件中的每一个原始日志文件进行数据内容的解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。


4.根据权利要求3所述的车辆离线场景数据处理方法，其特征在于，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件还包括：
在所述车辆离线场景数据的原始日志文件为按照时间生成的日志文件，和/或所述原始日志文件的数据源至少有两个时，
根据所述车辆离线场景数据的原始日志文件中数据内容的数据源，将所述车辆离线场景数据的原始日志文件拆分并归类为至少一个独立数据源的日志文件集；
从所述车辆离线场景数据的数据源标准格式中选取与所述至少一个独立数据源的日志文件集中每一个独立数据源的日志文件集匹配的数据源标准格式；
根据与所述每一个独立数据源的日志文件集匹配的数据源标准格式，对所述每一个日志文件集中的日志文件进行解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。


5.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件包括：
通过时间选择器设定车辆离线场景数据的时间过滤条件，所述时间过滤条件包括第一时刻和第二时刻；
根据所述时间过滤条件，从所述待处理的车辆离线场景数据的日志文件中提取所述第一时刻和第二时刻之间的数据内容，得到第一目标场景数据日志文件。


6.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：
获取车辆的标记列表文件；
根据所述车辆的标记列表文件设定车辆离线场景数据的标记过滤条件，所述标记过滤条件包括第一标记场景和第二标...

【专利技术属性】
技术研发人员：白勍，
申请(专利权)人：吉利汽车研究院宁波有限公司，浙江吉利控股集团有限公司，
类型：发明
国别省市：浙江;33