数据存储、调用方法及系统技术方案

本申请实施例公开了一种数据存储、调用方法和系统。所述数据存储方法包括：获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；根据所述类型信息，得到不同类型的个数N，建立N个不同的目标数据集；基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。所述数据调用方法包括：获取由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；基于所述数据调用请求获取所述目标数据集中的部分数据以得到所述待调用数据；以及将所述待调用数据发送至所述用户端的第二存储设备中。

【技术实现步骤摘要】
数据存储、调用方法及系统
本申请涉及信息
，特别涉及一种数据存储、调用方法及系统。
技术介绍
自动驾驶测试车在道路测试中通常需要采集大量的数据(简称“路测数据”)以供分析、调试等用途。而相关人员对路测数据的需求通常是有针对性的，即，仅需要调用大量数据中的部分数据。例如，特定的团队通常仅需要调用属于特定类型的路测数据而非所有类型的路测数据(例如，图像处理团队仅需要图像类型相关的路测数据)。又例如，有些情况下只需要调用特定范围(例如，特定时间段)内的路测数据。因此，希望提供一种数据存储和/或调用方案，能够从庞大数量的数据中高效地调用满足用户特定需求的部分数据。
技术实现思路
本申请的一个方面提供一种由计算装置执行的数据存储方法，其特征在于，所述方法包括：获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及基于本文档来自技高网...

【技术保护点】
1.一种由计算装置执行的数据存储方法，其特征在于，所述方法包括：/n获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；/n根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及/n基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。/n

【技术特征摘要】
1.一种由计算装置执行的数据存储方法，其特征在于，所述方法包括：
获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；
根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及
基于所述原始数据集中的数据元的类型信息以及各目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中，所述目标数据集存储于第一存储设备中。


2.根据权利要求1所述的方法，其特征在于，所述数据集为文件，所述文件的数据元为消息。


3.根据权利要求1所述的方法，其特征在于，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。


5.根据权利要求4所述的方法，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。


6.根据权利要求4所述的方法，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。


7.根据权利要求1所述的方法，其特征在于，所述原始数据集中的数据包括自动驾驶交通工具在运行过程中所产生或采集的数据。


8.根据权利要求1所述的方法，其特征在于，
接收由用户端发送的数据调用请求，所述数据调用请求至少包括待调用数据所属的类型；
基于所述数据调用请求从所述N个不同的目标数据集确定相应类型目标数据集；
基于所述确定的目标数据集中的数据元，得到所述待调用数据；以及
将所述待调用数据发送给所述用户端的第二存储设备中。


9.根据权利要8所述的方法，其特征在于，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：
从所述第一存储设备中获取所述目标数据集以及其存储的数据元；
将所述目标数据集按预设的时间间隔划分成多个目标数据子集；以及
基于所述数据调用请求，获取所述多个目标数据子集中部分目标数据子集对应的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。


10.根据权利要8所述的方法，其特征在于，所述基于所述确定的目标数据集中的数据元，得到所述待调用数据还包括：
将所述第一存储设备中获取的所述确定的目标数据集以及其存储的数据元发送至第三存储设备，所述第一存储设备距离所述用户端远于所述第三存储设备距离所述用户端；
将所述目标数据集按预设的时间间隔划分成多个目标数据子集并存储于所述第三存储设备；
建立多个逻辑文件，每个逻辑文件对应所述多个目标数据子集中的一个，所述每个逻辑文件包括所述目标数据子集中的数据元对应的索引信息；以及
基于所述数据调用请求以及所述逻辑文件，从所述第三存储设备中获取所述多个目标数据子集中的部分目标数据子集存储的数据元，所述待调用数据包括所述部分目标数据子集对应的所述数据元。


11.一种数据存储系统，其特征在于，所述系统包括：
原始数据集获取模块，用于获取原始数据集，所述原始数据集包括多个数据元，每个数据元具有标注该数据元类型的类型信息；
目标数据集建立模块，用于根据所述原始数据集中数据元的类型信息，得到不同类型的个数N，并对应建立N个不同的目标数据集，所述N个不同的目标数据集与不同类型的数据元相对应；其中，N为大于等于2的整数；以及
存储模块，用于基于所述原始数据集中的数据元的类型信息以及目标数据集，将与所述目标数据集对应的数据元存储在相应的目标数据集中。


12.根据权利要求11所述的系统，其特征在于，所述数据集为文件，所述文件的数据元为消息。


13.根据权利要求11所述的系统，其特征在于，所述类型包括图像类、位置类、传感器类、数据包类和控制器局域网总线类中的一种或多种。


14.根据权利要求11所述的系统，其特征在于，所述系统还包括：
索引信息建立模块，用于建立所述目标数据集的索引信息，所述索引信息至少包括所述目标数据集中各数据元的一一对应的元标识信息和存储位置信息；其中，元标识信息是指相应数据元的标识信息。


15.根据权利要求14所述的系统，其特征在于，所述目标数据集中的数据元按时间顺序排列，所述元标识信息包括相应数据元的时间信息。


16.根据权利要求14所述的系统，其特征在于，所述索引信息还包括所述目标数据集中各数据元对应的原始数据集的集标识信息；其中，集标识信息是指原始数据集的标识信息。


17.一种存储介质，其特征在于，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的计算机指令后，执行如权利要求1～10中任一项所述的数据存储方法。


18.一种由计算装置执行的数据调用方法，其特征在...

【专利技术属性】
技术研发人员：闵令昂，
申请(专利权)人：北京航迹科技有限公司，
类型：发明
国别省市：北京;11