测量数据格式MDF文件的处理方法及设备技术

本发明专利技术涉及一种测量数据格式MDF文件的处理方法，所述方法包括：确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的索引表；以及将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。本发明专利技术还涉及测量数据格式MDF文件的处理设备以及计算机存储介质。质。质。

【技术实现步骤摘要】
测量数据格式MDF文件的处理方法及设备


[0001]本专利技术涉及测量数据格式MDF文件的处理领域，更具体地，涉及一种测量数据格式MDF文件的处理方法、设备以及计算机存储介质。

技术介绍

[0002]目前，在车辆研发项目中，有大量的测量数据需要存储和分析。例如，车辆的持久性运行数据的数据量粗略估计高达1.5PB。面对如此巨大的数据量，一般采用自动化及测量系统标准化协会ASAM规定的测量数据格式MDF文件（例如*.MF4）来进行存储。该MDF文件为树形结构，具有方便存储数据等优点，但从该MDF文件中读取数据较为麻烦。
[0003]例如，在使用CANAPE软件对MF4文件打开时，需要将MF4整体进行加载，速度很慢，不能满足某些实时性较强的应用。另外，当前也没有良好的开源python应用程序接口API来支持对该大型MF4文件进行快速数据读取。

技术实现思路

[0004]根据本专利技术的一方面，提供了一种测量数据格式MDF文件的处理方法，所述方法包括：确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索（thread）的索引表（indexing table）；以及将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。
[0005]作为上述方案的补充或替换，在上述方法中，在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表包括：在所述测量数据格式MDF文件的末尾处增加附件块AT，所述附件块AT包括索引表，所述索引表包含指示所述文件偏移地址的线索。
[0006]作为上述方案的补充或替换，在上述方法中，所述数据库为块存储引擎。
[0007]作为上述方案的补充或替换，上述方法还包括：根据所述数据的使用频次选择不同的存储装置进行存放。
[0008]作为上述方案的补充或替换，在上述方法中，在所述数据的使用频次大于或等于第一阈值时，将所述数据存储在高速缓存中；在所述数据的使用频次小于所述第一阈值但大于或等于第二阈值时，将所述数据转移至第一硬盘中进行缓存；以及在所述数据的使用频次低于所述第二阈值时，将所述数据转移至第二硬盘进行缓存。
[0009]作为上述方案的补充或替换，在上述方法中，所述高速缓存的读取速度大于所述第一硬盘的读取速度，并且，所述第一硬盘的读取速度大于所述第二硬盘的读取速度。
[0010]根据本专利技术的另一个方面，提供了一种测量数据格式MDF文件的处理设备，所述设备包括：确定装置，用于确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；增加装置，用于在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表；以及发送装置，用于将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。
[0011]作为上述方案的补充或替换，在上述设备中，所述增加装置配置成在所述测量数据格式MDF文件的末尾处增加附件块AT，所述附件块AT包括所述索引表。
[0012]作为上述方案的补充或替换，在上述设备中，所述数据库为块存储引擎。
[0013]作为上述方案的补充或替换，上述设备还包括：选择装置，用于根据所述数据的使用频次来选择不同的存储装置进行存放。
[0014]作为上述方案的补充或替换，在上述设备中，所述选择装置配置成在所述数据的使用频次大于或等于第一阈值时，将所述数据存储在高速缓存中；在所述数据的使用频次小于所述第一阈值但大于或等于第二阈值时，将所述数据转移至第一硬盘中进行缓存；以及在所述数据的使用频次低于所述第二阈值时，将所述数据转移至第二硬盘进行缓存。
[0015]作为上述方案的补充或替换，在上述设备中，所述高速缓存的读取速度大于所述第一硬盘的读取速度，并且，所述第一硬盘的读取速度大于所述第二硬盘的读取速度。
[0016]根据本专利技术的又一个方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。
[0017]本专利技术的实施例的测量数据格式MDF文件的处理方案通过在该MDF文件中增加索引表（该索引表包含指示感兴趣的数据块的文件偏移地址的线索）来加速数据访问。另外，将索引表和从测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放，有利于将一个传统的文件（即，MDF文件）的存储管理变为可缩放的云计算服务，方便实现大数据以及分布式计算。
附图说明
[0018]从结合附图的以下详细说明中，将会使本专利技术的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
[0019]图1示出了根据本专利技术的一个实施例的测量数据格式MDF文件的处理方法的流程示意图；图2示出了根据本专利技术的一个实施例的测量数据格式MDF文件的处理设备的结构示意图；图3示出了测量数据格式MDF文件的块结构的示意图；图4示出了测量数据格式MDF文件的块内容的示意图；图5示出了根据本专利技术的一个实施例的线索的示意图；以及图6示出了根据本专利技术的一个实施例、通过附件块引入索引表的结构示意图。
具体实施方式
[0020]在下文中，将参考附图详细地描述根据本专利技术的各示例性实施例的测量数据格式MDF文件的处理方案。
[0021]图1示出了根据本专利技术的一个实施例的测量数据格式MDF文件的处理方法1000的流程示意图。如图1所示，测量数据格式MDF文件的处理方法1000包括如下步骤：在步骤S110中，确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在步骤S120中，在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址
的线索（thread）的索引表（indexing table）；以及在步骤S130中，将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。
[0022]在本专利技术的上下文中，术语“测试数据格式”，即Measurement Data Format（MDF）是一种二进制文件格式，用于存储来自log或者计算的数据，以进行后期测量处理，离线评估或长期存储。该格式已成为测量和校准系统（MC
‑
systems）的实际标准。作为一种紧凑的二进制格式，ASAM MDF可提供高效，高性能的海量测量数据存储。
[0023]汽车行业的主要应用领域是在ECU系统的测量，校准和测试过程中记录信号数据。通常，信号值从传感器获取或通过车辆总线系统传输。这包括记录ECU内部变量（例如通过ASAM XCP传输）或以总线事件的形式记录整个总线流量。随着高级驾驶员辅助系统（ADAS）的出现，同步视频数据和雷达信息成为一种新的案例，ASAM MDF也支持该情境。
[0024]一般而言，MDF文件使用树形结构来存储所记录的信息。参考图3，它示出了测量数据格式MDF文件的块结构的示意图。如图3的左半部分310所示，它示出了一个示例的MDF文件的物理顺序。312表示该MDF文件的开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种测量数据格式MDF文件的处理方法，其特征在于，所述方法包括：确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表；以及将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。2.如权利要求1所述的方法，其中，在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表包括：在所述测量数据格式MDF文件的末尾处增加附件块AT，所述附件块AT包括所述索引表。3.如权利要求1所述的方法，其中，所述数据库为块存储引擎。4.如权利要求1所述的方法，还包括：根据所述数据的使用频次选择不同的存储装置进行存放。5.如权利要求4所述的方法，其中，在所述数据的使用频次大于或等于第一阈值时，将所述数据存储在高速缓存中；在所述数据的使用频次小于所述第一阈值但大于或等于第二阈值时，将所述数据转移至第一硬盘中进行缓存；以及在所述数据的使用频次低于所述第二阈值时，将所述数据转移至第二硬盘进行缓存。6.如权利要求5所述的方法，其中，所述高速缓存的读取速度大于所述第一硬盘的读取速度，并且，所述第一硬盘的读取速度大于所述第二硬盘的读取速度。7.一种测量数据格式MDF文件的处理设备，其特征在于，所述设备包括：确定装置...

【专利技术属性】
技术研发人员：毛安平，马良，龚沁，
申请(专利权)人：罗伯特，
类型：发明
国别省市：