一种用于车辆状态信号数据存储的数据磁盘存储管理方法技术

本发明专利技术提供一种用于车辆状态信号数据存储的数据磁盘存储管理方法，包括以下步骤：定义item为BSON格式，多个item以双向链表结构关联；车辆上报信号数据通过指定分类列存储到不同的车辆文件中；记录上一元素和下一元素的内存位置；插入数据中使用日志系统对操作命令和时间节点记录日志；内存创建缓冲区，根据时间间隔和缓冲区大小控制数据写盘频率；根据命名空间和分类条件查询数据；通过传输操作日志实现分布式部署的数据同步备份。本发明专利技术将不同车辆数据存储在不同车辆文件中，将车辆文件存储在不同磁盘空间位置中，能够方便在大数据量下查询指定车辆在指定时间片段内的数据信息；数据库与车机配合，数据结构可在后期针对性扩展使用。使用。使用。

【技术实现步骤摘要】
一种用于车辆状态信号数据存储的数据磁盘存储管理方法


[0001]本专利技术涉及数据存储
，具体而言，涉及一种用于车辆状态信号数据存储的数据磁盘存储管理方法。

技术介绍

[0002]随着互联网时代的到来及网络技术的飞速发展，各种网络应用愈发普及广泛，用户与互联网设备相关的数据收集和分析就变得尤其重要，数据库的存储管理成为数据收集和分析工作中重要的影响因素。
[0003]目前主流的数据库按存储数据的方式分为两种大类型：“关系型”和
ꢀ“
非关系型NoSQL”，这两种类型的数据库可满足绝大部分应用业务场景。现有的非关系型数据库NoSQL为提升操作效率，采样增加I/O频率的方法将数据放入内存中进行操作，也有一部分操作是使用单线程来进行数据操作以避免线程安全问题和线程上下文切换带来的性能损耗；在数据持久化机制方面，则使用序列化二进制JSON的方式或采用自定义存储结构，通过记录日志来保证防止数据库崩溃重启后已经录入的数据丢失。
[0004]然而随着当今科学技术包括互联网产业的不断发展，现有的数据库已经无法满足一些新型互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于车辆状态信号数据存储的数据磁盘存储管理方法，其特征在于，包括以下步骤：S1、构建车辆上报信号数据的数据集collection，定义所述数据集中每个车辆文件的item数据项的数据格式为BSON格式，将每个item数据项存储一个时间点的车辆状态信号数据，通过多个item数据项存储车辆上报的所有信号数据，其中每个车辆文件中的多个所述item数据项以双向链表结构进行关联，所述车辆上报的所有信号数据包括：车辆状态、电池电压、电池健康度、速度和放电状态；S2、将每个数据集collection中存储的车辆上报信号数据通过指定分类列存储到不同的车辆文件中，其中由item数据项组成的多个车辆文件最后整合在同一命名空间下，形成一张记录表格，所述命名空间是存储车辆状态信号数据的数据文件的文件夹路径，存储在磁盘中；S3、在item数据项中记录上一item数据元素和下一item数据元素的内存位置，其中如果所述item数据元素为头结点或尾结点，则头节点的上一item指针为空，尾节点的下一item指针为空，所述item数据项的头结点存储当前的item数据项是否为完整数据，如为非完整数据，则非完整数据的上一页连接车辆状态信号数据的信息，所述item数据项的数据内容存储车辆状态信号数据的真实数据，所述item数据项的尾节点存储所述item数据项是否为完整数据；S4、在向数据集插入数据的过程中，使用日志系统对每条操作命令和时间节点进行日志记录，并且记录本次操作之前的上一次数据内容，其中当出现问题时，通过日志记录文件来恢复上次操作或者回滚到正确版本的数据；S5、在内存中创建缓冲区，根据时间间隔和缓冲区大小控制数据写入磁盘的频率，将对数据的操作首先记录到日志中，然后待缓存中数据达到设定比例大小或者达到设定时间间隔时将数据写入到磁盘中，以提高响应速度，其中所述缓冲区提供单独的日志来保证服务崩溃后的数据恢复；S6、根据命名空间和分类条件进行车辆数据查询操作，将车辆文件的item数据项加载到内存中，在内存进行匹配、排序、聚合操作，其中如果需要多个类型内容进行综合查询，则使用流式加载的方式进行片段式结果筛选，再对结果集进行最终的整合，排序、分页操作；S7、通过传输操作日志实现分布式部署的数据同步备份。2.根据权利要求1所述的用于车辆状态信号数据存储的数据磁盘存储管理方法，其特征在于，所述S4步骤的所述使用日志系统对每条操作命令和时间节点进行日志记录的方法包括：选择数据库与车机进行协作记录，其中车机本身存储短时间内的数据信息，当出现数据丢失的时候，数据库通过车机同步丢失的数据。3.根据权利要求1所...

【专利技术属性】
技术研发人员：高云鹏，于纪平，李沛阳，李汶轩，王经纬，
申请(专利权)人：达芬骑动力科技北京有限公司，
类型：发明
国别省市：