一种海量车机轨迹数据的存储方法技术

本发明专利技术公开一种海量车机轨迹数据的存储方法,其能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求，并能在短时间内检索到某一辆车的轨迹数据。这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。

【技术实现步骤摘要】
【专利摘要】本专利技术公开,其能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求，并能在短时间内检索到某一辆车的轨迹数据。这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。【专利说明】
本专利技术涉及车辆数据处理的
，具体地涉及。
技术介绍
目前主流的车机轨迹数据的存储方法，大部分是以数据库为介质，多个车机的轨迹存储在一个数据库表内。但是，这种存储方法效率极其低下，在查询和插入操作并发的情况下会产生相互的锁等待，尤其当提取某几天的单个车机的轨迹的情况下，需要扫描大量的数据库块文件才能提取到相应的信息，因此，这种存储方法只能应对I万车机以下的场景，对于目前突飞猛进的车机接入增长需求，就会束手无策。
技术实现思路
本专利技术的技术解决问题是:克服现有技术的不足，提供，其能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求，并能在短时间内检索到某一辆车的轨迹数据。 本专利技术的技术解决方案是:这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天O点把前一天的这些轨迹文件进行合并压缩处理。 本专利技术通过以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，就能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求；当检索某个车机的一个时间段内的轨迹数据时，根据时间段和车机的唯一标识可以快速的定位到轨迹文件所在的位置，相对于数据库的存储方式减少了很多冗余信息的1操作，大幅度地提升了检索效率。 【专利附图】【附图说明】 图1为根据本专利技术的海量车机轨迹数据的存储方法的一个优选实施例的示意图。 图2为本专利技术通过车辆唯一标识定位所在物理机器的流程图。 图3为本专利技术的一主机一备机存储的不意图。 【具体实施方式】 如图1所示，这种海量车机轨迹数据的存储方法，该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；随着时间的增长，上面的存储方式会产生大量的轨迹文件，占用文件系统的Inodes (索引节点，文件数据都储存在〃块〃中，那么很显然，还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode)数量，随之Inodes数量不断增加，会降低1存储效率，为了解决这个问题，在每天O点把前一天的这些轨迹文件进行合并压缩处理。 本专利技术通过以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，就能够满足海量车机接入情况下每天产生TB级轨迹数据的存储需求；当检索某个车机的一个时间段内的轨迹数据时，根据时间段和车机的唯一标识可以快速的定位到轨迹文件所在的位置，相对于数据库的存储方式减少了很多冗余信息的1操作，大幅度地提升了检索效率。 另外，该方法把这些轨迹文件压缩为META文件和DATA文件。 另外，所述META文件中包含每个车机在DATA文件的起始位置、占用字节数量、当日的车机总数、每个车机的轨迹数量、报警总数、以及全部轨迹数量的总和。 另外，根据业务需求创建索引，索引包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。 另外，所述DATA文件存储压缩后的轨迹数据，压缩前轨迹数据为字符串方式，通过压缩算法根据压缩前轨迹数据的类型压缩成相应的格式，省略字符串存储方式的分割符。 另外，所述压缩前轨迹数据为经玮度信息，压缩为数字方式。比如经玮度信息65348879，如果按照字符串存储占用8个字节(GBK方式为16个字节)，修改为数字方式存储只占用4个字节，节省了 50%空间，这种存储方式还省略的字符存储方式的分割符，因此总体算下来整体节省空间60%在左右。 另外，该方法把单台物理机器硬盘存储扩展为至少两台物理机器硬盘存储，一主机一备机，如图3所示，默认情况下轨迹读写服务在主机上进行，通过drbd(drbd是一种块设备，可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中)服务把数据同步到备机，当主机发生故障时，修改局域网dns服务使其指向备机，由备机继续提供轨迹读写服务，主机修复故障后，再使其变为备机。 当然，在此之前还需要将车辆的唯一标识部分加入该车其轨迹数据所在物理机器标识，通过车辆唯一标识定位所在物理机器的流程如图2所示，其包括以下步骤: (I)获取车辆唯一标识； (2)截取该标识的前10位字符串； (3)根据步骤(2)的字符串查询局域网dns ; (4)路由到存储该车轨迹物理存储单元。 以上所述，仅是本专利技术的较佳实施例，并非对本专利技术作任何形式上的限制，凡是依据本专利技术的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本专利技术技术方案的保护范围。【权利要求】1.，其特征在于:该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天O点把前一天的这些轨迹文件进行合并压缩处理。2.根据权利要求1所述的海量车机轨迹数据的存储方法，其特征在于:该方法把这些轨迹文件压缩为META文件和DATA文件。3.根据权利要求2所述的海量车机轨迹数据的存储方法，其特征在于:所述META文件中包含每个车机在DATA文件的起始位置、占用字节数量、当日的车机总数、每个车机的轨迹数量、报警总数、以及全部轨迹数量的总和。4.根据权利要求3所述的海量车机轨迹数据的存储方法，其特征在于:根据业务需求创建索引，索引包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。5.根据权利要求4所述的海量车机轨迹数据的存储方法，其特征在于:所述DATA文件存储压缩后的轨迹数据，压缩前轨迹数据为字符串方式，通过压缩算法根据压缩前轨迹数据的类型压缩成相应的格式，省略字符串存储方式的分割符。6.根据权利要求5所述的海量车机轨迹数据的存储方法，其特征在于:所述压缩前轨迹数据为经玮度信息，压缩为数字方式。7.根据权利要求1所述的海量车机轨迹数据的存储方法，其特征在于:该方法把单台物理机器硬盘存储扩展为至少两台物理机器硬盘存储，一主机一备机，默认情况下轨迹读写服务在主机上进行，通过drbd服务把数据同步到备机，当主机发生故障时，修改局域网dns服务使其指向备机，由备机继续提供轨迹读写服务，主机修复故障后，再使其变为备机。【文档编号】G06F17/30GK104516955SQ201410779344【公开日】2015年4月15日 申请日期:2014年12月16日 优先权日:2014年12月16日 【专利技术者】韩希发, 杨健, 邓伟 申请人:北京中交兴路车联网科技有限公司本文档来自技高网...

【技术保护点】
一种海量车机轨迹数据的存储方法，其特征在于：该存储方法以文件系统为存储介质，在文件系统上按年月日三个级别划分为三个层次的目录结构，每个车机每天产生一个轨迹文件，存放到相应的目录下；在每天0点把前一天的这些轨迹文件进行合并压缩处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：韩希发，杨健，邓伟，
申请(专利权)人：北京中交兴路车联网科技有限公司，
类型：发明
国别省市：北京;11