一种卡口车辆通行数据的分布式存储方法及系统技术方案

本发明专利技术涉及一种卡口车辆通行数据的分布式存储方法，包括：配置计算节点和数据节点服务器，搭建并行计算集群环境；按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；接入待存储的各个卡口的过车信息数据源；用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。本发明专利技术还公开了一种卡口车辆通行数据的分布式存储系统。本发明专利技术不仅满足了日常业务中卡口系统对海量过车信息数据存储的需求，而且通过对过车信息的数据结构的索引数据结构设计实现了快速查询的功能，大大提高了查询速率，增强了用户体验。

【技术实现步骤摘要】

本专利技术涉及卡口过车信息数据存储
，尤其是一种卡口车辆通行数据的分布式存储方法及系统。
技术介绍
随着平安城市项目的推进，卡口系统需要接入的数据源越来越多，当前，平安合肥每日新增卡口数据约40万条，已有历史数据约4600万条，高效的存储和读取大数据量的数据成为传统数据库存储结构的瓶颈。现有的传统数据库存储实现的卡口系统虽然可以记录一定量的过车信息，但当记录的数据流达到一定的数量级，就无法保证写入效率和查询效率，严重影响了响应的实时性。另外，传统数据库对大数据量大数据存储的管理存在同样类似的瓶颈。 
技术实现思路
本专利技术的首要目的在于提供一种能够满足日常业务中卡口系统对海量过车信息数据存储的需求，大大提高查询速率的卡口车辆通行数据的分布式存储方法。为实现上述目的，本专利技术采用了以下技术方案：一种卡口车辆通行数据的分布式存储方法，该方法包括下列顺序的步骤：（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； （2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两本文档来自技高网...

【技术保护点】
一种卡口车辆通行数据的分布式存储方法，其特征在于，该方法包括下列顺序的步骤：（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； （2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；（4）接入待存储的各个卡口的过车信息数据源；（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。

【技术特征摘要】
1.一种卡口车辆通行数据的分布式存储方法，其特征在于，该方法包括下列顺序的步骤：
（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； 
（2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；
（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；
（4）接入待存储的各个卡口的过车信息数据源；
（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。
2.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：设定定时任务，自动统计前一天各个卡口的过车数据总量。
3.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号。
4.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号。
5.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：用户输入一个车牌号的其中任意一段连续字符，便可通过分布式索引文件的查询返回相似度最高的前20个车牌号；返回车牌号之后，系统再根据相似度最高的车牌号列表进行全字段的匹配查询；车牌...

【专利技术属性】
技术研发人员：王佐成，刘春珲，范联伟，张跃，周春寅，王汉林，余保华，
申请(专利权)人：安徽四创电子股份有限公司，
类型：发明
国别省市：安徽;34