本发明专利技术提供一种基于时序数据库的位置信息存储和查询方法，属于通信技术领域，本发明专利技术针对海量位置数据，预先在数据库中根据IMSI灵活建表，对切分后的数据采用GZIP算法进行压缩，再将压缩后的二进制数据流按照分析维度合并存储到同一底层数据文件中，在底层文件存储路径的目录上体现数据切分维度。针对海量数据查询进行优化，采用超级表对位置数据进行聚合，为多个用户提供统一的多表数据增删改查入口，为业务分析时提供高效的数据查询分析能力。
【技术实现步骤摘要】
本专利技术涉及通信，尤其涉及一种基于时序数据库的位置信息存储和查询方法。
技术介绍
1、用户的位置数据通常由lbs(location-based services)系统定期采集，获取用户的地理位置坐标并与其他信息集成以向用户提供所需的与位置相关的增值业务。
2、但原始的位置数据存在基数大，频率高等特点，并且，随着互联网以及通信技术的发展，网络中产品的用户数据已经迎来了爆发式的增长，传统的数据库已经无法处理这种万亿级的海量数据。同时，对数据价值挖掘的需求已不仅仅停留在简单的计算和绘制图表层面，而需要更精细、复杂的计算分析。在海量数据前提下，传统数据库将面临以下问题：
3、·存储成本大：对于数据压缩不佳，需要占用大量机器资源
4、·维护成本高：需要人工进行分库分表，维护成本高
5、·写入吞吐低：单机写入吞吐低，难以满足千万级数据写入
6、·查询性能差：单表数据量上限低，当达到上限后查询效率低，索引利用度不高
7、·数据延迟高：从数据的产品、分析到入库耗时长，导致数据延迟高
8、因此针对海量数据，需要优化数据存储结构，对时序型位置数据按时间维度进行分割，及压缩存储；在读取时针对写入、存储、查询等流程进行优化；从而实现以一种高性能的方式记录、查询和分析。
技术实现思路
1、为了解决以上技术问题，本专利技术提供了一种基于时序数据库的位置信息存储和查询方法。
2、本专利技术的技术方案是：
>3、一种基于时序数据库的位置信息存储和查询方法，针对海量位置数据，预先在数据库中根据imsi灵活建表，对切分后的数据采用gzip算法进行压缩，再将压缩后的二进制数据流按照分析维度合并存储到同一底层数据文件中，在底层文件存储路径的目录上体现数据切分维度。针对海量数据查询进行优化，采用超级表对位置数据进行聚合，为多个用户提供统一的多表数据增删改查入口，为业务分析时提供高效的数据查询分析能力。4、进一步的，
5、根据不同的数据类型，划分两类数据库，一个是原始位置数据库：用于存储解析后的原始位置数据，采用不同的表分别存储位置数据；另一个是解析后位置数据库：用于存储经过计算后的位置经纬度信息；
6、采用超级表对所有位置数据表进行位置数据的聚合，各个位置数据表表结构一致。
7、再进一步的，
8、每种网络采用单独的表结构进行存储；
9、对于解析后的位置数据，基于时序数据库里面，根据用户进行单独建表；
10、构建统一的超级表，作为位置数据的聚合表，提供统一的查询出口。
11、再进一步的，
12、设置文件存储及压缩技术，用于位置数据存储压缩。
13、在时序数据库中，所有的逻辑单元都叫做node，node又根据用途分为三类：
14、物理节点(pnode)、数据节点(dnode)和虚拟节点(vnode)；
15、数据进行分片时将dnode中的vnode进行分散即可，而每一个vnode中会有数个device的数据表，为了对device中的数据进行连续有序的存储，它会针对一个device进行单vnode的强映射，而不会拆成数个vnode。
16、利用vgroup的机制保证数据的副本高可靠。
17、再进一步的，
18、采用列式存储：当时序数据库采用的是列式存储，将每一列的数据放到一起，每一列的数据数据类型是一致的；
19、采用压缩机制：数据写入时，采用wal机制+block&cach机制，数据写入数据库前，会将数据写入到wal进行数据保存，wal是将数据写入到硬盘中。而block&cash会在内存中读取wal中写入的数据；
20、采用数据分片：数据落盘到每个数据节点时，将每个一个数据节点根据其计算和存储资源切分为vnode；这些vnode的管理是自动完成的，每个vnode数和cpu的核数保持一致。
21、再进一步的，
22、在时序数据库中，一个用户的位置数据在一个块里是连续存放的，块的大小可配置，采用block&cash方式，可快速定位要查找的数据所处的块。
23、时序数据库在写入数据时采用[预写日志算法]，以保证写入数据的安全性和完整性。
24、客户端发来的数据在经过验证以后，首先会写入预写日志中；写入预写日志后，数据会被写到对应的vnode的缓存中；随后，服务端会发送确认信息给客户端表示写入成功；
25、时间驱动的落盘：会定时将vnode缓存中的数据写入到硬盘上；落盘间隔可在配置文件中配置；
26、数据驱动的落盘：当vnode中缓存的数据达到设定限值时，会拉起落盘线程将缓存中的数据清空；数据驱动的落盘会刷新定时落盘的时间。
27、本专利技术的有益效果是
28、本专利技术能够有效地存储和查询大量的时序位置信息数据。基于时序数据库的存储方式和空间索引技术，位置信息的查询效率得到提高，且能够灵活地支持各种查询需求。
本文档来自技高网...
【技术保护点】
1.一种基于时序数据库的位置信息存储和查询方法，其特征在于，
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求5所述的方法，其特征在于，
8.根据权利要求7所述的方法，其特征在于，
9.根据权利要求7所述的方法，其特征在于，
10.根据权利要求9所述的方法，其特征在于，
【技术特征摘要】
1.一种基于时序数据库的位置信息存储和查询方法，其特征在于，
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：刘青爽，
申请(专利权)人：浪潮通信信息系统天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。