一种高效数据存储查询的方法及系统技术方案

本发明专利技术公开一种高效数据存储查询方法，实现移动互联网用户数据记录高速写入、大容量存储及快速提取，并依据上述方法发明专利技术一种高效数据存储查询系统。

【技术实现步骤摘要】

本专利技术涉及一种实现移动互联网用户数据业务记录存储的方法及系统，具体涉及
的是索引转义、行列ニ维存储及用户数据业务记录存储所涉及的系统和方法。
技术介绍
随着移动互联网和智能终端的快速普及，使用移动互联网数据业务的用户越来越多，移动互联网检测需要保存用户上网记录越来越多。传统关系型数据库成本高，写入速度慢，查询时间长，难以满足日益庞大的数据存储
技术实现思路
本专利技术的主要目的是提供一种高效数据存储查询的方法，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。本专利技术的主要目的是提供一种高效数据存储查询的系统，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。为了实现上述目的，本专利技术公开ー种高效数据存储查询方法，该方法将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列ニ维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP等信息自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。为了实现上述目的，本专利技术公开ー种高效数据存储查询系统，该系统将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列ニ维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。本专利技术实施例的高效数据存储查询系统能够在保证数据存储质量的同时，降低数据存储成本，提高数据存储和查询效率。支持每秒5万条500字节长度的记录插入，30亿条记录查询时间小于10秒。能有效解决当前海量数据存储成本高、容量小、存取速率低问题。附图说明 此处所说明的附图用来提供对本专利技术的进ー步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中 图I高效数据存储查询系统实现原理图具体实施例方式 为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术的具体实施例进行详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。高效数据存储查询系统按照行列ニ维存储方式保存数据。系统根据Client IP将数据分为块和行，Client IP前24位相同的数据都写入到相同的行块中，Client IP后8位分行，分行的原则是保证ー个用户的数据都保存一个行块中。然后在行块中划分列，每一列就是ー个数据库表空间的ー个字段，由于ー个用户存在多条数据记录，很多信息是相同的，包括手机号码、Client IP、URL等，所以按列存储可以对数据做压缩存储，可以大大减小硬 盘I/O及存储容量。高效数据存储查询系统由图一所示，本系统输入数据来自移动互联网用户使用数据业务记录，系统输入信息包含用户号码、Client IP、URL等数据信息。系统接收到写入数据，按照上述所讲的行列ニ维存储统一分配存储空间，保证同一用户的信息存放在相邻位置，同时将用户号码、Client IP等信息转义成索引存储在系统中，便于以后的数据精确查询。当用户查询记录时，系统都交予查询输出功能模块处理。该模块根据用户提交的查询条件到索引表中查询，目前支持的索引包括用户号码、Client IP、用户位置等，系统在设计时充分考虑过现场实际应用中的各种可能的索引条件，因此能满足现场的大部分应用。本系统的索引都是数字或数字组合方式，可根据索引快速定位到对应的信息记录中并取出。本系统适用于海量移动互联网的用户数据存取，可以很好的解决传统关系型数据库成本高，写入速度慢，查询时间长问题。应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本专利技术专利保护范围的限制，本专利技术的专利保护范围应以所附。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效数据存储查询的实现方法，其特征在于将移动互联网用户数据记录的用户手< >机号码、Client IP等用户关键信息快速存储，存储时将每个用户的多条记录存放在一起，将手机号码、Client IP转义成数字或数字组合作为索引，实现存储数据的快速查询定位，所有数据...

【专利技术属性】
技术研发人员：祝守宇，
申请(专利权)人：北京西塔网络科技股份有限公司，
类型：发明
国别省市：