一种数据管理方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术提供一种数据管理方法、装置、服务器及存储介质，通过接收数据查询请求，数据查询请求携带数据查询条件；从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至分布式存储系统中的；从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。基于本发明专利技术，能够基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响应，不需对数据库自身进行改进，降低了使用门槛。

A data management method, device, server and storage medium

【技术实现步骤摘要】
一种数据管理方法、装置、服务器及存储介质
本专利技术涉及大数据管理
，更具体地说，涉及一种数据管理方法、装置、服务器及存储介质。
技术介绍
目前大数据中心接入的数据量越来越多、应用越来越广泛。在一些数据应用场景中，既要求能够实现对海量数据的存储，又要求能够实现对数据查询的快速响应。Hadoop虽然能实现对海量数据的存储，但是对数据查询响应较慢，尤其是小数据量查询响应较慢。关系型数据库虽然能够基于SQL实现对数据查询的快速响应，但是其数据存储能力有限。Nosql虽然能实现海量数据的存储，但是却需要进行一定的改进才能实现SQL查询以提高数据查询响应速度，使用门槛较高。
技术实现思路
有鉴于此，本申请提供一种数据管理方法、装置、服务器及存储介质，以在降低使用门槛的基础上，实现对海量数据的存储和数据查询的快速响应。技术方案如下：本专利技术第一方面公开一种数据管理方法，包括：接收数据查询请求，所述数据查询请求携带数据查询条件；从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：>获取所述数据查询条件中的表名和账期；对所述表名和账期进行哈希计算生成第二信息；从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。可选的，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：获取所述数据查询条件中的表名；对所述表名进行哈希计算生成第二信息；从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；其中，所述计算平台用于将原始数据全量划分成各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。可选的，所述接收数据查询请求，包括：在缓存中未存储有数据查询请求的历史数据查询结果的情况下，接收依据数据访问接口规范通过数据访问接口发送的所述数据查询请求。可选的，还包括：在缓存中存储有所述数据查询请求的历史数据查询结果的情况下，将所述历史数据查询结果作为数据查询结果。可选的，所述从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果，包括：将各个所述目标SQLite数据文件加载至内存；对加载至内存中的各个所述目标SQLite数据文件进行聚合计算得到与所述数据查询条件匹配的信息；将所述信息作为所述数据查询请求的数据查询结果。可选的，所述分布式存储系统为基于Hadoop平台的HBase数据库。本专利技术第二方面公开一种数据管理装置，包括：接收单元，用于接收数据查询请求，所述数据查询请求携带数据查询条件；第一获取单元，用于从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；第一查询单元，用于从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。本专利技术第三方面公开一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本专利技术第一方面任意一项公开的数据管理方法。本专利技术第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本专利技术第一方面任意一项公开的数据管理方法。本专利技术提供一种数据管理方法、装置、服务器及存储介质，接收数据查询请求，并从分布式存储系统存储的SQLite数据文件中获取与数据查询条件相关的各个目标SQLite数据文件，进而从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果。本专利技术提供的技术方法，能够基于分布式存储系统实现海量数据存储，且通过查询分布式存储系统中的SQLite数据文件可以实现SQL的规范标准查询以及提高数据查询的快速响，不需对数据库自身进行改进，降低了使用门槛。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种数据管理系统的结构示意图；图2为本专利技术实施例提供的一种数据管理方法示意图；图3为本专利技术实施例提供的一种数据管理方法的流程示意图；图4为本专利技术实施例提供的一种将SQLite数据文件存储至分布式存储系统的方法的流程示意图；图5为本专利技术实施例提供的一种从各个目标SQLite数据文件中查询与数据查询条件匹配的信息作为数据查询结果的方法的流程示意图；图6为本专利技术实施例提供的另一种数据管理方法的示例图；图7为本专利技术实施例提供的一种数据管理装置的结构示意图；图8为本专利技术实施例提供的一种服务器的硬件框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，包括：/n接收数据查询请求，所述数据查询请求携带数据查询条件；/n从分布式数据存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；/n从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：
接收数据查询请求，所述数据查询请求携带数据查询条件；
从分布式数据存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，所述分布式存储系统中的SQLite数据文件是由计算平台将原始数据转换成SQLite数据文件后存储至所述分布式存储系统中的；
从各个所述目标SQLite数据文件中查询与所述数据查询条件匹配的信息作为数据查询结果。


2.根据权利要求1所述的方法，其特征在于，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：
获取所述数据查询条件中的表名和账期；
对所述表名和账期进行哈希计算生成第二信息；
从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；
其中，所述计算平台用于将原始数据划分成账期不同的各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名和该SQLite数据文件对应的账期进行哈希计算生成该SQLite数据文件的第一信息，并根据该SQLite数据文件的第一信息中的目标信息在分布式存储系统中存储该SQLite数据文件。


3.根据权利要求1所述的方法，其特征在于，所述从分布式存储系统存储的SQLite数据文件中获取与所述数据查询条件相关的各个目标SQLite数据文件，包括：
获取所述数据查询条件中的表名；
对所述表名进行哈希计算生成第二信息；
从分布式存储系统存储的SQLite数据文件中查询携带的第一信息与所述第二信息相同的SQLite数据文件，将查询到的SQLite数据文件确定为目标SQLite数据文件；
其中，所述计算平台用于将原始数据全量划分成各个数据文件，分别将每个所述数据文件转换成SQLite数据文件，且针对每个所述SQLite数据文件，利用该SQLite数据文件的表名进行哈希计算生成该SQLite数据文件的第...

【专利技术属性】
技术研发人员：林敏，叶必胜，周小敏，王全胜，
申请(专利权)人：湖南亚信软件有限公司，
类型：发明
国别省市：湖南;43