一种数据的获取方法和装置制造方法及图纸

本发明专利技术实施例提供了一种数据的获取方法及装置，通过接收用户终端发送的数据获取请求，并从至少一个索引服务器中，确定与数据获取请求对应的目标索引服务器，接着从目标索引服务器中，确定针对数据获取请求的第一标识，以便从至少一个存储服务器中，选这与第一标识对应的目标存储服务器，并从该目标存储服务器中获取目标数据，从而通过分布式的服务器设置方式，每个服务器之间彼此独立，提高了数据处理的灵活性，有利于用户对数据库中存储的数据进行查询或离线处理，可以适用于多种不同的数据处理场景，拓宽数据处理的通用性。

【技术实现步骤摘要】
一种数据的获取方法和装置
本专利技术涉及数据处理
，特别是涉及一种数据的获取方法和一种数据的获取装置。
技术介绍
随着业务逻辑越来越复杂，数据维度越来越多，传统的关系型数据库开始出现一些无法解决的问题，包括数据建模中的缺陷，以及大数据量和多服务器之上进行水平伸缩的限制，例如企业用户、数据系统和客户端产生的数据量呈指数增长，数据量的不断增加，使得传统关系型数据库无法满足现阶段大数据的存储和处理。另外，社交网络、智能推荐、知识图谱等场景大规模兴起，关系型数据的治理需求紧迫，在应对这类问题时，传统数据库的性能容易出现较多的不适性，影响数据处理。
技术实现思路
本专利技术实施例是提供一种数据的获取方法，以解决现有技术中无法满足处理复杂关系数据的存储和处理的问题。相应的，本专利技术实施例还提供了一种数据的获取装置，用以保证上述方法的实现及应用。为了解决上述问题，本专利技术实施例公开了一种数据的获取方法，包括：接收数据获取请求；确定与所述数据获取请求对应的目标索引服务器；从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识；从与所述第一标识匹配的目标存储服务器中，获取针对所述数据获取请求的目标数据。可选地，所述数据获取请求包括目标数据标识，所述确定与所述数据获取请求对应的目标索引服务器，包括：从预设的索引映射关系中，获取与所述目标数据标识匹配的第二标识，所述索引映射关系为数据标识与索引服务器之间的对应关系；从预设的至少一个索引服务器中，选定与所述第二标识匹配的目标索引服务器。可选地，所述从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识，包括：从所述目标索引服务器中，获取与所述目标数据标识对应的目标存储映射关系；采用所述目标存储映射关系，确定与所述目标数据标识对应的第一标识。可选地，还包括：将所述目标数据发送至用户终端，所述用户终端用于对所述目标数据进行数据处理。可选地，还包括：获取原始数据，以及所述原始数据的原始数据标识；确定用于存储所述原始数据的至少一个原始存储服务器；采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据，建立针对所述原始数据的存储映射关系；确定用于存储所述存储映射关系的至少一个原始索引服务器；采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识，建立针对所述原始数据的索引映射关系。本专利技术实施例还公开了一种数据的获取装置，包括：请求接收模块，用于接收数据获取请求；索引服务器确定模块，用于确定与所述数据获取请求对应的目标索引服务器；第一标识获取模块，用于从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识；目标数据获取模块，用于从与所述第一标识匹配的目标存储服务器中，获取针对所述数据获取请求的目标数据。可选地，所述数据获取请求包括目标数据标识，所述索引服务器确定模块包括：第二标识获取子模块，用于从预设的索引映射关系中，获取与所述目标数据标识匹配的第二标识，所述索引映射关系为数据标识与索引服务器之间的对应关系；索引服务器选定子模块，用于从预设的至少一个索引服务器中，选定与所述第二标识匹配的目标索引服务器。可选地，所述第一标识获取模块包括：存储映射关系获取子模块，用于从所述目标索引服务器中，获取与所述目标数据标识对应的目标存储映射关系；第一标识获取子模块，用于采用所述目标存储映射关系，确定与所述目标数据标识对应的第一标识。可选地，还包括：数据发送模块，用于将所述目标数据发送至用户终端，所述用户终端用于对所述目标数据进行数据处理。可选地，还包括：原始数据获取模块，用于获取原始数据，以及所述原始数据的原始数据标识；第一服务器确定子模块，用于确定用于存储所述原始数据的至少一个原始存储服务器；存储映射关系生成模块，用于采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据，建立针对所述原始数据的存储映射关系；第二服务器确定子模块，用于确定用于存储所述存储映射关系的至少一个原始索引服务器；索引映射关系生成模块，用于采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识，建立针对所述原始数据的索引映射关系。本专利技术实施例还公开了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如上所述的一个或多个的方法。本专利技术实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如上所述的一个或多个的方法。本专利技术实施例包括以下优点：在本专利技术实施例中，通过接收用户终端发送的数据获取请求，并从至少一个索引服务器中，确定与数据获取请求对应的目标索引服务器，接着从目标索引服务器中，确定针对数据获取请求的第一标识，以便从至少一个存储服务器中，选这与第一标识对应的目标存储服务器，并从该目标存储服务器中获取目标数据，从而通过分布式的服务器设置方式，每个服务器之间彼此独立，提高了数据处理的灵活性，有利于用户对数据库中存储的数据进行查询或离线处理，可以适用于多种不同的数据处理场景，拓宽数据处理的通用性。附图说明图1是本专利技术的一种数据的获取方法实施例的步骤流程图；图2是本专利技术实施例中数据处理架构示意图；图3是本专利技术的一种数据的获取方法实施例的步骤流程图；图4是本专利技术实施例中数据存储架构的示意图；图5是本专利技术实施例中索引构建架构的示意图；图6是本专利技术实施例中JanusGraph配置的示意图；图7是本专利技术实施例中数据架构的示意图；图8是本专利技术的一种数据的获取装置实施例的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。数据处理服务器可以为一种分布式、开源、可大规模扩展的图形数据库，可以支持图数据处理，用于存储和查询，包含分布在多个服务器集群中的数千亿个节点和边的图形数据，例如，数据处理服务器可以为JanusGraph。存储服务器可以为NoSQL数据库，其可以不遵循关系数据库模型，也可以不使用SQL作为查询语言，还可以不需要固定的表格存储模式，具备水平可扩展的特征，例如Hbase等。索引服务器可以为开源分布式搜索引擎，支持极短的时间内存储、搜索和分析大量的数据，例如ElasticSearch等。图数据结构即一个图为多个顶点的集合，这些顶点通过一系列边连接。例如，一个图可以表示一个社交网络，每个人就是一个顶点，互相认识的人之间通过边联系。而在数据处理的过程中，对于同一类数据，可以建立相关的索引关系，并存储在相同或不同的服务器中，从而建立图数据结构本文档来自技高网...

【技术保护点】
1.一种数据的获取方法，其特征在于，包括：/n接收数据获取请求；/n确定与所述数据获取请求对应的目标索引服务器；/n从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识；/n从与所述第一标识匹配的目标存储服务器中，获取针对所述数据获取请求的目标数据。/n

【技术特征摘要】
1.一种数据的获取方法，其特征在于，包括：
接收数据获取请求；
确定与所述数据获取请求对应的目标索引服务器；
从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识；
从与所述第一标识匹配的目标存储服务器中，获取针对所述数据获取请求的目标数据。


2.根据权利要求1所述的方法，其特征在于，所述数据获取请求包括目标数据标识，所述确定与所述数据获取请求对应的目标索引服务器，包括：
从预设的索引映射关系中，获取与所述目标数据标识匹配的第二标识，所述索引映射关系为数据标识与索引服务器之间的对应关系；
从预设的至少一个索引服务器中，选定与所述第二标识匹配的目标索引服务器。


3.根据权利要求2所述的方法，其特征在于，所述从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识，包括：
从所述目标索引服务器中，获取与所述目标数据标识对应的目标存储映射关系；
采用所述目标存储映射关系，确定与所述目标数据标识对应的第一标识。


4.根据权利要求1所述的方法，其特征在于，还包括：
将所述目标数据发送至用户终端，所述用户终端用于对所述目标数据进行数据处理。


5.根据权利要求1所述的方法，其特征在于，还包括：
获取原始数据，以及所述原始数据的原始数据标识；
确定用于存储所述原始数据的至少一个原始存储服务器；
采用所述至少一个原始存储服务器的存储服务器标识与所述原始数据，建立针对所述原始数据的存储映射关系；
确定用于存储所述存储映射关系的至少一个原始索引服务器；
采用所述至少一个原始索引服务器的索引服务器标识与所述原始数据标识，建立针对所述原始数据的索引映射关系。


6.一种数据的获取装置，其特征在于，包括：
请求接收模块，用于接收数据获取请求；
索引服务器确定模块，用于确定与所述数据获取请求对应的目标索引服务器；
第一标识获取模块，用于从所述目标索引服务器中，获取与所述数据获取请求匹配的第一标识；
目标数据获取模块，用于从与所述第一标识匹配的...

【专利技术属性】
技术研发人员：司翔，史忠伟，
申请(专利权)人：五八有限公司，
类型：发明
国别省市：天津;12