一种基于大数据的数据请求的方法及其系统技术方案

本发明专利技术涉及数据请求技术领域，具体涉及一种基于大数据的数据请求的方法及其系统，应用于数据处理端，数据处理端中建立有多个预处理部，每个预处理部用于按每个预处理部预设的至少一种数据请求方式去请求数据，方法包括：获得数据请求端发送的目标资源数据；确定出与目标资源数据对应的目标数据提供端，确定与目标资源数据对应的第一服务集群的I P地址，及记录第一服务集群的I P地址与目标资源数据之间的映射关系；接收目标资源数据对应的第一服务集群的I P地址，同时将其存储在预处理部中，预处理部与目标资源数据对应的第一服务集群的I P地址之间呈现N叉树关系。本发明专利技术便于用户数据请求，从而提高了用户使用频次。从而提高了用户使用频次。从而提高了用户使用频次。

【技术实现步骤摘要】
一种基于大数据的数据请求的方法及其系统


[0001]本专利技术涉及数据请求
，尤其涉及一种基于大数据的数据请求的方法及其系统。

技术介绍

[0002]大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。
[0003]如申请号为CN202011370648.X的专利，一种数据请求处理方法、装置、服务器、系统及存储介质，所述方法包括：获取请求端发起的数据请求；将所述数据请求发送给数据库服务集群中的第一类数据库节点，以由所述第一类数据库节点识别所述数据请求的类别并执行识别出的第一类数据请求；将所述第一类数据库节点识别出的第二类数据请求发送给数据库服务集群中的第二类数据库节点；本实施例实现了第一类数据请求和第二类数据请求的物理隔离，执行效率较快。但是申请人发现目前在大数据运用中，通常是由一列数据或者一个图表数据对应一个数据请求，而当数据图表数据较多时，使得前端数据与后端数据交互过于频繁，并占用了大量的网络资源，此时用户就刷新页面，提高了数据请求失败的风险，从而降低了用户使用性能。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提出一种基于大数据的数据请求的方法及其系统，以解决占用了大量的网络资源、数据请求失败的风险的问题。
[0005]基于上述目的，本专利技术提供了一种基于大数据的数据请求的方法，应用于数据处理端，所述数据处理端中建立有多个预处理部，每个预处理部用于按每个预处理部预设的至少一种数据请求方式去请求数据，所述方法包括：
[0006]获得数据请求端发送的目标资源数据；
[0007]确定出与所述目标资源数据对应的目标数据提供端，确定与所述目标资源数据对应的第一服务集群的IP地址，及记录所述第一服务集群的IP地址与所述目标资源数据之间的映射关系；
[0008]接收所述目标资源数据对应的第一服务集群的IP地址，同时将其存储在预处理部中，预处理部与所述目标资源数据对应的第一服务集群的IP地址之间呈现N叉树关系。
[0009]可选的，还包括：
[0010]当确定所述第一服务集群存储的目标资源数据移动至第二服务集群时，将所述第一服务集群的IP地址与所述目标资源数据之间的映射关系修改为所述第二服务集群的IP地址与所述目标资源数据之间的映射关系。
[0011]可选的，接收客户端发送与所述目标资源数据对应的所述第二服务集群的IP地址。
[0012]可选的，确定所述第一服务集群存储的目标资源数据移动至第二服务集群后，
[0013]接收网络设备发送的数据移动指示，所述数据移动指示中包括所述目标资源数
据、以及所述第二服务集群的IP地址。
[0014]可选的，所述网络设备为所述第一服务集群中的管理节点。
[0015]可选的，在通过所述预处理部向所述目标数据提供端请求数据之后，所述方法还包括：
[0016]获取所述目标数据提供端基于响应数据获取请求而返回的所需数据及数据结构地址；
[0017]将所述所需数据和所述数据结构地址发送给所述数据请求端。
[0018]可选的，在获得数据请求端发送的目标资源数据之前，还包括：
[0019]获取所述数据请求端发送的标识获取请求，其中，所述标识获取请求中携带有目标资源数据对应的标注；
[0020]从多个数据提供端的资源数据标识中确定出与所述标注对应的目标资源数据标识，其中，所述目标资源数据标识对应的数据提供端为所述目标数据提供端；
[0021]将所述目标资源数据标识发送到所述数据请求端，使得所述数据请求端基于所述目标资源数据标识生成所述目标资源数据。
[0022]可选的，基于上述实施方式，一种基于大数据的数据请求的方法的系统，
[0023]处理模块，用于在监测到目标资源数据存储到第一服务集群中时，记录所述第一服务集群的IP地址与所述目标资源数据之间的映射关系,及记录预处理部与所述目标资源数据对应的第一服务集群的IP地址之间呈现N叉树关系；
[0024]发送模块，用于在接收到客户端查询所述目标资源数据的查询请求后，基于记录的所述N叉树关系关系及映射关系，确定与所述目标资源数据对应的第一服务集群的IP地址；将所述第一服务集群的IP地址发送给所述客户端。
[0025]本专利技术的有益效果：本专利技术提供的一种基于大数据的数据请求的方法及其系统，便于在大数据运用中，当数据图表数据较多时，是由一列数据或者一个图表数据对应一个数据请求，这些数据可以对应到预处理部中，通过预处理部与所述目标资源数据对应的第一服务集群的IP地址之间呈现的N叉树关系得知第一服务集群的IP地址，并不会占用了大量的网络资源，便于用户数据请求，从而提高了用户使用频次。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术实施例的系统示意图；
[0028]图2为本专利技术实施例的数据请求装置的系统的结构示意图；
[0029]图3为本专利技术实施例的数据请求装置的结构示意图；
[0030]图4为本专利技术实施例的第一服务集群和第二服务集群的结构示意图。
具体实施方式
[0031]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照
附图，对本专利技术进一步详细说明。
[0032]需要说明的是，除非另外定义，本专利技术实施例使用的技术术语或者科学术语应当为本专利技术所属领域内具有一般技能的人士所理解的通常意义。本专利技术中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0033]如图1、图2、图3和图4所示，一种基于大数据的数据请求的方法，应用于数据处理端，所述数据处理端中建立有多个预处理部，每个预处理部用于按每个预处理部预设的至少一种数据请求方式去请求数据，所述方法包括：
[0034]获得数据请求端发送的目标资源数据；
[0035]确定出与所述目标资源数据对应的目标数据提供端，确定与所述目标资源数据对应的第一服务集群的IP地址，及记录所述第一服务集群的IP地址与所述目标资源数据之间的映射关系；
[0036]接收所述目标资源数据对应的第一服务集群的IP地址，同时将其存储在预处理部中，预处理部与所述目标资源数据对应的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据请求的方法，应用于数据处理端，其特征在于，所述数据处理端中建立有多个预处理部，每个预处理部用于按每个预处理部预设的至少一种数据请求方式去请求数据，所述方法包括：获得数据请求端发送的目标资源数据；确定出与所述目标资源数据对应的目标数据提供端，确定与所述目标资源数据对应的第一服务集群的IP地址，及记录所述第一服务集群的IP地址与所述目标资源数据之间的映射关系；接收所述目标资源数据对应的第一服务集群的IP地址，同时将其存储在预处理部中，预处理部与所述目标资源数据对应的第一服务集群的IP地址之间呈现N叉树关系。2.根据权利要求1所述的一种基于大数据的数据请求的方法，其特征在于，还包括：当确定所述第一服务集群存储的目标资源数据移动至第二服务集群时，将所述第一服务集群的IP地址与所述目标资源数据之间的映射关系修改为所述第二服务集群的IP地址与所述目标资源数据之间的映射关系。3.根据权利要求2所述的一种基于大数据的数据请求的方法，其特征在于，接收客户端发送与所述目标资源数据对应的所述第二服务集群的IP地址。4.根据权利要求3所述的一种基于大数据的数据请求的方法，其特征在于，确定所述第一服务集群存储的目标资源数据移动至第二服务集群后，接收网络设备发送的数据移动指示，所述数据移动指示中包括所述目标资源数据、以及所述第二服务集群的IP地址。5.根据权利要求4所述的一种基于大数据的数据请求的方法，其特征在于，所述网络设备为所...

【专利技术属性】
技术研发人员：王建军，
申请(专利权)人：安徽合思网络科技股份有限公司，
类型：发明
国别省市：