本公开涉及一种数据调取方法及装置、电子设备及存储介质，所述方法应用于数据调取平台，所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点，所述方法包括：第一节点响应于接收到至少一个第二节点发送的数据调取请求，提取每个所述第二节点对应的数据调取请求中的IP地址；第一节点将本地的栅格数据划分为多个数据块；第一节点根据第二节点对应的IP地址，确定与第二节点对应的数据调取权限；第一节点按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，通过将栅格数据划分的数据块与权限对应，能够确保每一个第二节点快速获取与自身权限相对应的数据，解决了数据的同步不及时和数据安全问题。和数据安全问题。和数据安全问题。
【技术实现步骤摘要】
数据调取方法及装置、电子设备及存储介质
[0001]本公开涉及大数据
，尤其涉及一种数据调取方法及装置、电子设备及存储介质。
技术介绍
[0002]在对大数据进行管控过程中，数据量大时，可识别的现象结构损失信息多，输出不够精准，难以建立网络连接关系，难以做到统一管控与实时掌握，导致数据同步不及时、信息交互过程不安全等问题。
技术实现思路
[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据调取方法及装置、电子设备及存储介质。
[0004]第一方面，本公开的实施例提供了一种数据调取方法，应用于数据调取平台，其中，所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点，所述方法包括：第一节点响应于接收到至少一个第二节点发送的数据调取请求，提取每个所述第二节点对应的数据调取请求中的IP地址，其中，数据调取请求中的IP地址为对第二节点预先分配的IP地址；第一节点将本地的栅格数据划分为多个数据块，其中，所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到；第一节点基于预设的IP地址与数据调取权限之间的对应关系，根据第二节点对应的IP地址，确定与第二节点对应的数据调取权限；第一节点按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，并将目标数据块发送至与每个数据调取请求对应的第二节点。
[0005]在一种可能的实施方式中，所述第二节点的数量超过1个，所述按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，包括：按照每个第二节点的数据调取权限，确定每个第二节点分别对应的数据块序号；对比每个第二节点分别对应的数据块序号，对不同第二节点中相同的数据块序号进行合并；按照合并后的数据块序号，提取本地的数据块发送至网关；根据每个第二节点的数据调取权限对应的数据块序号，从网关的数据块中选择每个第二节点分别对应的目标数据块，发送至每个第二节点。
[0006]在一种可能的实施方式中，所述方法还包括：第一节点实时监控每个第二节点对第一节点的数据调取状态；第一节点控制数据调取状态符合预设条件的第二节点，关闭对第二节点进行数据调取的接口，其中，所述预设条件为停止调取状态。
[0007]在一种可能的实施方式中，所述方法还包括：第二节点在向第一节点发送数据调取请求之前，查询是否在本地已存储与所述数据调取请求对应的数据；响应于在本地已存储与所述数据调取请求对应的数据，直接在本地调取与所述数据调取请求对应的数据。
[0008]在一种可能的实施方式中，所述方法还包括：第一节点的网关响应于接收到第二节点发送的数据调取请求，对所述数据调取请求进行权限验证；响应于所述数据调取请求未通过权限验证，向与所述数据调取请求对应的第二节点返回未通过权限验证的结果。
[0009]在一种可能的实施方式中，所述方法还包括：将各个节点上的应用系统预先分解为多个微服务组件。
[0010]第二方面，本公开的实施例提供了一种数据调取装置，包括：提取模块，用于响应于接收到的数据调取请求，提取数据调取请求中的IP地址；划分模块，用于将本地的栅格数据划分为多个数据块；确定模块，用于基于预设的IP地址与数据调取权限之间的对应关系，根据数据调取请求中的IP地址，确定与数据调取请求对应的数据调取权限；选出模块，用于按照数据调取权限，从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块，并将目标数据块发送至与每个数据调取请求对应的节点。
[0011]第三方面，本公开的实施例提供了一种数据调取平台，包括第一节点以及与所述第一节点连接的至少一个第二节点，其中，第一节点执行以下步骤：响应于接收到至少一个第二节点发送的数据调取请求，提取每个所述第二节点对应的数据调取请求中的IP地址，其中，数据调取请求中的IP地址为对第二节点预先分配的IP地址；将本地的栅格数据划分为多个数据块，其中，所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到；基于预设的IP地址与数据调取权限之间的对应关系，根据第二节点对应的IP地址，确定与第二节点对应的数据调取权限；按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，并将目标数据块发送至与每个数据调取请求对应的第二节点。
[0012]第四方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述的数据调取。
[0013]第五方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据调取方法。
[0014]本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：本公开实施例所述的数据调取方法，应用于数据调取平台，其中，所述数据调取平
台包括第一节点以及与所述第一节点连接的至少一个第二节点，第一节点响应于接收到至少一个第二节点发送的数据调取请求，提取每个所述第二节点对应的数据调取请求中的IP地址，其中，数据调取请求中的IP地址为对第二节点预先分配的IP地址；第一节点将本地的栅格数据划分为多个数据块，其中，所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到；第一节点基于预设的IP地址与数据调取权限之间的对应关系，根据第二节点对应的IP地址，确定与第二节点对应的数据调取权限；第一节点按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，并将目标数据块发送至与每个数据调取请求对应的第二节点，通过将栅格数据划分的数据块与权限对应，能够确保每一个第二节点快速获取与自身权限相对应的数据，解决了数据的同步不及时和数据安全问题。
附图说明
[0015]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0016]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1示意性示出了根据本公开实施例的数据调取方法流程示意图；图2示意性示出了根据本公开实施例的数据调装置的结构框图；图3示意性示出了根据本公开实施例的数据调取平台的结构示意图；图4示意性示出了根据本公开另一实施例的数据调取平台的结构示意图；以及图5示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
[0018]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据调取方法，其特征在于，应用于数据调取平台，其中，所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点，所述方法包括：第一节点响应于接收到至少一个第二节点发送的数据调取请求，提取每个所述第二节点对应的数据调取请求中的IP地址，其中，数据调取请求中的IP地址为对第二节点预先分配的IP地址；第一节点将本地的栅格数据划分为多个数据块，其中，所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到；第一节点基于预设的IP地址与数据调取权限之间的对应关系，根据第二节点对应的IP地址，确定与第二节点对应的数据调取权限；第一节点按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，并将目标数据块发送至与每个数据调取请求对应的第二节点。2.根据权利要求1所述的方法，其特征在于，所述第二节点的数量超过1个，所述按照数据调取权限，从所述多个数据块中选出与每个第二节点分别对应的目标数据块，包括：按照每个第二节点的数据调取权限，确定每个第二节点分别对应的数据块序号；对比每个第二节点分别对应的数据块序号，对不同第二节点中相同的数据块序号进行合并；按照合并后的数据块序号，提取本地的数据块发送至网关；根据每个第二节点的数据调取权限对应的数据块序号，从网关的数据块中选择每个第二节点分别对应的目标数据块，发送至每个第二节点。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：第一节点实时监控每个第二节点对第一节点的数据调取状态；第一节点控制数据调取状态符合预设条件的第二节点，关闭对第二节点进行数据调取的接口，其中，所述预设条件为停止调取状态。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：第二节点在向第一节点发送数据调取请求之前，查询是否在本地已存储与所述数据调取请求对应的数据；响应于在本地已存储与所述数据调取请求对应的数据，直接在本地调取与所述数据调取请求对应的数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：第一节点的网关响应于接收到第二节点发送的数据调取请求，对所述...
【专利技术属性】
技术研发人员：王瑞萍，邢玥，李智登晖，胡佳，
申请(专利权)人：北京比格大数据有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。