数据获取及分配方法、装置、服务器、存储介质制造方法及图纸

本公开关于一种数据获取及分配方法、装置、服务器、存储介质。其中，该数据获取方法包括：第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录，目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；在目标实例分配记录满足未分配数据判断条件时，向第二服务器发送数据分配请求，数据分配请求用于请求获取目标数据分片；接收第二服务器反馈的数据分配请求的请求结果；在请求结果指示允许获取目标数据分片时，获取目标数据分片。采用本公开提供的数据获取及分配方法、装置、服务器、存储介质，能够避免数据的漏处理，提高数据处理的可靠性。

Data acquisition and distribution method, device, server and storage medium

【技术实现步骤摘要】
数据获取及分配方法、装置、服务器、存储介质
本公开涉及通信
，尤其涉及一种数据获取及分配方法、装置、服务器、存储介质。
技术介绍
随着网络平台的业务规模的不断扩大，网络平台的服务器所要处理的数据数量也随之增加，服务器中的单个实例节点可能已经无法及时地完成所有业务的数据处理。因此，需要为服务器部署多个实例节点，以利用多个实例节点实现对海量且持续新增的数据的并行处理。在相关技术中，服务器中的一个实例节点一般固定获取某一个或者某几个业务的数据并对其进行处理。一旦服务器中的实例节点发生故障，可能导致该实例节点所获取的数据的漏处理，使数据处理的可靠性较低。
技术实现思路
本公开提供一种数据获取及分配方法、装置、服务器、存储介质，以至少解决相关技术中可能导致数据的漏处理的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种数据获取方法，应用于第一服务器，该方法包括：第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录；其中，目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；在目本文档来自技高网...

【技术保护点】
1.一种数据获取方法，应用于第一服务器，其特征在于，包括：/n所述第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录；其中，所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；/n在所述目标实例分配记录满足未分配数据判断条件时，向所述第二服务器发送数据分配请求；其中，所述数据分配请求用于请求获取所述目标数据分片；/n接收所述第二服务器反馈的所述数据分配请求的请求结果；/n在所述请求结果指示允许获取所述目标数据分片时，获取所述目标数据分片。/n

【技术特征摘要】
1.一种数据获取方法，应用于第一服务器，其特征在于，包括：
所述第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录；其中，所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；
在所述目标实例分配记录满足未分配数据判断条件时，向所述第二服务器发送数据分配请求；其中，所述数据分配请求用于请求获取所述目标数据分片；
接收所述第二服务器反馈的所述数据分配请求的请求结果；
在所述请求结果指示允许获取所述目标数据分片时，获取所述目标数据分片。


2.根据权利要求1所述的方法，其特征在于，所述未分配数据判断条件包括所述目标实例分配记录为空；
或者，所述数据分配请求携带有所述目标实例分配记录和所述目标实例节点对应的实例标识，所述数据分配请求还用于使所述第二服务器在所述目标实例分配记录与所述目标数据分片对应的实时实例分配记录相同的情况下，利用所述目标实例节点对应的实例标识，更新所述实时实例分配记录。


3.根据权利要求2所述的方法，其特征在于，在所述在所述目标实例分配记录满足未分配数据判断条件时，向所述第二服务器发送数据分配请求之前，所述方法还包括：
接收所述第二服务器发送的存活实例记录；其中，所述存活实例记录包括至少一个存活实例节点对应的实例标识，所述存活实例节点为处于存活状态的实例节点；
其中，所述未分配数据判断条件还包括所述目标实例分配记录非空且所述目标实例分配记录所记录的实例标识未存在于所述存活实例记录中。


4.根据权利要求1所述的方法，其特征在于，在所述获取所述目标数据分片之后，所述方法还包括：
将所述目标数据分片加入待处理分片集合；
其中，在所述向所述第二服务器发送数据分配请求之前，所述方法还包括：
确定所述待处理分片集合中的数据分片数量；
其中，所述向所述第二服务器发送数据分配请求，包括：
在所述数据分片数量小于预设数量阈值的情况下，向所述第二服务器发送所述数据分配请求。


5.根据权利要求3所述的方法，其特征在于，在所述接收所述第二服务器发送的存活实例记录之前，所述方法还包括：
向所述第二服务器发送实例注册请求；其中，所述实例注册请求携带有所述目标实例节点对应的实例标识，所述实例注册请求用于将所述目标实例节点对应的实例标识加入所述存活实例记录。


6.根据权利要求5所述的方法，其特征在于，在所述向所述第二服务器发送实例注册请求之后，所述方法还包括：
接收实例重启指令；
响应于所述实例重启指令，向所述第二服务器发送实例清除请求；其中，所述实例清除请求携带有所述目标实例节点对应的实例标识，所述实例清除请求用于将所述目标实例节点对应的实例标识从所述存活实例记录中删除。


7.一种数据分配方法，应用于第二服务器，其特征在于，包括：
所述第二服务器中的协调服务节点向第一服务器发送目标实例分配记录；其中，所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；
接收所述第一服务器发送的数据分配请求；
响应于所述数据分配请求，对所述数据分配请求进行处理，得到所述数据分配请求的请求结果；
向所述第一服务器反馈所述请求结果。


8.根据权利要求7所述的方法，其特征在于，在所述接收所述第一服务器发送的数据分配请求之前，所述方法还包括：
向所述第一服务器发送存活实例记录；其中，所述存活实例记录包括至少一个存活实例节点对应的实例标识，所述存活实例节点为处于存活状态的实例节点。


9.根据权利要求7所述的方法，其特征在于，所述数据分配请求携带有所述目标实例分配记录和所述第一服务器中的目标实例节点对应的实例标识；
其中，所述对所述数据分配请求进行处理，得到所述数据分配请求的请求结果，包括：
查询所述目标数据分片对应的实时实例分配记录；
在所述目标实例分配记录与所述实时实例分配记录相同的情况下，得到指示允许获取所述目标数据分片的请求结果；
利用所述目标实例节点对应的实例标识，更新所述实时实例分配记录。


10.根据权利要求8所述的方法，其特征在于，在所述向所述第一服务器发送存活实例记录之前，所述方法还包括：
接收所述第一服务器发送的实例注册请求；其中，所述实例注册请求携带有所述第一服务器中的目标实例节点对应的实例标识；
响应于所述实例注册请求，将所述目标实例节点对应的实例标识加入所述存活实例记录。


11.根据权利要求10所述的方法，其特征在于，在所述将所述目标实例节点对应的实例标识加入所述存活实例记录之后，所述方法还包括：
接收所述第一服务器发送的实例清除请求；其中，所述实例清除请求携带有所述目标实例节点对应的实例标识；
响应于所述实例清除请求，将所述目标实例节点对应的实例标识从所述存活实例记录中删除；
或者，在所述将所述目标实例节点对应的实例标识加入所述存活实例记录之后，所述方法还包括：
监测所述目标实例节点的节点心跳；
在未监测到所述节点心跳的时长大于或等于预设时长的情况下，将所述目标实例节点对应的实例标识从所述存活实例记录中删除。


12.根据权利要求11所述的方法，其特征在于，在所述将所述目标实例节点对应的实例标识从所述存活实例记录中删除之后，所述方法还包括：
在至少一个实例分配记录中，查询包括所述目标实例节点对应的实例标识的待释放实例分配记录；
释放所述待释放实例分配记录的记录内容。


13.一种数据获取装置，应用于第一服务器，其特征在于，包括：
第一接收单元，被配置为执行接收第二服务器发送的目标实例分配记录；其中，所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识；
第一发送单元，被配置为...

【专利技术属性】
技术研发人员：熊纪元，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11