一种分布式数据处理的方法、装置、设备及储存介质制造方法及图纸

技术编号:35988752 阅读:12 留言:0更新日期:2022-12-17 23:03
本发明专利技术公开了一种分布式数据处理的方法、装置、设备及储存介质,包括:确定目标服务所在的目标节点;向目标节点发送服务调用请求,服务调用请求包括所述目标服务的目标服务标识;将待处理数据写入共享内存,以使得目标节点从共享内存中读取待处理数据;调用目标服务标识对应的目标服务,对待处理数据进行处理,得到已处理数据;将已处理数据写入所述共享内存中;从共享内存中读取所述已处理数据;本发明专利技术将多个服务存放于多个不同的执行节点,以优化分布式服务的系统架构,从而提高数据处理的效率。率。率。

【技术实现步骤摘要】
一种分布式数据处理的方法、装置、设备及储存介质


[0001]本专利技术涉及一种计算机
,具体为一种分布式数据处理的方法、装置、设备及储存介质。

技术介绍

[0002]现有的虚拟化方案中,后端驱动服务都统一存放在虚拟机监视器中,或是将后端驱动服务都统一存放在一个具有超级权限的特殊虚拟机中,虽然存放的位置各有差异,但都是将后端驱动服务统一存放于同一个节点。
[0003]将后端驱动服务统一存放于同一个节点,导致节点的架构变得厚重,进一步地,会导致分布式集群中服务的运行效率和数据处理效率降低。

技术实现思路

[0004]有鉴于现有技术的上述缺陷,本专利技术所要解决的技术问题是由于后端驱动服务统一存放导致硬件资源高度集中,从而导致节点的架构变得厚重,进而影响分布式集群中服务运行效率和数据处理效率的问题。
[0005]为了上述提出的至少一个技术问题,本专利技术公开一种分布式数据处理方法、装置、设备及储存介质。
[0006]根据本公开的一方面,提供了一种分布式数据处理方法,包括:
[0007]确定目标服务所在的目标节点;
[0008]向所述目标节点发送服务调用请求,所述服务调用请求包括所述目标服务的目标服务标识;
[0009]将待处理数据写入共享内存,以使得所述目标节点:从所述共享内存中读取所述待处理数据;调用所述目标服务标识对应的所述目标服务,对所述待处理数据进行处理,得到已处理数据;将所述已处理数据写入所述共享内存中;
[0010]从所述共享内存中读取所述已处理数据。
[0011]在一些可能的实施方式中,所述确定目标服务所在的目标节点,包括:
[0012]向管理节点发送服务查询请求;所述服务查询请求包括所述目标服务标识;
[0013]接收所述管理节点基于所述目标服务标识返回的查询结果;所述查询结果包括至少一个候选节点的候选节点标识;
[0014]基于所述至少一个候选节点的候选节点标识确定所述目标节点。
[0015]在一些可能的实施方式中,在所述确定目标服务所在的目标节点之前,所述方法还包括:
[0016]向管理节点发送服务注册请求;所述服务注册请求中包括注册节点标识信息、注册服务标识信息以及注册服务功能信息;
[0017]基于所述管理节点对所述注册节点标识信息、所述注册服务标识信息以及所述注册服务功能信息进行注册,生成服务注册信息。
[0018]在一些可能的实施方式中,所述向管理节点发送服务查询请求包括;
[0019]调用服务查询接口;
[0020]将所述目标服务标识传入所述服务查询接口;
[0021]基于已传入所述目标服务标识的服务查询接口,向管理节点发送所述服务查询请求。
[0022]在一些可能的实施方式中,所述服务调用请求包括调用节点的调用节点标识;
[0023]所述将待处理数据写入共享内存,包括:
[0024]将所述待处理数据与所述调用节点标识写入所述共享内存;以使得所述目标节点从所述共享内存中读取与所述调用节点标识对应的待处理数据。
[0025]根据本公开的第二方面,提供了另一种分布式数据处理方法,包括:
[0026]接收调用节点发送的服务调用请求;所述服务调用请求包括所述目标服务的目标服务标识;
[0027]从共享内存中读取待处理数据;所述待处理数据通过所述调用节点写入所述共享内存;
[0028]调用所述目标服务标识对应的目标服务,对所述待处理数据进行处理,得到已处理数据;
[0029]将所述已处理数据写入所述共享内存中。
[0030]根据本公开的第三方面,提供了一种分布式数据处理的装置,包括:
[0031]目标节点确定模块,用于确定目标服务所在的目标节点;
[0032]请求调用模块,用于向所述目标节点发送服务调用请求,所述服务调用请求包括所述目标服务的目标服务标识;
[0033]第一数据写入模块,用于将待处理数据写入共享内存,以使得所述目标节点:从所述共享内存中读取所述待处理数据;调用所述目标服务标识对应的所述目标服务,对所述待处理数据进行处理,得到已处理数据;将所述已处理数据写入所述共享内存中;
[0034]数据读取模块,用于从所述共享内存中读取所述已处理数据。
[0035]根据本公开的第四方面,提供了另一种分布式数据处理的装置,包括:
[0036]请求接收模块,用于接收调用节点发送的服务调用请求;所述服务调用请求包括所述目标服务的目标服务标识;
[0037]数据获取模块,用于从共享内存中读取待处理数据;所述待处理数据通过所述调用节点写入所述共享内存;
[0038]数据处理模块,用于调用所述目标服务标识对应的目标服务,对所述待处理数据进行处理,得到已处理数据;
[0039]第二数据写入模块,用于将所述已处理数据写入所述共享内存中。
[0040]根据本公开的第五方面,提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由所述处理器加载并执行以实现如上所述的分布式数据处理的方法。
[0041]根据本公开的第六方面,提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由处理器加载并执行以实现如上所述的分布式数据处理的方法。
所说明的任何实施例不必解释为优于或好于其它实施例。
[0059]本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0060]另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
[0061]图1示出分布式数据处理的方法对应的实施环境示意图,如图1所示,分布式集群中包括一个管理节点以及多个执行节点;执行节点基于管理节点发送、订阅或查询服务信息,并接收管理节点返回的查询结果;执行节点中,需要进行服务调用的节点被确定为调用节点,需要提供服务的节点被确定为目标节点;任意执行节点既可以作为目标节点,也可以作为调用节点。
[0062]此外,分布式集群中还包括共享内存,执行节点可以访问共享内存,向共享内存中写入数据或读取数据。
[0063]图2为分布式数据处理的方法流程示意图,执行主体可以是分布式集群中的任意执行节点,如图2所示,一种分布式数据处理的方法,包括:
[0064]步骤S201:本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式数据处理的方法,其特征在于,包括:确定目标服务所在的目标节点;向所述目标节点发送服务调用请求,所述服务调用请求包括所述目标服务的目标服务标识;将待处理数据写入共享内存,以使得所述目标节点:从所述共享内存中读取所述待处理数据;调用所述目标服务标识对应的所述目标服务,对所述待处理数据进行处理,得到已处理数据;将所述已处理数据写入所述共享内存中;从所述共享内存中读取所述已处理数据。2.根据权利要求1所述的一种分布式数据处理方法,其特征在于,所述确定目标服务所在的目标节点,包括:向管理节点发送服务查询请求;所述服务查询请求包括所述目标服务标识;接收所述管理节点基于所述目标服务标识返回的查询结果;所述查询结果包括至少一个候选节点的候选节点标识;基于所述至少一个候选节点的候选节点标识确定所述目标节点。3.根据权利要求1所述的一种分布式数据处理方法,其特征在于,在所述确定目标服务所在的目标节点之前,所述方法还包括:向管理节点发送服务注册请求;所述服务注册请求中包括注册节点标识信息、注册服务标识信息以及注册服务功能信息;基于所述管理节点对所述注册节点标识信息、所述注册服务标识信息以及所述注册服务功能信息进行注册,生成服务注册信息。4.根据权利要求2所述的一种分布式数据处理方法,其特征在于,所述向管理节点发送服务查询请求包括;调用服务查询接口;将所述目标服务标识传入所述服务查询接口;基于已传入所述目标服务标识的服务查询接口,向管理节点发送所述服务查询请求。5.根据权利要求1所述的一种分布式数据处理方法,其特征在于,所述服务调用请求包括调用节点的调用节点标识;所述将待处理数据写入共享内存,包括:将所述待处理数据与所述调用节点标识写入所述共享内存;以使得所述目标节点从所述共享内存中读取与所述调用节点标识对应的待处理数据。6.一种分布式数据处理方法,其特征在于,包括:接收调用节点发送...

【专利技术属性】
技术研发人员:刘树斌尚祚彦胡月
申请(专利权)人:中汽创智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1