分布式运算方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:19542952 阅读:29 留言:0更新日期:2018-11-24 20:28
本申请公开了一种分布式运算方法、装置、计算机设备及存储介质。该方法包括:获取分布式内存网格的部署信息,根据部署信息对应设置分布式消息队列;获取消息中间件所传输的运算任务,在分布式内存网格的对应运算节点中执行所述运算任务得到运算结果;获取运算结果对应的运算逻辑,将运算结果存储至分布式内存网格中对应的待存储节点。该方法利用分布式内存网格的局部缓存地址来形成分布式消息队列,每一分布式消息队列中所存储的数据足以满足当前网格的运算需求,无需从其他分布式消息队列中获取,提高了分布式运算的计算效率。

Distributed computing methods, devices, computer equipment and storage media

This application discloses a distributed computing method, device, computer equipment and storage medium. The method includes: acquiring the deployment information of distributed memory grid, setting distributed message queue according to the deployment information; acquiring the operation tasks transmitted by message middleware, performing the operation tasks in the corresponding operation nodes of distributed memory grid to get the operation results; acquiring the operation logic corresponding to the operation results. The results are stored in the corresponding nodes to be stored in the distributed memory grid. This method uses the local cache address of distributed memory grid to form a distributed message queue. The data stored in each distributed message queue is sufficient to meet the current grid computing needs, and it does not need to be retrieved from other distributed message queues, thus improving the computing efficiency of distributed computing.

【技术实现步骤摘要】
分布式运算方法、装置、计算机设备及存储介质
本申请涉及分布式运算
,尤其涉及一种分布式运算方法、装置、计算机设备及存储介质。
技术介绍
目前在使用Ignite分布式内存网格(Ignite内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能)计算的时候,因为计算的速度非常快,远远高于写入数据库的速度,若采用Kafka(Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据)作为消息队列,在消息量很大的情况下,处理效率比较低,不满足分布式计算的要求。
技术实现思路
本申请提供了一种分布式运算方法、装置、计算机设备及存储介质,旨在解决现有技术中基于Ignite分布式内存网格进行运算时若采用Kafka作为消息队列,在消息量很大的情况下,分布式运算处理效率比较低的问题。第一方面,本申请提供了一种分布式运算方法,其包括:获取分布式内存网格的部署信息,根据部署信息对应设置分布式消息队列;获取消息中间件所本文档来自技高网...

【技术保护点】
1.一种分布式运算方法,其特征在于,包括:获取分布式内存网格的部署信息,根据部署信息对应设置分布式消息队列;获取消息中间件所传输的运算任务,在分布式内存网格的对应运算节点中执行所述运算任务得到运算结果;获取运算结果对应的运算逻辑,将运算结果存储至分布式内存网格中对应的待存储节点。

【技术特征摘要】
1.一种分布式运算方法,其特征在于,包括:获取分布式内存网格的部署信息,根据部署信息对应设置分布式消息队列;获取消息中间件所传输的运算任务,在分布式内存网格的对应运算节点中执行所述运算任务得到运算结果;获取运算结果对应的运算逻辑,将运算结果存储至分布式内存网格中对应的待存储节点。2.根据权利要求1所述的分布式运算方法,其特征在于,所述获取分布式内存网格的部署信息,根据部署信息对应设置分布式消息队列,包括:根据加入分布式内存网格的联网终端,获取分布式内存网格的部署信息;根据部署信息获取每一联网终端的缓存地址;根据每一加入分布式内存网格的联网终端的缓存地址建立集群,得到分布式消息队列。3.根据权利要求1所述的分布式运算方法,其特征在于,所述获取消息中间件所传输的运算任务之后,还包括:解析运算任务的运算逻辑,根据运算逻辑定位运算任务对应的运算节点,并将运算任务传输至对应的运算节点。4.根据权利要求1所述的分布式运算方法,其特征在于,所述获取运算结果对应的运算逻辑之后,包括:根据运算逻辑定位运算任务定位运算结果的待存储节点。5.根据权利要求2所述的分布式运算方法,其特征在于,所述获取运算结果对应的运算逻辑,将运算结果存储至分布式内存网格中对应的待存储节点之后,还包括;若在预设的检测周期内分布式内存网格中未检测到消息中间件所传输的运算任务,将分布式内存网格的部署信息进行缓存,并对分布式消息队列的集群进行解散。6.一种分布式运算装...

【专利技术属性】
技术研发人员:陈飞
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1