一种实现数据负载均衡的方法、系统及电子设备技术方案

技术编号:24682549 阅读:32 留言:0更新日期:2020-06-27 07:45
本发明专利技术涉及一种实现数据负载均衡的方法、系统及电子设备,通过提取各消息中相应的的关键信息和内容,然后将各关键信息插入分布式消息队列中,将各关键信息与各相应的内容插入至分布式内存数据库(DMDB),实现了各处理进程间的数据负载均衡,最后通过读取分布式消息队列中各关键信息,相应地从分布式内存数据库中读取各相应的内容进行处理,即通过结合分布式消息队列(KAFKA)和分布式内存数据库(DMDB),保证各进程之间数据负载均衡,进而保证处理单元具有高性能的处理能力。

A method, system and electronic equipment for data load balancing

【技术实现步骤摘要】
一种实现数据负载均衡的方法、系统及电子设备
本专利技术涉及通信领域,尤其涉及一种实现数据负载均衡的方法、系统及电子设备。
技术介绍
随着电信支撑系统的云化,电信支撑系统的处理能力趋于集群化,其中,每个处理单元由具备相同能力的处理进程完成,通过大并发达到高速数据处理的目的,目前,各个处理进程之间通过分布式消息队列(KAFKA)中的生产者-消费者的队列协同来进行数据负载,在数据安全级别较低时,分布式消息队列(KAFKA)的数据负载的性能较好,但是在安全级别较高或进行高速数据处理时,分布式消息队列容易出现队列不协同以使数据负载不均衡,从而导致处理单元的处理能力发生异常。因此如何实现各个处理进程之间数据负载均衡是亟待解决的技术问题。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足,提供了一种实现数据负载均衡的方法、系统及电子设备。本专利技术的一种实现数据负载均衡的方法的技术方案如下:S1、接收多个消息,并提取每个消息中的关键信息和内容;S2、将各所述关键信息按照时间顺序插入分布式消息队本文档来自技高网...

【技术保护点】
1.一种实现数据负载均衡的方法,其特征在于,包括如下步骤:/nS1、接收多个消息,并提取每个消息中的关键信息和内容;/nS2、将各所述关键信息按照时间顺序插入分布式消息队列中,并将各所述关键信息和与每个关键信息相应的内容插入至分布式内存数据库;/nS3、读取所述分布式消息队列中多个第一关键信息,根据各所述第一关键信息从所述分布式内存数据库中读取到相一致的各第二关键信息,然后读取所述相一致的第二关键信息的相应的内容。/n

【技术特征摘要】
1.一种实现数据负载均衡的方法,其特征在于,包括如下步骤:
S1、接收多个消息,并提取每个消息中的关键信息和内容;
S2、将各所述关键信息按照时间顺序插入分布式消息队列中,并将各所述关键信息和与每个关键信息相应的内容插入至分布式内存数据库;
S3、读取所述分布式消息队列中多个第一关键信息,根据各所述第一关键信息从所述分布式内存数据库中读取到相一致的各第二关键信息,然后读取所述相一致的第二关键信息的相应的内容。


2.根据权利要求1所述的一种实现数据负载均衡的方法,其特征在于,还包括如下步骤:
S10、每间隔预设时间段在所述分布式内存数据库设置第一表和第二表,按照时间顺序将所述提取的各所述关键信息与各相应的内容插入至所第一表内;
S11、根据各所述第一关键信息从所述第一表中读取到相一致的各第二关键信息,然后读取各相应的内容,并将所述相一致的第二关键信息插入所述第二表内;
S12、每间隔所述预设时间段判断所述第一表与所述第二表中的关键信息是否相同;若否,则对所述第一表中存在且尚未在所述第二表中读取到的关键信息重新进行处理;若是,删除所述第一表和所述第二表。


3.根据权利要求2所述的一种实现数据负载均衡的方法,其特征在于,采用trunck方式删除所述第一表和所述第二表。


4.根据权利要2或3所述的一种实现数据负载均衡的方法,其特征在于,还包括如下步骤:
所述分布式内存数据库中包括多个分区,每间隔所述预设时间段在各所述分区中分别生成每个分区的第一表和第二表。


5.根据权利要求4所述的一种实现数据负载均衡的方法,其特征在于,还包括如下步骤:
S100、根据各所述第一关键信息,从第一个分区的第一表中读取相一致的第三关键信息和与所述相一致的第三关键信息的相应的内容,并将每个所述相一致的第三关键信息插入所述分布式消息队列的中间件和所述第一个分区的第二表中,将每个所述相一致的第三关键信息和与每个所述相一致的第三关键信息相应的内容插入第二个分区的第一表中;
S110、根据所述第一个中间件中的每个第三关键信息,从第二个分区的第一表中读取相一致的第四关键信息和与所述相一致的第四关键信息的相应的内容;并将每个所述相一致的第四关键信息插入所述分布式消息队列中的另外一个中间件中和所述第二个分区的第二表中,将每个所述相一致的第四关键信息和与每个所述相一致的第四关键信息相应的内容插入第三个分区的第一表中;
S120、对其余的分区重复执行S100和S110。


6.一种实现数据负载均衡的系统,其特征在于,包括接收提取模块、插入模块和处理模块;

【专利技术属性】
技术研发人员:严丽君
申请(专利权)人:北京思特奇信息技术股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1