基于数据库副本技术的数据实时分发多通道并行系统技术方案

本申请涉及数据传输技术领域，公开了一种基于数据库副本技术的数据实时分发多通道并行系统，包括请求接收模块

【技术实现步骤摘要】
基于数据库副本技术的数据实时分发多通道并行系统


[0001]本申请涉及数据传输
，具体是一种基于数据库副本技术的数据实时分发多通道并行系统
。

技术介绍

[0002]在数据传输过程中，当待传输的数据较为庞大时，其数据传输需要占用的资源也相应的较大，同时，其传输效率也会相应的下降，同时，由于数据的庞大，其传输质量也可能会受到影响
。
因此，亟需一种可靠的数据分发技术来对数据量较大的数据实现高效率的传输
。

技术实现思路

[0003]本申请的目的在于提供一种基于数据库副本技术的数据实时分发多通道并行系统，以解决上述
技术介绍
中提出的技术问题
。
[0004]为实现上述目的，本申请公开了以下技术方案：本申请公开了一种基于数据库副本技术的数据实时分发多通道并行系统，包括请求接收模块
、
并行分析模块
、
任务下发模块
、
数据分发模块和若干个数据库副本；所述数据库副本配置为：存储数据；所述请求接收模块配置为：对数据分发请求进行接收，并分析该数据分发请求对应的数据信息；所述并行分析模块配置为：接收每个所述数据库副本的数据分发承载力，对所述数据信息进行解析，获取待分发数据对应的承载需求，并基于每个所述数据库副本的数据分发承载力对该承载需求进行分析匹配，确定对应的至少一个数据库副本作为响应节点；所述任务下发模块配置为：基于所述并行分析模块中获取的分析匹配结果和所述数据信息，对每个所述响应节点对应的数据分发内容进行分析得到每个响应节点需要分发的数据段信息，并将所述分析匹配结果和所述数据段信息下发至对应的响应节点；所述数据分发模块配置为：每个所述响应节点基于接收到的所述分析匹配结果和所述数据段信息，实时并行的向下游端分发所述数据段信息
。
[0005]作为优选，所述并行分析模块还配置为：基于所述任务下发模块下发至响应节点的分析匹配结果，对相应的数据库副本的数据分发承载力进行实时更新
。
[0006]作为优选，所述并行分析模块还配置为：基于所述响应节点的数据分发结果，对相应的数据库副本的数据分发承载力进行实时更新
。
[0007]作为优选，所述的基于每个所述数据库副本的数据分发承载力对该承载需求进行分析匹配，包括：预设判断是否需要进行数据并行分发的并行判断值，当
时，表示仅需要一个满足的数据库副本作为所述响应节点进行待分发数据的数据分发，否则，表示需要个满足的数据库副本作为所述响应节点对待分发数据进行数据实时并行分发，其中，
。
[0008]作为优选，所述的基于每个所述数据库副本的数据分发承载力对该承载需求进行分析匹配，还包括：预设表示每个数据库副本需要预留的预留承载阈值；当时，表示仅需要一个满足的数据库副本作为所述响应节点进行待分发数据的数据分发；当时，表示需要个满足的数据库副本作为所述响应节点对待分发数据进行数据实时并行分发
。
[0009]作为优选，所述的获取包括以下步骤：计算理论节点需求数，；当计算得到的为整数时，，否则，
。
[0010]作为优选，当所有的数据库副本中不足够提供个所述响应节点时，将能够作为该响应节点的个数据库副本进行标记，并定义为第一批次响应节点，并将所有的数据库副本中去除第一批次响应节点后的个数据库副本定义为非标副本；预设每个所述非标副本的预留承载阈值，，其中，
K
为正整数；选取一个满足的非标副本作为第二批次响应节点，并通过个所述第一批次响应节点和一个所述第二批次响应节点对所述待分发数据进行数据实时并行分发；或选取个满足的非标副本作为第二批次响应节点，
M
为正整数，此时，通过个所述第一批次响应节点和个所述第二批次响应节点对所述待分发数据进行数据实时并行分发
。
[0011]作为优选，所述的计算过程包括：计算理论数量，；当计算得到的为整数时，，否则，
。
[0012]有益效果：本申请基于数据库副本技术，对每个数据库副本的数据分发承载能力
与待分发数据对应的承载需求进行分析匹配，从而将待分发数据拆分至至少一个数据库副本进行数据分发，当应对数据量较为庞大的待分发数据时，能够合理的匹配到若干个响应节点进行数据实时并行分发，从而确保待分发数据的传输效率和质量，技术实现合理且简单，具有较高的实用性和可靠性
。
附图说明
[0013]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0014]图1为本申请实施例中基于数据库副本技术的数据实时分发多通道并行系统的结构框图
。
具体实施方式
[0015]下面将对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0016]在本文中，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程
、
方法
、
物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程
、
方法
、
物品或者设备所固有的要素
。
在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程
、
方法
、
物品或者设备中还存在另外的相同要素
。
[0017]申请人发现，较为庞大的数据在需要传输时，需要占用较多的资源，并且，传输效率也相应的较低
。
而数据库副本技术是一种将数据复制后存储在不同的存储节点上，如果能够利用数据库副本实现一种分布式协作的数据分发技术，一定能够提高数据传输效率，同时，通过分发的方式实现数据的传输，也能够提高传输过程中的安全性
。
[0018]介于此，本实施例公开了如图1所示的一种基于数据库副本技术的数据实时分发多通道并行系统，包括请求接收模块
、
并行分析模块
、
任务下发模块
、
数据分发模块和若干个数据库副本
。
[0019]具体的，所述数据库副本配置为：存储数据
。
[0020]具体的，所述请求接收模块配置为：对数据分发请求进行接收，并分析该数据分发请求对应的数据信息
。
[0021]具体的，所述并行分析模块配置为：接收每个所述数据库副本的数据分发承载力，对所述数据信息进行解析，获取待分发数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据库副本技术的数据实时分发多通道并行系统，其特征在于，包括请求接收模块
、
并行分析模块
、
任务下发模块
、
数据分发模块和若干个数据库副本；所述数据库副本配置为：存储数据；所述请求接收模块配置为：对数据分发请求进行接收，并分析该数据分发请求对应的数据信息；所述并行分析模块配置为：接收每个所述数据库副本的数据分发承载力，对所述数据信息进行解析，获取待分发数据对应的承载需求，并基于每个所述数据库副本的数据分发承载力对该承载需求进行分析匹配，确定对应的至少一个数据库副本作为响应节点；所述任务下发模块配置为：基于所述并行分析模块中获取的分析匹配结果和所述数据信息，对每个所述响应节点对应的数据分发内容进行分析得到每个响应节点需要分发的数据段信息，并将所述分析匹配结果和所述数据段信息下发至对应的响应节点；所述数据分发模块配置为：每个所述响应节点基于接收到的所述分析匹配结果和所述数据段信息，实时并行的向下游端分发所述数据段信息
。2.
根据权利要求1所述的基于数据库副本技术的数据实时分发多通道并行系统，其特征在于，所述并行分析模块还配置为：基于所述任务下发模块下发至响应节点的分析匹配结果，对相应的数据库副本的数据分发承载力进行实时更新
。3.
根据权利要求2所述的基于数据库副本技术的数据实时分发多通道并行系统，其特征在于，所述并行分析模块还配置为：基于所述响应节点的数据分发结果，对相应的数据库副本的数据分发承载力进行实时更新
。4.
根据权利要求1所述的基于数据库副本技术的数据实时分发多通道并行系统，其特征在于，所述的基于每个所述数据库副本的数据分发承载力对该承载需求进行分析匹配，包括：预设判断是否需要进行数据并行分发的并行判断值，当时，表示仅需要一个满足的数据库副本...

【专利技术属性】
技术研发人员：吴国平，闵波，
申请(专利权)人：广东仁达科技有限公司，
类型：发明
国别省市：