一种在大数据背景下的负载平衡系统技术方案

公开了一种在大数据背景下的负载平衡系统，该系统包括：用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于确定待处理的大数据的大小并进行目的地空间判断的第二部件；用于使用规则划分待处理的大数据并进行校验的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。该系统既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

【技术实现步骤摘要】

本专利技术属于电数据数字处理
，涉及一种针对大数据背景下的数据处理系 统，更具体而言，涉及一种在大数据背景下的负载平衡系统。
技术介绍
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的 中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据 安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V: Volume (大量），数据量持续快速增加；Velocity (高速），数据I/O速度更快；Variety (多 样），数据类型和来源多样化；Value (价值），其存在各方面的可用价值。另外，大数据除了 表示海量的信息，同时还是人们获得新认知、创造新价值的源泉，其开启了一次重大的时 代转型，随着大数据时代的到来，我们需要以全新的眼光去审视和挖掘数据的潜在价值。 大数据的影响渗透到了各行业，对未来的科技和经济发展带来深远影响。其中，传 统节点通过改进以兼容大数据技术，以用于大数据管理、分析和挖掘；还推出了新型软硬 件产品。大数据是对传统数据节点的补充和延伸。然而，如何合理地存储和处理大数据是 一大难题。现有技术中已经有诸多可提供有效和强大的并行处理方法，但是由于数据偏态 (skew)的存在，在大数据分布不均衡时，节点会在运行时负载不平衡，部分任务会拖整个 任务的后退，导致系统的性能降低，延长整个任务的时间。 对此，提出了负载平衡的概念，负载平衡是一种计算能力共享的形式，其是为了改 善系统的性能，通过在处理结点之间重新分配负载，把当前重载处理结点的任务传送到轻 载的处理结点执行，目的是使各处理结点之间的负载基本均衡。 但是，现有技术中的负载平衡方案或者影响系统的整体性能，或者增加了平衡负 载的资源消耗，而且由于各种不可控的原因或者故障，大数据的安全性、负载平衡的效果和 准确性不能够得到有效的保障。有鉴于此，本专利技术提出一种在大数据背景下的负载平衡系 统，其能够有效地解决上述技术问题。
技术实现思路
本专利技术的目的之一是提供一种在大数据背景下的负载平衡系统，该系统不影响系 统的整体性能，而且减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原 因或者故障导致的大数据安全性、负载平衡的效果和准确性。 本专利技术为解决上述技术问题而采取的技术方案为：一种在大数据背景下的负载平 衡系统，包括：用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性 和有效性的第一部件；用于确定待处理的大数据的大小并进行目的地空间判断的第二部 件；用于使用规则划分待处理的大数据并进行校验的第三部件；用于对待处理的大数据进 行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。 根据本专利技术的一个方面，进一步包括：用于仅仅在初始阶段将节点分为实体节点 和临时节点并据此进行再次负载平衡的第六部件；其中第六部件进一步包括第六一子部 件，用于：在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实 体节点和一个或多个临时节点。第六部件进一步包括第六二子部件，用于：使计算器计算撷 取的实体节点和临时节点的第二利用参数Ui'，其数量为?其中Φ,表示撷 取的实体节点和临时节点中每个节点的权重，Λ ,表示撷取的实体节点和临时节点中每个 节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。第六部件进一 步包括第六三子部件，用于：使计算器计算差值的第三利用参数UiT'，其值是针对的撷取的 实体节点和临时节点的Ui'的均值或者最小二乘值。第六部件进一步包括用于基于比较平 衡负载的第六四子部件。第六部件进一步包括第六五子部件，用于：在一个任务完成后，控 制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使 用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后 终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足 之后终止重新划分过程。 根据本专利技术的另一个方面，第五部件进一步包括：第五一子部件，用于：确定节点 的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中 i表示第i个节点，i是正整数；Q表示第i个节点的负载参数，而L'表示各个节点的标称 负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Q = f (i)，L' = f'（i);该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各 个节点负载参数的最小二乘值。第五部件进一步包括第五二子部件，用于：定期检测一个或 多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移 动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行。第五部件进一步 包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求； 管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参 数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来 请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的 步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详 细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相 邻节点；第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请 求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。【附图说明】 在附图中通过实例的方式而不是通过限制的方式来示出本专利技术的实施例，其中相 同的附图标记表示相同的元件，其中： 图1图示在大数据背景下的负载平衡方法的流程图。 图2图示在大数据背景下的负载平衡系统的框图。【具体实施方式】 在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是： 可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被 认为具有限制意义。 在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是： 可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被 认为具有限制意义。 根据本专利技术的实施例，图1图示在大数据背景下的负载平衡方法的流程图，包括 但不限于以下步骤： 在步骤S1中，通过有线或无线通信方式接收待处理的大数据，确认大数据的完整 性和有效性； 在步骤S2中，确定待处理的大数据的大小，并进行目的地空间判断；当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种在大数据背景下的负载平衡系统，包括：用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于确定待处理的大数据的大小并进行目的地空间判断的第二部件；用于使用规则划分待处理的大数据并进行校验的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈虹宇，罗阳，苗宁，
申请(专利权)人：四川神琥科技有限公司，
类型：发明
国别省市：四川;51