基于大数据分析的网络负载均衡方法和装置制造方法及图纸

本发明专利技术公开了基于大数据分析的网络负载均衡方法和装置，主要包括数据分析挖掘装置，网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析与挖掘装置和数据资源分配装置相连。网络负载均衡处理装置中包含数据处理层、数据调度层、数据迁移层；数据分析与挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储单元；数据资源分配装置包含数据资源监控和数据资源分配。本发明专利技术适用于大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及负载均衡具有重要作用。

Network Load Balancing Method and Device Based on Large Data Analysis

The invention discloses a network load balancing method and device based on large data analysis, mainly including a data analysis and mining device, a network load balancing device and a data resource allocation device. The network load balancing device is respectively connected with a data analysis and mining device and a data resource allocation device. Network load balancing device includes data processing layer, data scheduling layer and data migration layer; data analysis and mining device includes large data interface, data analysis layer, data mining layer and large data storage unit; data resource allocation device includes data resource monitoring and data resource allocation. The invention is suitable for resource scheduling problem in large data network resource environment, and seeks efficient scheduling strategy, which plays an important role in enhancing resource utilization and load balancing of large data network.

【技术实现步骤摘要】
基于大数据分析的网络负载均衡方法和装置
本专利技术涉及移动通信技术，尤其是涉及一种基于大数据分析的网络负载均衡方法和装置。
技术介绍
近几年，随着互联网网络规模不断扩大，网络数据交互也更加广泛。大量互联网数据整合和数据汇聚现象，使数据处理应用量和需求量呈井喷式爆发，互联网所要分析或处理的业务量也日益繁重。针对于海量数据服务，如何将这些数据进行有效均衡调配，为网络用户提供方便快捷的网络搜索服务，成为互联网当前所面临的重要问题。大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及网络负载均衡具有重要作用。
技术实现思路
本专利技术要解决的技术问题是提供一种基于大数据分析的网络负载均衡方法和装置，该装置主要解决了大数据网络虚拟资源与物理资源的均衡调度，确保大数据网络的负载均衡。该装置也为未来网络发展提供有效分析，提前做好网络资源的均衡调整分配，确保未来大数据网络的负载均衡。为了解决现有技术存在的问题，本专利技术采用的技术方案是：基于大数据分析的网络负载均衡装置，包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据本文档来自技高网...

【技术保护点】
1.基于大数据分析的网络负载均衡装置，其特征在于：包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过通信电缆与服务器相连；所述的网络负载均衡处理装置主要包括数据处理层、数据调度层和数据迁移层；所述的数据分析挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储装置；所述的数据资源分配装置包含数据资源监控和数据资源分配。

【技术特征摘要】
1.基于大数据分析的网络负载均衡装置，其特征在于：包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过通信电缆与服务器相连；所述的网络负载均衡处理装置主要包括数据处理层、数据调度层和数据迁移层；所述的数据分析挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储装置；所述的数据资源分配装置包含数据资源监控和数据资源分配。2.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述的数据处理层与数据调度层通过数据电缆相连，数据调度层与数据迁移层通过数据电缆相连；所述的大数据接口、数据分析层、数据挖掘层和大数据存储装置通过数据电缆相连；所述的数据资源监控和数据资源分配是通过通信电缆相连。3.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据处理层将不同类型的数据源水平扩展成分布式数据源；数据调度层使用MapReduce框架作为分布式程序的基础，使用YARM精确控制数据迁移使用的资源；数据迁移层使用分布式文件存储系统将目标集群虚拟为一个整体存储系统。4.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述大数据接口类型包括有数据库接口、文件接口、消息接口和搜索查询接口；数据分析层主要是对收集上来的数据首先按照文件类型进行划分，再次再按照文件大小、文件内容进行分析整理；数据挖掘层将数据分析层分析整理的数据通过统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法的方法进行处理，得出有用的分析信息；并将分析信息存储到大数据存储中或通过通信电缆发送给网络负载均衡处理装置，网络负载均衡处理装置通过接收到的分析信息和数据，对比现阶段网络状况，根据对比结果调整网络资源，达到网络均衡的目的。5.根据权利要求1所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据资源监控起到监督、视察的作用，主要监控大数据网络里的物理机和虚拟机的资源使用情形和运营状况，主要包括网络的通信状况、实时监控、告警信息；对所有收集到的数据信息逐一研究，以便于指导负载均衡调节；数据资源分配主要是通过网络负载均衡处理装置提供的用户信息分置到各用户的虚拟机和服务器上，实现大数据网络负载的均衡；资源分配方法有虚拟机分配和手动分配两种。6.根据权利要求1或2所述的基于大数据分析的网络负载均衡装置，其特征在于：所述通信电缆是数字通信电缆或高速通信电缆。7.根据权利要求2所述的基于大数据分析的网络负载均衡装置，其特征在于：所述数据电缆是COM口数据电缆或USB口数据电缆。8.根据权利要求1所述的基于大数据分析的网络负载均衡装置的均衡方法，其特征在于，包括以下步骤：针对在闲置资源较多的环境中能够有效提高性能情况下，在数据处理层和数据迁移层内部进行数据移动以充分利用闲置资源，从数据角度避免访问热点；在数据调度层设计实现负载均衡的迁移策略，从数据调度避免对同一块数据的热点访问；通过间接迁移技术用来实现集群内部的负载均衡，并通过使用Sharding技术对数据处理层和数据迁移层的优化，直接保证数据的均衡分布，为高效率的数据迁移提供保证。9.根据权利要求1所述的基于大数据分析的网络负载均衡装置的均衡方法，...

【专利技术属性】
技术研发人员：王文成，王浩年，符新，张立武，刘冰婷，曹慧娟，姜文博，李明，
申请(专利权)人：辽宁邮电规划设计院有限公司，
类型：发明
国别省市：辽宁,21