基于负载均衡器的负载数据管理方法及系统技术方案

本发明专利技术涉及一种基于负载均衡器的负载数据管理方法及系统，包括以下步骤：1）采集负载均衡器负载相关的数据，形成原始数据；2）对采集到的数据进行治理，将数据分成结构化数据和非结构化数据；3）将结构化数据和非结构化数据进行分类存储；4）通过端口实现负载数据查询；5）通过算法实现辅助策略和策略匹配查询；该基于负载均衡器的负载数据管理方法及系统解决了数据无法共享的问题，从而消除数据孤岛，充分发挥数据的潜在价值。分发挥数据的潜在价值。分发挥数据的潜在价值。

【技术实现步骤摘要】
基于负载均衡器的负载数据管理方法及系统


[0001]本专利技术涉及软件开发
，特别涉及一种基于负载均衡器的负载数据管理方法及系统。

技术介绍

[0002]负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡设备不是基础网络设备，而是一种性能优化设备。对于网络应用而言，并不是一开始就需要负载均衡，当网络应用的访问量不断增长，单个处理单元无法满足负载需求时，网络应用流量将要出现瓶颈时，负载均衡才会起到作用。
[0003]负载均衡有两方面的含义：第一层含义，单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高，这就是我们常说的集群（clustering）技术。第二层含义就是：大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间，这主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应用。
[0004]通常，负载均衡会根据网络的不同层次（网络七层）来划分。其中，第二层的负载均衡指将多条物理链路当作一条单一的聚合逻辑链路使用，这就是链路聚合（Trunking）技术，它不是一种独立的设备，而是交换机等网络设备的常用技术。现代负载均衡技术通常操作于网络的第四层或第七层，这是针对网络应用的负载均衡技术，它完全脱离于交换机、服务器而成为独立的技术设备，参考图1。
[0005]参考图2，目前，很多公司以负载均衡器负载均衡作为性能优化设备，担当起公司高并发、大数据流量的负载均衡需求，负载均衡器负载的配置和查询需要由专职网络管理人员负责操作；负载均衡器负载的配置主要通过两种方式，一是在负载均衡器 web页面上操作，二是在命令行上编辑配置文件和执行相关命令；负载均衡器负载信息由负载均衡器厂商提供web界面查询，但信息抽象而零散。如此，会存在以下问题;1、受限于系统权限和安全管控，负载均衡器负载配置和查询操作只能由网络管理人员负责， 造成网络管理人员疲于应付运维人员和开发人员的各种配置和查询需求，效率比较低下。
[0006]2、无论是采用负载均衡器 web页面，还是采用命令行操作，对操作人员的专业知识和技能要求很高，对操作容错性的判断比较低，导致配置和查询的效率不高。
[0007] 3、虽然负载均衡器厂商提供web界面查询负载等信息，但是信息的组织高度抽象、专业术语较多，非网络管理人员使用起来难度较大，不利于日常工作的开展。
[0008] 4、负载均衡器厂商并未提供对外的负载等信息的API查询接口，造成信息无法共享，形成数据孤岛，不利于挖掘数据的潜在价值，无法发挥数据在运维、开发、运营等各个领域的数据支撑作用。

技术实现思路

[0009]基于此，有必要提供一种基于负载均衡器的负载数据管理方法及系统，从而解决数据无法共享的问题，从而消除数据孤岛，充分发挥数据的潜在价值。
[0010]本专利技术实施例一方面提供一种基于负载均衡器的负载数据管理方法，包括以下步骤：1）采集负载均衡器负载相关的数据，形成原始数据；2）对采集到的数据进行治理，将数据分成结构化数据和非结构化数据；3）将结构化数据和非结构化数据进行分类存储；4）通过端口实现负载数据查询；5）通过算法实现辅助策略和策略匹配查询。
[0011]优选地，所述数据采集的具体方法为：利用脚本工具，通过读取负载均衡器配置文件信息或者爬虫抓取的方式，定时采集负载均衡器负载相关的数据，为数据解析过程提供原始数据。
[0012]优选地，所述数据治理包括以下步骤：先采集到的数据进行数据解析；再对解析后的数据进行数据清洗；最后对经过清洗的数据进行数据聚合。
[0013]优选地，所述数据解析的具体方法为：利用正则表达式和自定义匹配算法，编写解析脚本，定时解析数据采集过程中获得的原始数据，获得结构化数据和非结构化数据。
[0014]优选地，所述数据清洗的具体方法为：将解析后获得的冗余数据和脏数据清洗掉，得到符合业务主体的、干净的数据。
[0015]优选地，所述数据聚合的具体方法为：将经过清洗的数据按照业务场景主体将数据整合。
[0016]优选地，将所述结构化数据存储于关系数据库，将非结构化数据存储于非关系化数据库。
[0017]优选地，所述负载数据查询的方法为，通过通过vs监听地址、vs监听端口、pool成员地址和pool成员端口，利用IP段匹配和端口范围匹配算法，实现负载均衡器负载链路的正向和逆向查询；所述负载数据及策略查询的方法为，通过负载均衡器策略的算法匹配，实现负载均衡器负载数据及策略的匹配和查找；所述策略匹配查询的方法为，通过负载均衡器策略的算法匹配，实现负载均衡器负载数据及策略的匹配和查找。
[0018]本专利技术还提供一种基于负载均衡器的负载数据管理系统，包括数据采集模块，采集负载均衡器负载相关的数据；数据治理模块，对采集到的数据进行治理；存储模块，将聚合后的数据分成结构化数据和非结构化数据进行分类存储；查询模块，通过端口实现负载数据查询；通过算法实现辅助策略和策略匹配查询。
[0019]优选地，所述数据治理模块包括：数据解析模块，基于数据采集过程中获得的原始数据，利用正则表达式和自定义匹配算法，编写解析脚本，定时解析获得结构化数据和非结
构化数据；数据清洗模块：将解析后获得的冗余数据和脏数据清洗掉，得到符合业务主体的、干净可以用的数据；数据聚合模块：将经过清洗的数据按照业务场景主体将数据整合。
[0020]本专利技术提供的基于负载均衡器的负载数据管理方法及系统，通过数据采集、数据治理的过程，实现了负载均衡器负载数据的有效利用，挖掘了负载均衡器负载数据的潜在价值，为运维、开发等提供安全、可靠的基础数据；通过负载均衡器负载信息查询的统一和标准化，达成信息共享，消除信息孤岛，破除权限壁垒，解放网络管理人员双手，提高服务治理效率和效果，降低系统的开发和运维管理成本。
附图说明
[0021]通过附图中所示的本专利技术优选实施例更具体说明，本专利技术上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本的主旨。
[0022]图1为负载均衡器负载均衡架构图；图2为现有技术中负载均衡器负载数据处理流程图；图3为本专利技术的基于负载均衡器的负载数据管理方法流程图；图4为本专利技术的数据采集过程图；图5为本专利技术的数据解析过程图；图6为本专利技术的数据整合过程图；图7为基于负载均衡器的负载数据管理系统的结构框图。
具体实施方式
[0023]下面结合附图和具体实施例对本专利技术技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。
[0024]如图1
‑
7所示，本专利技术实施例一方面提供一种基于负载均衡器的负载数据管理方法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于负载均衡器的负载数据管理方法，其特征在于，包括以下步骤：1）采集负载均衡器负载相关的数据，形成原始数据；2）对采集到的数据进行治理，将数据分成结构化数据和非结构化数据；3）将结构化数据和非结构化数据进行分类存储；4)对数据进行查询。2.如权利要求1所述的基于负载均衡器的负载数据管理方法，其特征在于，所述数据采集的具体方法为：利用脚本工具，通过读取负载均衡器配置文件信息或者爬虫抓取的方式，定时采集负载均衡器负载相关的数据，为数据解析过程提供原始数据。3.如权利要求1所述的基于负载均衡器的负载数据管理方法，其特征在于，所述数据治理包括以下步骤：先采集到的数据进行数据解析；再对解析后的数据进行数据清洗；最后对经过清洗的数据进行数据聚合。4.如权利要求3所述的基于负载均衡器的负载数据管理方法，其特征在于，所述数据解析的具体方法为：利用正则表达式和自定义匹配算法，编写解析脚本，定时解析数据采集过程中获得的原始数据，获得结构化数据和非结构化数据。5.如权利要求3所述的基于负载均衡器的负载数据管理方法，其特征在于，所述数据清洗的具体方法为：将解析后获得的冗余数据和脏数据清洗掉，得到符合业务主体的、干净的数据。6.如权利要求3所述的基于负载均衡器的负载数据管理方法，其特征在于，所述数据聚合的具体方法为：将经过清洗的数据按照业务场景主体将数据整合。7.如权利要求1所述的基于负载均衡器的负载数据管理方法，其特征在于，将所述结构化数据存储于...

【专利技术属性】
技术研发人员：林培湛，杨菲，李刚，
申请(专利权)人：中邮消费金融有限公司，
类型：发明
国别省市：