基于网省地统一调度的多级负载均衡及服务器角色切换方法技术

本发明专利技术公开了一种基于网省地统一调度多级负载均衡及服务器角色切换方法，它采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，自动调节集群的负载状态，数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；本发明专利技术通过系统配置实现动态调度，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换等智能调度。

【技术实现步骤摘要】

本专利技术涉及变电站数据处理，具体来说涉及一种基于网省地三级流媒体统一调度的多级负载均衡及服务器角色切换方法。
技术介绍
随着变电站视频及环境监控系统建设的升级，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据也成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用：存储服务器+IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难、可靠性低和数据无法充分共享等弱点。随着网络视频监控规模的不断扩大,为了提升系统的整体性能与服务质量，防止单点瓶颈的发生，需要将集群与负载均衡技术应用到视频监控系统，做到地区、省、网三级级联同时兼顾视频监控系统特点、码流的实时性与数据量大的特点。
技术实现思路
本专利技术所要解决的技术问题，就是提供一种基于网省地统一调度多级负载均衡及服务器角色切换方法，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换的智能调度。本专利技术的目的可通过以下的技术措施来实现：一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，包括如下内容：采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况；当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情
况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态；数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响；将数据节点上的硬盘拔出，插入到其他数据节点，从而对故障的数据节点上的数据快速恢复，这样既减少集群对数据恢复的压力又不对客户端读写产生影响。本专利技术方法中，采用高速并发访问技术，通过多进程、多线程并行执行，在大规模的数据处理中采用异步并发技术，避免信令交互及数据传输的等待，提高信令交互与数据传输的效率；在并发过程中防止冲突，需要考虑原子操作与并发控制，在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，确保各级客户端各功能的高速并发操作。本专利技术方法中，采用统一命名空间管理，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性；同时，存储的扩展仅限存储内部，不会影响到系统与业务系统的接口，保证了存储空间内数据的高共享能力。有益效果：与现有技术相比，本专利技术采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。本专利技术将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。本专利技术针对南网现状研发网/省/地三级平台不同厂商流媒体服务的标准化注册式集群服务，确保
集群服务软件的标准化程度。通过系统配置实现动态调度，实现基于网、省、地三级流媒体统一调度，实现多级负载均衡及服务器角色切换等智能调度。附图说明图1是本专利技术的多级级联业务组网图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步的说明。本专利技术提供一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，采用中心服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样既减少集群对数据恢复的压力，又不对客户端读写产生影响。通过多进程、多线程并行执行。在大规模的数据处理中采用异步并发技术，避免信令交互及数据传输的等待，提高信令交互与数据传输的效率。在并发过程中防止冲突，需要考虑原子操作与并发控制。在多级级联系统中，信令的触发可以在地区、省、网任意一级，同时各级又多客户端操作，确保各级客户端各功能的高速并发操作。统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、
存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。如图1所示，各业务服务器分布式安装，各业务服务器功能描述如下：平台服务：1)中心管理服务器：业务管理服务器，系统的核心业务服务器。负责处理监控的业务逻辑，进行权限等控制。根据业务逻辑需要，发送命令给DMS、MTS等服务器进行处理。系统的容错、负载均衡、动态集群等都在CMS上实现。2)流媒体服务器：负责从设备获取视音频数据，以标准流媒体协议转发给客户端。实现媒体数据的一对多、多对多转发/分发。3)级联服务器：用于变电站视频及环境监控系统地区主站系统整合及数据采集。4)设备管理服务器：负责进行设备管理，向设备执行查询配置命令，向设备发送操作命令，收集设备网管信息，收集报警信息并执行报警联动策略。站端服务：1)视频质量诊断服务器：通过后端智能视频分析管理，根据平台配置的轮巡计划、任务和方案，对前端视频设备进行轮巡检测分析，对视频的清晰度、亮度、对比度、颜色、运动、噪声、相似度等进行量化，并对出现的视频模糊、视频抖动运动、噪声过大、条纹干扰、视频丢失、视频冻结、视频遮挡和场景变化等异常现象进行报警统计。2)视频浓缩服务器：针对南网视频架构本文档来自技高网...

【技术保护点】
一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，其特征在于包括如下内容：采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况；当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态；数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响；将数据节点上的硬盘拔出，插入到其他数据节点，从而对故障的数据节点上的数据快速恢复，这样既减少集群对数据恢复的压力又不对客户端读写产生影响。

【技术特征摘要】
1.一种基于网省地统一调度的多级负载均衡及服务器角色切换方法，其特征在于包括如下内容：采用中心管理服务器来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件被按块划分存储在不同的数据节点上；元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况；当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态；数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载、空间容量情况，自动选择负载最轻的磁盘存储新的数据文件；当有一个数据节点...

【专利技术属性】
技术研发人员：樊腾飞，李金，陶文伟，张喜铭，何锡祺，赵旋宇，胡荣，
申请(专利权)人：中国南方电网有限责任公司，
类型：发明
国别省市：广东;44