一种智能运维支撑方法技术

技术编号:25755812 阅读:20 留言:0更新日期:2020-09-25 21:05
本发明专利技术提供了一种智能运维支撑方法。包括通过资源虚拟化的云操作系统进行资源动态调度;基于参数配置,确定所述资源动态调度的工作路径;对所述工作路径进行监控,通过线程状态显示所述资源动态调度的异常。本发明专利技术的有益效果在于:通过云操作系统,进行数据虚拟化,因此可以实现数据的瞬时连接,接入设备不受硬件设施的限制。资源实现自动调度,而且通过监控,实现资源数据调度过程中的可视化运维。因为可以实现资源的自动调度进而可以实现通过资源调度实现异常故障自动迁移,支持备份和自动恢复。

【技术实现步骤摘要】
一种智能运维支撑方法
本专利技术涉及资源智能管理
,特别涉及一种智能运维支撑方法。
技术介绍
目前,在大数据技术中,已经实现了大数据流数据的调度,大数据得到数据资源可以应用于各行各业。但是,在大数据的应用领域并没有一套完整的大数据资源调度运维的系统或平台,实现用户在调取大数据数据集群中的资料时能够资源的动态、灵活且便捷的调度系统。在没有资源调度运维管理的系统情况下,用户在进行资源调度时很可能会出现资源或者用户不可信状态,使得数据调度异常,而进行数据调度的用户还无法得知调取的数据时异常数据,没有完善的数据监控系统。
技术实现思路
本专利技术提供种智能运维支撑方法,用以解决大数据的资源调度难、不可信和数据调度无监控的情况。一种智能运维支撑方法,其特征在于,包括:通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置;根据所述资源动态调度的参数配置,确定所述资源动态调度的工作路径;对所述工作路径进行监控,获取所述工作路径的线程状态,并根据所述线程状态判断是否异常。作为本专利技术的一种实施例,所述通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置,包括:通过跨分布式的应用程序和框架实现对资源调度集群的资源隔离和共享;其中,所述应用程序和框架用于发布隔离任务和共享任务,并对所述隔离任务和共享任务进行计算,获取任务进程的参数配置;所述应用程序包括但不限于容错机制软件、任务隔离软件和资源计算配置软件;所述框架包括但不限于容错机制框架、任务隔离框架和资源计算配置框架;所述应用程序和框架组成所述云操作系统;所述资源调度集群包括:计算资源、网络资源和存储资源。作为本专利技术的一种实施例,所述通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置,包括:通过所述应用程序发出资源分配任务,并在所述资源调度集群上运行所述资源分配任务;通过轻量级的容器化和隔离功能对所述资源调度集群的集群资源进行模块化。作为本专利技术的一种实施例,所述资源动态调度集群包括主节点和从节点;其中,所述主节点用于控制所述应用程序的任务在所述资源动态调度集群的从节点上运行;所述主节点用于跨应用或框架的细粒度资源共享;所述主节点根据所述源动态调度集群的分配策略分配资源给应用程序;其中,所述分配策略至少包括:公平共享策略和优先级策略;所述主节点具有模块化结构,并通过增加插件添加新的模块,并通过新的模块支持多样性的分配策略。作为本专利技术的一种实施例,所述应用程序包括调度器和执行进程;其中,所述调度器为多个;所述调度器用于在所述主节点上注册,并获取集群资源;所述调度器还用于对所述主节点上的资源进行选择;所述调度器还用于通过所述主节点将任务发送到从节点上;所述执行进程应用于所述从节点上,所述从节点根据所述执行进程执行所述调度器发送到所述从节点上的任务。作为本专利技术的一种实施例,所述通过轻量级的容器化和隔离功能对所述资源调度集群的集群资源进行模块化,包括:通过分配器将所述资源动态调度集群的资源定期分配给所述框架,所述框架根据所述框架的用户定义资源分配的算法;将所述算法的用户通过PAM、LDAP、MySQL、NIS和UNIX进行身份认证;在认证成功后,通过预设的文件系统隔离器让所述资源动态调度集群的资源都拥有专有的目录空间,实现集群资源模块化。作为本专利技术的一种实施例,所述根据所述资源动态调度的参数配置,确定所述资源动态调度的工作路径包括:根据所述参数配置,以option_name=value来传递配置路径选项;其中,所述路径选项包括绝对路径或相对当前工作目录的相对路径;通过预设的SSL安全访问控制机制对所述资源动态调度的用户信息进行加密。作为本专利技术的一种实施例,所述对所述工作路径进行监控,获取所述工作路径的线程状态,并根据所述线程状态判断是否异常,包括:通过所述线程状态,确定统计数据和指标,判断是否发生异常,并生成监控报告;其中,所述监控报告包括可用资源、已经使用的资源、已经注册的框架、活跃的从节点和任务的状态;所述监控报告根据时间序列以监控图标的形式显示。一种智能运维支撑方法,其特征在于,包括:通过资源虚拟化的云操作系统进行资源动态调度;基于所述资源动态调度的参数配置,确定所述资源动态调度的工作路径对所述工作路径进行监控,通过线程状态显示所述资源动态调度的异常。作为本专利技术的一种实施例:所述通过所述线程状态,确定统计数据和指标,判断是否发生异常,包括以下步骤:步骤1:获取统计数据H其中,所述ki表示第i个网络资源;所述pj表示第j个计算资源;所述ml表示第l个存储资源;所述L表示有L个数据进行统计,所述xi第i个网络资源调度量;所述yj表示第j个计算资源调度量;所述ml表示第l个存储资源调度量;步骤2:获取指标数据K所述xi表示网络资源指标量,所述ys表示计算资源指标量;所述ms表示存储资源指标量;步骤3:将所述统计数据H和指标数据K进行对比,判断所述虚拟动态调度模块是否发生异常;当所述H>K时,所述统计数据超过指标,发生异常;当所述H≤K时,所述统计数据没有超过指标,没有发生异常。本专利技术的有益效果在于:(1)本专利技术支持海量关键装备/业务系统等要素的数据瞬时连接,数据边缘处理,接入设备/业务系统的数量可以根据需要添加,数据采集点10万级以上。(2)本专利技术可部署节点规模,基于线程监控,实现在现有技术1024个节点规模以上数据中心部署、资源自动调度,可视化运维管理。(3)数据加载高效:基于大数据和云操作系统,装载数据速度能够大于1TB/小时,提供面向特定领域大数据知识动态存储。(4)可扩展性:资源动态调度集群的单个集群可达到现有技术的1024个节点之上,10PB级的数据动态访问存储,进而可以支持100万级以上用户。(5)数据加载高效:基于大数据技术,和云处理服务器,装载数据速度大于1TB/小时,提供面向特定领域的10PB级大数据知识动态存储。(6)具有良好的可靠性,能故障自动迁移,支持备份和自动恢复。本专利技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例,对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解,并且构成说明书的一部分,与本专利技术的实施例一起用于解释本专利技术,并不构成对本专利技术的限制。在附图中:图1为本专利技术实施例中一种智能运维支撑方法的方法流程图;...

【技术保护点】
1.一种智能运维支撑方法,其特征在于,包括:/n通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置;/n根据所述资源动态调度的参数配置,确定所述资源动态调度的工作路径;/n对所述工作路径进行监控,获取所述工作路径的线程状态,并根据所述线程状态判断是否异常。/n

【技术特征摘要】
1.一种智能运维支撑方法,其特征在于,包括:
通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置;
根据所述资源动态调度的参数配置,确定所述资源动态调度的工作路径;
对所述工作路径进行监控,获取所述工作路径的线程状态,并根据所述线程状态判断是否异常。


2.根据权利要求1所述的一种智能运维支撑方法,其特征在于,所述通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置,包括:
通过跨分布式的应用程序和框架实现对资源调度集群的资源隔离和共享;其中,
所述应用程序和框架用于发布隔离任务和共享任务,并对所述隔离任务和共享任务进行计算,获取任务进程的参数配置;
所述应用程序包括但不限于容错机制软件、任务隔离软件和资源计算配置软件;
所述框架包括但不限于容错机制框架、任务隔离框架和资源计算配置框架;
所述应用程序和框架组成所述云操作系统;
所述资源调度集群包括:计算资源、网络资源和存储资源。


3.根据权利要求2所述的一种智能运维支撑方法,其特征在于,所述通过资源虚拟化的云操作系统进行资源动态调度,并确定所述资源动态调度的参数配置,包括:
通过所述应用程序发出资源分配任务,并在所述资源调度集群上运行所述资源分配任务;
通过轻量级的容器化和隔离功能对所述资源调度集群的集群资源进行模块化。


4.根据权利要求3所述的一种智能运维支撑方法,其特征在于,所述资源动态调度集群包括主节点和从节点;其中,
所述主节点用于控制所述应用程序的任务在所述资源动态调度集群的从节点上运行;
所述主节点用于跨应用或框架的细粒度资源共享;
所述主节点根据所述源动态调度集群的分配策略分配资源给应用程序;其中,
所述分配策略至少包括:公平共享策略和优先级策略;
所述主节点具有模块化结构,并通过增加插件添加新的模块,并通过新的模块支持多样性的分配策略。


5.根据权利要求3所述的一种智能运维支撑方法,其特征在于,所述应用程序包括调度器和执行进程;其中,
所述调度器为多个;
所述调度器用于在所述主节点上注册,并获取集群资源;
所述调度器还用于对所述主节点上的资源进行选择;
所述调度器还用于通过所述主节点将任务发送到从节点上;
所述执行进程应用于所述从节点上,所述从节点根据...

【专利技术属性】
技术研发人员:王军平
申请(专利权)人:北京赛博云睿智能科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1