大数据平台运行状态的监控系统、计算机设备、终端、介质技术方案

本发明专利技术属于平台监控技术领域，公开了一种大数据平台运行状态的监控系统、计算机设备、终端、介质，系统包括平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块、中央控制模块、运行流程获取模块、监控节点部署模块、运行监控模块、任务类型获取模块、运行状态判定模块。本发明专利技术实现对监控节点的预先部署，方便进行平台运行信息的监控；在进行监控节点部署前进行平台的运行流程的获取，能够实现部署的监控节点与平台运行各阶段的一一对应，进行平台的各阶段运行信息获取更加准确，克服了准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

【技术实现步骤摘要】
大数据平台运行状态的监控系统、计算机设备、终端、介质
本专利技术属于平台监控
，尤其涉及一种大数据平台运行状态的监控系统、计算机设备、终端、介质。
技术介绍
目前：随着社会信息化程度的不断提高，在诸多业务领域产生了海量、实时的数据。当前大数据分析逐渐以非结构化为主，单机存储空间与运算能力难以满足需求，所以基于分布式的hadoop集群、spark集群和storm集群等大数据系统被广泛应用。大数据集群系统通常部署了成百上千个节点，节点规模的扩展不仅使大数据平台的集群资源配置与服务部署维护等越发困难，而且也使大数据平台的计算作业的提交、调度、重试及撤销告警等任务耗时耗力。监控是大数据平台的重要组成部分，大数据系统的动态性、复杂性给大数据平台运行状态的监控带来了诸多困难，如何对集群软硬件资源及不同粒度的作业进行有效监控和预警，并在出现故障时及时采取措施，是提高大数据平台计算准确性与时效性的关键。现有的进行大数据平台的监控的方案是通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态，难以监控到大数据平台的具体业务需求，进行运行状态的获取的准确性偏低。通过上述分析，现有技术存在的问题及缺陷为：现有的进行大数据平台的监控的方案是通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态，难以监控到大数据平台的具体业务需求，进行运行状态的获取的准确性偏低。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种大数据平台运行状态的监控系统、计算机设备、终端、介质。本专利技术是这样实现的，一种大数据平台运行状态的监控系统，所述大数据平台运行状态的监控系统包括：平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块、中央控制模块、运行流程获取模块、监控节点部署模块、运行监控模块、任务类型获取模块、运行状态判定模块；平台信息获取模块，与中央控制模块连接，用于通过平台信息获取程序进行大数据平台建设信息的获取，得到大数据平台建设信息；信息转换与传输模块，与中央控制模块连接，用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输；所述通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输，包括：确定A/D转换对象的物理量与对应电压值之间的线性关系；判断当前物理量下测量的电压值是否存在偏差，若存在偏差，主控机进行A/D转换校准；在完成校准后进行大数据平台建设信息的转换得到转换信息；所述进行大数据平台建设信息的转换得到转换信息，包括：连接并设置主控机的参数以及测试主控机的运行特性；所述测试主控机的运行特性，包括：使主控机处于速度模式下，使主控机进行控制和校正，保证速度内环性能稳定；将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好；运行MFAC主控机中的编译模块；将MFAC算法自动生成DSP代码；通过上位PC机的USB接口将代码下载到数字信号处理器中运行，经过主控机，生成电压输出信号，驱动主控机运行；编程实现MFAC控制方法：计算主控机输出u(k)，其中，所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建，λ＞0为权重系数，用来限制控制输入量的变化；ρ∈(0,1]是额外加入的步长因子，使算法具有更强的灵活性和一般性；是φ(k)在k时刻的估计值；y*(k+1)为期望的输出信号；u(k)，y(k)分别表示系统在k时刻的输入和输出；所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建，包括：u(k)经过延时模块得到u(k-1)；通过cSPACE中SineWave模块给定正弦位置信号即，y*(k+1)；直线电机的输出y(k+1)经光栅检测单元可得到，再经延时模块得到y(k)；由cSPACE中的WM-Write2和WM-Write3可直接在线调节MFAC控制律算法中的λ和ρ值；将估计器的输出接入到Subsystem的In端，输出Out得到y(k)以负反馈的形式与期望信号y*(k+1)连接，由此得到y*(k+1)-y(k)；将输出介入Product模块中，从而得到将输出和u(k-1)接入到Add模块中，其中Add模块中的Listofsigns设置为(++│)；得到MFAC主控机的输出信号u(k)；依据公式计算系统在k时刻的伪偏导数；其中，μ＞0，η∈(0,1]；表示的前一时刻伪偏导数；Δy(k)＝y(k)-y(k-1)；Δu(k-1)＝u(k-1)-u(k-2)；将伪偏导数带入公式由此得到主控机输出u(k)；对转换信息进行传输；信息接收与转换模块，与中央控制模块连接，用于通过信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号，得到大数据平台建设信息；信息分析模块，与中央控制模块连接，用于通过信息分析程序进行获取的大数据平台建设信息的分析，得到信息分析结果；中央控制模块，与平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块连接，用于通过主控机对各连接模块的运行进行控制，保证各个模块正常运行。进一步，所述大数据平台运行状态的监控系统还包括：运行流程获取模块，与中央控制模块连接，用于通过运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取，得到大数据平台的运行流程；监控节点部署模块，与中央控制模块连接，用于通过监控节点部署程序进行大数据平台监控节点的部署；运行监控模块，与中央控制模块连接，用于通过部署的的监控节点进行大数据平台运行的监控，得到大数据平台运行监控结果；任务类型获取模块，与中央控制模块连接，用于通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取；所述大数据平台运行任务的类型包括离线任务与在线任务；运行状态判定模块，与中央控制模块连接，用于通过运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定，得到大数据平台运行状态。进一步，所述通过平台信息获取程序进行大数据平台建设信息的获取，得到大数据平台建设信息，包括：由移动节点构成一个网络，网络中一个数据ID定义一种类型的数据，网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组，所述k-anycast组由定义所述种类型数据的数据ID唯一标识，一个k-anycast组里的移动节点称为骨干节点；在一个包含X个骨干节点且能提供数据C的k-anycast组中，其中，X≥2，骨干节点Bx由唯一网络前缀Mx标识，k-anycast组由网络前缀集合G定义，如下式：其中，X≥x≥1；骨干节点或者移动节点的地址包括两个部分：i比特的网络前缀和j比特的节点ID；网络前缀包括k比特的数据ID和(i-k)比特的骨干ID，节点ID包括k比特的数据ID和(j-k本文档来自技高网...

【技术保护点】
1.一种大数据平台运行状态的监控系统，其特征在于，所述大数据平台运行状态的监控系统包括：/n平台信息获取模块，与中央控制模块连接，用于通过平台信息获取程序进行大数据平台建设信息的获取，得到大数据平台建设信息；/n信息转换与传输模块，与中央控制模块连接，用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输；/n所述通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输，包括：/n确定A/D转换对象的物理量与对应电压值之间的线性关系；/n判断当前物理量下测量的电压值是否存在偏差，若存在偏差，主控机进行A/D转换校准；/n在完成校准后进行大数据平台建设信息的转换得到转换信息；/n所述进行大数据平台建设信息的转换得到转换信息，包括：/n连接并设置主控机的参数以及测试主控机的运行特性；所述测试主控机的运行特性，包括：使主控机处于速度模式下，使主控机进行控制和校正，保证速度内环性能稳定；将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好；运行MFAC主控机中的编译模块；将MFAC算法自动生成DSP代码；通过上位PC机的USB接口将代码下载到数字信号处理器中运行，经过主控机，生成电压输出信号，驱动主控机运行；/n编程实现MFAC控制方法：/n计算主控机输出u(k)，...

【技术特征摘要】
1.一种大数据平台运行状态的监控系统，其特征在于，所述大数据平台运行状态的监控系统包括：
平台信息获取模块，与中央控制模块连接，用于通过平台信息获取程序进行大数据平台建设信息的获取，得到大数据平台建设信息；
信息转换与传输模块，与中央控制模块连接，用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输；
所述通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输，包括：
确定A/D转换对象的物理量与对应电压值之间的线性关系；
判断当前物理量下测量的电压值是否存在偏差，若存在偏差，主控机进行A/D转换校准；
在完成校准后进行大数据平台建设信息的转换得到转换信息；
所述进行大数据平台建设信息的转换得到转换信息，包括：
连接并设置主控机的参数以及测试主控机的运行特性；所述测试主控机的运行特性，包括：使主控机处于速度模式下，使主控机进行控制和校正，保证速度内环性能稳定；将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好；运行MFAC主控机中的编译模块；将MFAC算法自动生成DSP代码；通过上位PC机的USB接口将代码下载到数字信号处理器中运行，经过主控机，生成电压输出信号，驱动主控机运行；
编程实现MFAC控制方法：
计算主控机输出u(k)，
其中，所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建，λ＞0为权重系数，用来限制控制输入量的变化；ρ∈(0,1]是额外加入的步长因子，使算法具有更强的灵活性和一般性；是φ(k)在k时刻的估计值；y*(k+1)为期望的输出信号；u(k)，y(k)分别表示系统在k时刻的输入和输出；
所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建，包括：
u(k)经过延时模块得到u(k-1)；通过cSPACE中SineWave模块给定正弦位置信号即，y*(k+1)；直线电机的输出y(k+1)经光栅检测单元可得到，再经延时模块得到y(k)；由cSPACE中的WM-Write2和WM-Write3可直接在线调节MFAC控制律算法中的λ和ρ值；将估计器的输出接入到Subsystem的In端，输出Out得到y(k)以负反馈的形式与期望信号y*(k+1)连接，由此得到y*(k+1)-y(k)；将输出介入Product模块中，从而得到将输出和u(k-1)接入到Add模块中，其中Add模块中的Listofsigns设置为(++│)；得到MFAC主控机的输出信号u(k)；
依据公式计算系统在k时刻的伪偏导数；
其中，μ＞0，η∈(0,1]；表示的前一时刻伪偏导数；
Δy(k)＝y(k)-y(k-1)；Δu(k-1)＝u(k-1)-u(k-2)；
将伪偏导数带入公式由此得到主控机输出u(k)；
对转换信息进行传输；
信息接收与转换模块，与中央控制模块连接，用于通过信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号，得到大数据平台建设信息；
信息分析模块，与中央控制模块连接，用于通过信息分析程序进行获取的大数据平台建设信息的分析，得到信息分析结果；
中央控制模块，与平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块连接，用于通过主控机对各连接模块的运行进行控制，保证各个模块正常运行。


2.如权利要求1所述大数据平台运行状态的监控系统，其特征在于，所述大数据平台运行状态的监控系统还包括：
运行流程获取模块，与中央控制模块连接，用于通过运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取，得到大数据平台的运行流程；
监控节点部署模块，与中央控制模块连接，用于通过监控节点部署程序进行大数据平台监控节点的部署；
运行监控模块，与中央控制模块连接，用于通过部署的的监控节点进行大数据平台运行的监控，得到大数据平台运行监控结果；
任务类型获取模块，与中央控制模块连接，用于通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取；所述大数据平台运行任务的类型包括离线任务与在线任务；
运行状态判定模块，与中央控制模块连接，用于通过运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定，得到大数据平台运行状态。


3.如权利要求1所述大数据平台运行状态的监控系统，其特征在于，所述通过平台信息获取程序进行大数据平台建设信息的获取，得到大数据平台建设...

【专利技术属性】
技术研发人员：王贺，高健伦，顾志诚，
申请(专利权)人：杭州雅观科技有限公司，
类型：发明
国别省市：浙江;33