一种大数据实时监控系统及方法技术方案

本发明专利技术涉及数据分析技术领域，尤其为一种大数据实时监控系统及方法，包括：监控采集处理模块：用于实时监控和采集大数据，并对采集的大数据进行处理；处理模型搭建模块：用于搭建大数据运行系统的FNN神经网络并进行参数寻优；大数据检测模块：用于通过参数优化后的FNN神经网络对大数据特征数据进行检测；异常告警模块：用于根据所述大数据检测模块检测出现异常的大数据特征数据进行告警。本发明专利技术通过搭建大数据的FNN神经网络，通过优化蜻蜓算法对其参数进行寻优，基于对蜻蜓算法的部分权重因子进行动态调整，提高参数寻优效率，为检修人员争取最佳检修时间，降低大数据运行系统的受损程度。程度。程度。

【技术实现步骤摘要】
一种大数据实时监控系统及方法


[0001]本专利技术涉及数据分析
，尤其是一种大数据实时监控系统及方法。

技术介绍

[0002]大数据需要新处理模式才能具有更强的洞察发现力、决策力和流程优化能力，以此来适应高增长率、海量和多样化的信息资产。大数据具有数据规模巨大、数据类型多样、数据流转快速和价值密度低四大特征。在大数据监控分析方面已经有许多可以利用的算法。目前在大数据监控系统使用时，运用FNN神经网络算法能够较好地克服主观性对评价结果的影响，因为FNN神经网络本身具有非线性变换和自我调节学习的能力，但FNN神经网络算法容易出现局部极小值的问题，以遗传算法(GA)优化FNN神经网络参数，可以提高FNN神经网络的精度，但会出现在最优解附近摇摆不定的现象；用粒子群优化FNN神经网络权值和阈值，可以较准确地找到全局最优值，但在数据量庞大的情况下又难以满足高效运算的要求。

技术实现思路

[0003]本专利技术的目的是通过提出一种大数据实时监控系统及方法，以解决上述
技术介绍
中提出的缺陷。故本专利技术将大数据监控系统与神经网络相结合，通过优化蜻蜒算法优化FNN神经网络的参数，能够快速处理大量数据，满足全局和局部的同时优化，实现对大数据实时监控结果更加准确，进而提升系统性能。
[0004]本专利技术采用的技术方案如下：
[0005]提供一种大数据实时监控系统，包括：
[0006]监控采集处理模块：用于实时监控和采集大数据，并对采集的大数据进行处理；
[0007]处理模型搭建模块：用于搭建大数据运行系统的FNN神经网络并进行参数寻优；
[0008]大数据检测模块：用于通过参数优化后的FNN神经网络对大数据特征数据进行检测；
[0009]异常告警模块：用于根据所述大数据检测模块检测出现异常的大数据特征数据进行告警。
[0010]作为本专利技术的一种优选技术方案：所述模型搭建模块基于获取的大数据特征数据搭建FNN神经网络并基于优化蜻蜒算法对FNN神经网络中的输入层、隐藏层和输出层之间的权重和阈值进行寻优。
[0011]作为本专利技术的一种优选技术方案：所述优化蜻蜒算法如下：
[0012]X
i
(t+1)＝X
i
(t)+ΔX
i
(t+1)
[0013]ΔX
i
(t+1)＝[aA
i
(t)+bB
i
(t)+cC
i
(t)+dD
i
(t)+eE
i
(t)]+αΔX
i
(t)
[0014]其中，X
i
(t+1)表示第t+1次迭代蜻蜒i的位置，X
i
(t)表示第t次迭代蜻蜒i的位置，ΔX
i
(t+1)表示第t+1次迭代蜻蜒i的移动步长，α表示惯性权重系数，ΔX
i
(t)表示第t次迭代蜻蜒i的移动步长，A
i
(t)表示第t次迭代蜻蜒i分离度，B
i
(t)表示第t次迭代蜻蜒i对齐速度，
C
i
(t)表示第t次迭代蜻蜒i聚拢度，D
i
(t)表示第t次迭代蜻蜒i觅食能力，E
i
(t)表示第t次迭代蜻蜒i避敌能力，a、b、c、d、e分别为对应五种行为的权重；
[0015]A
i
(t)、B
i
(t)、C
i
(t)、D
i
(t)、E
i
(t)满足：
[0016][0017][0018][0019]D
i
(t)＝X
+
(t)
‑
X
i
(t)
[0020]E
i
(t)＝X
‑
(t)
‑
X
i
(t)
[0021]其中，X
j
(t)表示第t次迭代蜻蜒i的相邻蜻蜓j的位置，N表示蜻蜒总数；V
j
(t)表示第t次迭代蜻蜒i的相邻蜻蜓j的速度；X
+
(t)表示第t次迭代食物的位置；X
‑
(t)表示第t次迭代天敌的位置；
[0022]当X
i
(t)周围没有临近个体时，X
i
(t)采用随机游走行为进行更新：
[0023][0024]其中，r1、r2为(0，1)之间的随机数，f为常数，σ为阶乘函数，且σ(f)＝f！，
[0025]作为本专利技术的一种优选技术方案：所述监控采集处理模块还对采集的大数据进行数据清洗和数据归一化处理，以及对处理后的大数据进行特征提取。
[0026]作为本专利技术的一种优选技术方案：所述优化蜻蜒算法中，设定权重b＝c，对权重b和c进行如下的动态调整：
[0027][0028][0029][0030][0031]其中，b
′
和c
′
表示权重b和权重c动态调整前对应的权重，β1、β2和β3表示控制系数，b
max
和b
min
表示权重b
′
最大值和最小值，c
max
和c
min
示权重c
′
最大值和最小值，T表示最大迭代次数。
[0032]作为本专利技术的一种优选技术方案：所述处理模型搭建模块中，对大数据运行系统
中的各节点均建立FNN神经网络结构，并采用优化蜻蜒算法对各节点的FNN神经网络结构进行优化。
[0033]作为本专利技术的一种优选技术方案：所述大数据检测模块基于FNN神经网络的检测函数g(x)对输入的大数据特征神经进行检测：
[0034][0035]其中，Q
I
表示与第k层节点相连接的第k
‑
1层节点的集合，J表示与第k层节点相连接的第k
‑
1层节点，表示输入层的第I个点的第J个输入的大数据特征数据，表示第k层高斯隶属函数的均值和方差。
[0036]作为本专利技术的一种优选技术方案：所述异常告警模块根据所述大数据检测模块的检测函数的检测值划分一级警戒阈值、二级警戒阈值和三级警戒阈值。
[0037]作为本专利技术的一种优选技术方案：所述异常告警模块还根据所述大数据检测模块中的实际检测函数的检测值与划分一级警戒阈值、二级警戒阈值和三级警戒阈值的大小关系发出告警或发出不同级别告警。
[0038]提供一种大数据实时监控方法，包括如下步骤：
[0039]S1：实时监控采集大数据；
[0040]S2：对采集的大数据进行预处理；
[0041]S3：对预处理后的大数据进行特征提取；
[0042]S4：搭建大数据运行系统的FNN神经网络并进行参数寻优；
[0043]S5：通过参数优化后的FNN神经网络对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据实时监控系统，其特征在于：包括：监控采集处理模块(100)：用于实时监控和采集大数据，并对采集的大数据进行处理；处理模型搭建模块(200)：用于搭建大数据运行系统的FNN神经网络并进行参数寻优；大数据检测模块(300)：用于通过参数优化后的FNN神经网络对大数据特征数据进行检测；异常告警模块(400)：用于根据所述大数据检测模块(300)检测出现异常的大数据特征数据进行告警；所述模型搭建模块(400)基于获取的大数据特征数据搭建FNN神经网络并基于优化蜻蜓算法对FNN神经网络中的输入层、隐藏层和输出层之间的权重和阈值进行寻优；所述优化蜻蜓算法如下：X
i
(t+1)＝X
i
(t)+ΔX
i
(t+1)ΔX
i
(t+1)＝[aA
i
(t)+bB
i
(t)+cC
i
(t)+dD
i
(t)+eE
i
(t)]+αΔX
i
(t)其中，X
i
(t+1)表示第t+1次迭代蜻蜓i的位置，X
i
(t)表示第t次迭代蜻蜓i的位置，ΔX
i
(t+1)表示第t+1次迭代蜻蜓i的移动步长，α表示惯性权重系数，ΔX
i
(t)表示第t次迭代蜻蜓i的移动步长，A
i
(t)表示第t次迭代蜻蜓i分离度，B
i
(t)表示第t次迭代蜻蜓i对齐速度，Ci(t)表示第t次迭代蜻蜓i聚拢度，D
i
(t)表示第t次迭代蜻蜓i觅食能力，Ei(t)表示第t次迭代蜻蜓i避敌能力，a、b、c、d、e分别为对应五种行为的权重；A
i
(t)、B
i
(t)、C
i
(t)、D
i
(t)、E
i
(t)满足：(t)满足：(t)满足：D
i
(t)＝X
+
(t)
‑
X
i
(t)E
i
(t)＝X
‑
(t)
‑
X
i
(t)其中，X
j
(t)表示第t次迭代蜻蜓i的相邻蜻蜓j的位置，N表示蜻蜓总数；V
j
(t)表示第t次迭代蜻蜓i的相邻蜻蜓j的速度；X
+
(t)表示第t次迭代食物的位置；X
‑
(t)表示第t次迭代天敌的位置；当X
i
(t)周...

【专利技术属性】
技术研发人员：陈鹏，花强，孙轩晖，
申请(专利权)人：常州易宝网络服务有限公司，
类型：发明
国别省市：