一种基于大数据技术的智能监测方法技术

本发明专利技术公开了一种基于大数据技术的智能监测方法，属于数据监测技术领域，该监测方法具体步骤如下：(1)构建分析图谱以组成分析图谱库并实时更新；(2)对收集的各待检数据进行分类处理；(3)预处理各待检数据再对其进行监测分析；(4)工作人员查看分析结果并下发相关控制指令；(5)采集管理平台日志数据以进行分析管控；本发明专利技术能够自行建模寻参，降低操作难度，方便工作人员使用，同时有效提高了监测效率，并且保证监测准确性，能够给采集数据带来便利性，同时能够实现无需相关专业知识也可进行日志数据分析，而且不用每次收集日志都进行配置操作，节省了工作人员配置时间。节省了工作人员配置时间。节省了工作人员配置时间。

【技术实现步骤摘要】
一种基于大数据技术的智能监测方法


[0001]本专利技术涉及数据监测
，尤其涉及一种基于大数据技术的智能监测方法。

技术介绍

[0002]随着互联网的发展，随着云时代的到来，大数据成为了很多人关注的方面。一个公司所创造出来的数据，通常会被用大数据来形容，将这些数据下载到数据库当中，并且进行分析时，会花费过多的时间以及金钱。随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。而使用大数据对数据进行监测成为数据筛选的重要手段之一；因此，专利技术出一种基于大数据技术的智能监测方法变得尤为重要。
[0003]现有的基于大数据技术的智能监测方法操作难度较高，不方便工作人员使用，降低监测效率且监测准确性差；此外，现有的基于大数据技术的智能监测方法需相关专业知识才可进行日志数据分析，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据技术的智能监测方法，其特征在于，该监测方法具体步骤如下：(1)构建分析图谱以组成分析图谱库并实时更新；(2)对收集的各待检数据进行分类处理；(3)预处理各待检数据再对其进行监测分析；(4)工作人员查看分析结果并下发相关控制指令；(5)采集管理平台日志数据以进行分析管控。2.根据权利要求1所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(1)中所述分析图谱具体构建步骤如下：步骤一：工作人员选择相关领域作为知识范围，之后通过爬虫抓取互联网中相关领域的数据，同时接收工作人员上传的有关数据，并提取各组特征关键词，同时将各特征关键词转换为词向量；步骤二：构建TransD模型接收各组数据，并通过TransD模型使用prefer向量表示空间中原点到财务信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离进行衡量；步骤三：构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为CNN层的输入，并输出相对应的实体表以及关系表，之后安装配置Neo4j数据库，同时启动Neo4j服务并导入数据以完成分析图谱构建。3.根据权利要求2所述的一种基于大数据技术的智能监测方法，其特征在于，步骤三中所述知识图谱嵌入模型学习训练具体步骤如下：步骤Ⅰ：将主题特征向量、词语
‑
实体对齐后的实体向量以及相关实体上下文向量输入知识图谱嵌入模型中，再通过关系
‑
实体对齐转换函数将实体向量、上下文实体向量从实体空间映射到词向量空间，并将特征连接在一起作为输入；步骤Ⅱ：将主题描述文本输入Softmax分类器中，并经过归一化得到主题文本在第k种主题的输出概率，同时采用自适应矩阵估计算法最小化目标函数，再通过反向传播更新每轮迭代过程网络的各种参数，直到模型符合拟合要求为止。4.根据权利要求1所述的一种基于大数据技术的智能监测方法，其特征在于，步骤(3)中所述待检数据具体预处理步骤如下：步骤
①
：通过归一化方法将各组待检数据转换至0到1的区间内，之后计算转换后的各组待检数据的...

【专利技术属性】
技术研发人员：于海洋，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：