大数据平台监控方法技术

本申请提供一种大数据平台监控方法

【技术实现步骤摘要】
大数据平台监控方法、装置和设备


[0001]本申请涉及大数据
，尤其涉及一种大数据平台监控方法
、
装置和设备
。

技术介绍

[0002]随着大数据技术的发展，使得大数据的应用越来越广泛，产业界很多领域包括银行业都致力于建设各自的大数据平台，但是大规模数据不断叠加导致平台中出现异常的概率越来越大
。
[0003]现有技术中，对于大数据平台的异常检测，通常是银行业务人员登录大数据平台展示面板，人工发现数据缺失，或者数据不符合预期后倒排查问题原因
。
[0004]但是，现有技术的这种方式，人工排查存在检测效率低
、
准确性差的问题，导致异常检测的效果很差
。

技术实现思路

[0005]本申请提供一种大数据平台监控方法
、
装置和设备，用以解决大数据平台人工排查数据信息是否异常，效果差的问题
。
[0006]第一方面，本申请提供一种大数据平台监控方法，包括：
[0007]获取大数据平台的数据信息，所述数据信息包括大数据平台的告警日志信息
、
业务机构的业务关键数据中的至少一种；
[0008]确定用于对所述数据信息进行异常检测的规则库中是否存在目标规则；
[0009]若所述规则库中不存在规则，则根据预设聚类算法进行规则训练，生成规则；
[0010]根据所述规则库中的规则，对所述数据信息进行异常检测；
[0011]获取与所述规则库中的规则匹配的第一数据信息和
/
或与所述规则库中规则不匹配的第二数据信息；
[0012]根据所述第一数据信息和
/
或第二数据信息，确定所述大数据平台是否存在异常
。
[0013]第二方面，一种大数据平台监控装置，包括：
[0014]信息获取模块，用于获取大数据平台的数据信息，所述数据信息包括大数据平台的告警日志信息
、
业务机构的业务关键数据中的至少一种；
[0015]规则确定模块，用于确定用于对所述数据信息进行异常检测的规则库中是否存在目标规则；
[0016]规则生成模块，用于若所述规则库中不存在规则，则根据预设聚类算法进行规则训练，生成规则；
[0017]异常检测模块，用于根据所述规则库中的规则，对所述数据信息进行异常检测；
[0018]规则匹配模块，用于获取与所述规则库中的规则匹配的第一数据信息和
/
或与所述规则库中规则不匹配的第二数据信息；
[0019]异常确定模块，用于根据所述第一数据信息和
/
或第二数据信息，确定所述大数据平台是否存在异常
。
[0020]第三方面，一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如上述的方法
。
[0021]本申请提供的大数据平台监控方法
、
装置和设备，通过聚类算法训练生成规则库中的规则，并通过规则库中的规则对大数据平台的数据信息进行检测，实现对大数据平台的数据进行自动化异常检测，具有节约时间快速有效的优势
。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理
。
[0023]图1为本申请实施例提供的大数据平台的系统结构图；
[0024]图2为本申请实施例提供的大数据平台监控方法的流程示意图；
[0025]图3为本申请实施例提供的
K
均值聚类算法的示意图；
[0026]图4为本申请另一实施例提供的大数据平台监控方法的流程示意图；
[0027]图5为本申请实施例提供的大数据平台监控装置的结构示意图；
[0028]图6为本申请另一实施例提供的大数据平台监控装置的结构示意图；
[0029]图7为本申请实施例提供的电子设备的结构示意图
。
[0030]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述
。
这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念
。
具体实施方式
[0031]这里将详细地对示例性实施例进行说明，其示例表示在附图中
。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素
。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式
。
相反，它们仅是与如所附权利要求书中所详述的
、
本申请的一些方面相一致的装置和方法的例子
。
[0032]需要说明的是，本申请所涉及的用户信息
(
包括但不限于用户设备信息
、
用户个人信息等
)
和数据
(
包括但不限于用于分析的数据
、
存储的数据
、
展示的数据等
)
，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集
、
使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝
。
[0033]需要说明的是，本申请所涉及的用户信息
(
包括但不限于用户设备信息
、
用户个人信息等
)
和数据
(
包括但不限于用于分析的数据
、
存储的数据
、
展示的数据等
)
，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集
、
使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝
。
[0034]需要说明的是，本申请提供的大数据平台监控方法
、
装置和设备可用于大数据
，也可用于除大数据
之外的任意领域，本申请提供的大数据平台监控方法
、
装置和设备的应用领域不做限定
。
[0035]随着大数据技术的发展，使得大数据的应用越来越广泛，产业界很多领域包括金融业都致力于建设各自的大数据平台
。
但是大规模数据不断叠加导致平台中出现异常的概
率越来越大
。
目前对于大数据平台的异常检测，主要采用日志监控
、
流量监控的方式，较少有对于银行大数据平台的数据监控，但是由于金融业务对数据的准确性要求较高，这使得目前的这些大数据平台的异常检测不能够较好的适用于金融业
。
金融业当前对于大数据平台的数据监控主要依赖人工，银行业务人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大数据平台监控方法，其特征在于，包括：获取大数据平台的数据信息，所述数据信息包括大数据平台的告警日志信息
、
业务机构的业务关键数据中的至少一种；确定用于对所述数据信息进行异常检测的规则库中是否存在目标规则；若所述规则库中不存在规则，则根据预设聚类算法进行规则训练，生成规则；根据所述规则库中的规则，对所述数据信息进行异常检测；获取与所述规则库中的规则匹配的第一数据信息和
/
或与所述规则库中规则不匹配的第二数据信息；根据所述第一数据信息和
/
或第二数据信息，确定所述大数据平台是否存在异常
。2.
根据权利要求1所述的方法，其特征在于，所述预设聚类算法为
K
均值聚类算法
。3.
根据权利要求1或2所述的方法，其特征在于，所述根据预设聚类算法进行规则训练，生成规则，包括：获取大数据平台的历史数据信息；根据
K
均值聚类算法对所述历史数据信息进行聚类，确定出至少一个目标簇，每个目标簇中包括一种异常信息；根据每个目标簇中包含的异常信息，进行规则训练，得到用于对每种异常信息进行异常检测的规则
。4.
根据权利要求1所述的方法，其特征在于，所述规则库中的规则包括：系统异常规则和业务异常规则中的至少一种，所述系统异常规则用于对所述大数据平台的告警日志信息进行异常检测，所述业务异常规则用于对业务结构的业务关键数据进行异常检测
。5.
根据权利要求4所述的方法，其特征在于，所述系统异常规则包括服务器硬盘监控规则
、
大数据平台监控规则中的至少一种，所述业务异常规则包括跨表间业务规则
、
表内业务规则中的至少一种，所述服务器硬盘监控规则用于对所述大数据平台的服务器硬盘进行异常检测，所述大数据平台监控规则用于对所述大数据平台进行异常检测，所述跨表间业务规则用于对所述业务关键数据中各个业务表格的关联数据进行异常检测，所述表内业务规则用于对所述业务关键数据中业务表格内的表格数据进行异常检测
。6.
根据权利要求1所述的方法，其特征在于，所述根据所述规则库中的规则，对所述数据信息进行异常检测，包括：在所述数据信息中确定出待检测信息；确定所述待检测信息所属的种类；根据预设配置信息，从所述规则库中选取出与所述种类匹配的目标规则；根据所述目标...

【专利技术属性】
技术研发人员：潘琳，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：