一种数据湖监控系统、方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据湖监控系统、方法、装置、设备以及存储介质，涉及数据处理技术领域，包括：布局有数据湖的数据处理设备和监控设备；数据湖中存储有以交易日为单位采集的原始交易数据。具体实现方案为：数据处理设备，根据数据湖中原始交易数据的数据类型，确定进行数据加工的链路，基于所确定链路进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含加工数据的日志；监控设备，获得数据处理设备生成的日志，对所获得的日志包含的加工数据进行异常检测，根据检测结果确定异常信息；根据所确定的异常原始交易数据和异常信息，生成告警信息，并进行告警。应用本发明专利技术实施例提供的方案，能够保证数据质量的可靠性。性。性。

【技术实现步骤摘要】
一种数据湖监控系统、方法、装置、设备以及存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据湖监控系统、方法、装置、设备以及存储介质。

技术介绍

[0002]金融领域中的证券业是数据密集型行业，数据的经济属性和价值属性不断受到关注和重视。这些数据在证券业的营销获客、信贷管理、风险控制、经营分析、产品创新、流程优化、监管审计等方面发挥着巨大的作用，那么如何保证数据的质量已成为了首当其冲要解决的问题。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种数据湖监控系统、方法、装置、设备以及存储介质，以保证数据质量的可靠性。具体技术方案如下：
[0004]本专利技术实施例提供了一种数据湖监控系统，所述系统包括：布局有数据湖的数据处理设备和监控设备；其中，所述数据湖中存储有以交易日为单位采集的原始交易数据；
[0005]所述数据处理设备，根据所述数据湖中原始交易数据的数据类型，确定对原始交易数据进行数据加工的数据层的链路；按照所确定链路中数据层的排布顺序，基于所确定链路包含的各个数据层对原始交易数据进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含所述加工数据的日志；
[0006]所述监控设备，获得所述数据处理设备生成的日志，对所获得的日志包含的所述加工数据进行异常检测，根据检测结果确定出现异常的异常原始交易数据以及数据加工过程中出现异常的异常信息；根据所确定的异常原始交易数据和异常信息，生成告警信息，并基于所述告警信息进行告警。
[0007]本专利技术还实施例提供了一种数据湖监控方法，所述方法包括：
[0008]根据所述数据湖中原始交易数据的数据类型，确定对原始交易数据进行数据加工的数据层的链路；其中，所述数据湖中存储有以交易日为单位采集的原始交易数据；
[0009]按照所确定链路中数据层的排布顺序，基于所确定链路包含的各个数据层对原始交易数据进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含所述加工数据的日志；
[0010]对所获得的日志包含的所述加工数据进行异常检测，根据检测结果确定出现异常的异常原始交易数据以及数据加工过程中出现异常的异常信息；
[0011]根据所确定的异常原始交易数据和异常信息，生成告警信息，并基于所述告警信息进行告警。
[0012]本专利技术实施例还提供了一种数据湖监控装置，所述装置包括：
[0013]链路确定模块，用于根据所述数据湖中原始交易数据的数据类型，确定对原始交易数据进行数据加工的数据层的链路；其中，所述数据湖中存储有以交易日为单位采集的
原始交易数据；
[0014]日志生成模块，用于按照所确定链路中数据层的排布顺序，基于所确定链路包含的各个数据层对原始交易数据进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含所述加工数据的日志；
[0015]异常检测模块，用于对所获得的日志包含的所述加工数据进行异常检测，根据检测结果确定出现异常的异常原始交易数据以及数据加工过程中出现异常的异常信息；
[0016]告警模块，用于根据所确定的异常原始交易数据和异常信息，生成告警信息，并基于所述告警信息进行告警。
[0017]本专利技术实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0018]存储器，用于存放计算机程序；
[0019]处理器，用于执行存储器上所存放的程序时，实现上述数据湖监控方法步骤。
[0020]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述数据湖监控方法步骤。
[0021]本专利技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述数据湖监控方法步骤。
[0022]本专利技术实施例有益效果：
[0023]本专利技术实施例提供的系统中，数据处理设备不仅对数据湖中的数据进行加工，还记录各数据层进行数据加工的加工数据，并基于加工数据生成日志，这样所得日志覆盖的数据加工过程较为全面。监控设备根据日志进行异常检测时不仅可以检测出出现异常的交易数据，还可以检测出加工过程产生的异常，这样覆盖了数据湖中可能存在的异常状况，覆盖面全面，提高了数据监控的有效性，监控效果较好。在上述基础上，一旦检测到异常情况，可以及时发出告警，提示数据湖的维护人员针对异常进行修正，保证了数据质量的可靠性。
[0024]当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
[0026]图1为本专利技术实施例提供的一种数据湖监控系统的结构示意图。
[0027]图2为本专利技术实施例提供的一种数据层的结构示意图。
[0028]图3为本专利技术实施例提供的一种异常检测结果的界面示意图。
[0029]图4为本专利技术实施例提供的第一种数据湖监控方法的流程示意图。
[0030]图5为本专利技术实施例提供的第二种数据湖监控方法的流程示意图。
[0031]图6为本专利技术实施例提供的一种数据湖监控装置的结构示意图。
[0032]图7为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]为了保证数据质量的可靠性，本专利技术实施例提供了一种数据湖监控系统、方法、装置、设备以及存储介质，下面分别进行说明。
[0035]本专利技术的一个实施例中，参见图1，提供了一种数据湖监控系统的结构示意图，包括：布局有数据湖的数据处理设备101和监控设备102；其中，数据湖中存储有以交易日为单位采集的原始交易数据；
[0036]数据处理设备101，根据数据湖中原始交易数据的数据类型，确定对原始交易数据进行数据加工的数据层的链路；按照所确定链路中数据层的排布顺序，基于所确定链路包含的各个数据层对原始交易数据进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含加工数据的日志；
[0037]监控设备102，获得数据处理设备101生成的日志，对所获得的日志包含的加工数据进行异常检测，根据检测结果确定出现异常的异常原始交易数据以及数据加工过程中出现异常的异常信息；根据所确定的异常原始交易数据和异常信息，生成告警信息，并基于告警信息进行告警。...

【技术保护点】

【技术特征摘要】
1.一种数据湖监控系统，其特征在于，所述系统包括：布局有数据湖的数据处理设备和监控设备；其中，所述数据湖中存储有以交易日为单位采集的原始交易数据；所述数据处理设备，根据所述数据湖中原始交易数据的数据类型，确定对原始交易数据进行数据加工的数据层的链路；按照所确定链路中数据层的排布顺序，基于所确定链路包含的各个数据层对原始交易数据进行数据加工，并实时记录加工过程中各数据层产生的加工数据，生成包含所述加工数据的日志；所述监控设备，获得所述数据处理设备生成的日志，对所获得的日志包含的所述加工数据进行异常检测，根据检测结果确定出现异常的异常原始交易数据以及数据加工过程中出现异常的异常信息；根据所确定的异常原始交易数据和异常信息，生成告警信息，并基于所述告警信息进行告警。2.根据权利要求1所述的系统，其特征在于，所述数据层包括：数据缓冲层、数据预加工层、数据汇总层、数据明细层、数据维度层、数据应用层和数据接口层；其中，所述数据缓冲层，用于接收输入至所述数据湖的原始交易数据；所述数据预加工层，用于和所述数据缓冲层形成链路，接收所述数据缓冲层发送的原始交易数据并对所接收的原始交易数据进行预加工，得到预加工交易数据；所述数据汇总层，用于和所述数据预加工层形成链路，接收所述数据预加工层发送的预加工数据，对所接收的预加工数据进行数据统计，得到交易统计数据；所述数据明细层，用于和所述数据预加工层形成链路，接收所述数据预加工层发送的预加工数据，对所接收的预加工数据进行数据提取，得到交易明细数据；所述数据维度层，用于和所述数据预加工层形成链路，接收所述数据预加工层发送的预加工数据，对所接收的预加工数据进行数据划分，得到不同维度下的交易分布数据；所述数据应用层，用于和所述数据汇总层、所述数据明细层、所述数据维度层分别形成链路，接收数据汇总层、所述数据明细层、所述数据维度层发送的数据，将所接收的数据转换为应用程序的可用交易数据；所述数据接口层，用于和所述数据预加工层形成链路，接收所述数据预加工层发送的预加工数据，将所接收的预加工数据转换为应用程序接口的可用交易数据。3.根据权利要求1或2所述的系统，其特征在于，所述对所获得的日志包含的所述加工数据进行异常检测，包括：根据所获得的日志包含的所述加工数据中的数据层明细属性、数据加工的数据量、数据加工的时长、数据加工的结束时刻和数据来源，进行异常检测，得到检测结果；和/或，确定所获得的日志包含的所述加工数据对应的第一校验值，并根据与所述加工数据对应的原始交易数据的统计特征，获得第二校验值；通过对比所述第一校验值和第二校验值进行异常检测，得到检测结果；和/或，根据所获得的日志包含的所述加工数据的数据结构、所述加工数据中数据的切片分布、所述加工数据中数据的索引分布、所述加工数据中数据的字段注释、所述加工数据中数据的命名规范程度，确定表示数据质量的表示值；基于所述表示值进行异常检测，得到检测结果。
4.根据权利要求3所述的系统，其特征在于，所述根据与所述加工数据对应的原始交易数据的统计特征，获得第二校验值，包括：确定与所述加工数据对应的原始交易数据的均值、最大值以及最小值；根据所确定的数值形成的向量，获得第二校验值。5.根据权利要求1或2...

【专利技术属性】
技术研发人员：金航，马丽霞，李海伟，
申请(专利权)人：中信建投证券股份有限公司，
类型：发明
国别省市：