本发明专利技术涉及大数据领域，揭露了一种数据监控方法，包括：获取历史数据集及实时数据集，从实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；基于预设的时间戳，采集历史数据集的异常历史数据变化量，根据异常历史数据变化量，配置历史数据集的异常历史数据传输幅度值；基于时间戳，采集异常实时数据集的异常实时数据变化量，根据异常实时数据变化量，配置异常实时数据集的异常实时数据传输幅度值，根据异常实时数据传输幅度值和异常历史数据传输幅度值，执行正常实时数据集在业务系统中的传输。此外，本发明专利技术还涉及区块链技术，所述数据监控任务可存储于区块链中。本发明专利技术可以提高数据监控的准确性。以提高数据监控的准确性。以提高数据监控的准确性。
【技术实现步骤摘要】
数据监控方法、装置、电子设备及存储介质
[0001]本专利技术涉及大数据领域，尤其涉及一种数据监控方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]在业务系统中，业务系统数据是通过每天大数据跑批来更新业务系统中的历史数据，数据监控用于监控大数据跑批的过程中一些标准及规范不够严格的数据，以防止这些标准及规范不够严格的数据流入业务系统中，造成业务系统无法正常运行。
[0003]目前，数据监控通常采用数据字段级规则来监控并设置阻断数据流入业务系统中，由于现有数据字段级粒度粗以及数据字段格式随意性，会有可能把正常可用数据一起阻断，从而影响数据监控的准确性。
技术实现思路
[0004]本专利技术提供一种数据监控方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据监控的准确性。
[0005]为实现上述目的，本专利技术提供的一种数据监控方法，包括：
[0006]获取历史数据集及实时数据集，从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；
[0007]基于预设的时间戳，采集所述历史数据集的异常历史数据变化量，根据所述异常历史数据变化量，配置所述历史数据集的异常历史数据传输幅度值；
[0008]基于所述时间戳，采集所述异常实时数据集的异常实时数据变化量，根据所述异常实时数据变化量，配置所述异常实时数据集的异常实时数据传输幅度值；
[0009]判断所述异常实时数据传输幅度值是否大于所述异常历史数据传输幅度值；
[0010]若所述异常实时数据传输幅度值大于所述异常历史数据传输幅度值，则对所述正常实时数据集进行阻断；
[0011]若所述异常实时数据传输幅度值不大于所述异常历史数据传输幅度值，则将所述正常实时数据集传输至业务系统中。
[0012]可选地，所述从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集，包括：
[0013]筛选出所述实时数据集中的重复数据，得到第一异常实时数据集；
[0014]筛选出所述实时数据集中的异常值数据，得到第二异常实时数据集；
[0015]将所述第一异常实时数据集和所述第二异常实时数据集进行汇总，得到所述异常实时数据集；
[0016]从所述实时数据集中剔除所述异常实时数据集，得到正常实时数据集。
[0017]可选地，所述筛选出所述实时数据集中的重复数据，得到第一异常实时数据集，包括：
[0018]计算所述实时数据集中任意两个实时数据的距离值，在所述实时数据集中任意两个实时数据的距离值小于预设阈值时，筛选出任意一个实时数据作为第一异常实时数据，根据所述第一异常实时数据，得到所述第一异常实时数据集。
[0019]可选地，所述计算所述实时数据集中任意两个实时数据的距离值包括：
[0020]利用下述方法计算所述实时数据集中任意两个实时数据的距离值：
[0021][0022]其中，d表示实时数据集中任意两个实时数据的距离值，w
1j
和w
2j
表示实时数据集中任意两个实时数据。
[0023]可选地，所述基于预设的时间戳，采集所述历史数据集的异常历史数据变化量，包括：
[0024]在所述时间戳内计算所述历史数据集中异常数据的环比数据变化量，将所述环比数据变化量进行相加，得到所述异常历史数据变化量。
[0025]可选地，所述根据所述异常历史数据变化量，配置所述历史数据集的异常历史数据传输幅度值，包括：
[0026]计算所述异常历史数据变化量的数据变化幅度均值；
[0027]识别所述异常历史数据变化量的最大数据变化量和最小数据变化量，计算所述最大数据变化量和所述最小数据变化量的差值数据变化幅度值；
[0028]将所述数据变化幅度均值与所述差值数据变化幅度值进行相加，得到所述异常历史数据传输幅度值。
[0029]可选地，所述计算所述异常历史数据变化量的数据变化幅度均值，包括：
[0030]利用下述方法计算所述异常历史数据变化量的数据变化幅度均值：
[0031]J＝s/t
[0032]其中，J表示数据变化幅度均值，s表示异常历史数据变化量，t表示时间戳的时间总数。
[0033]为了解决上述问题，本专利技术还提供一种数据监控装置，所述装置包括：
[0034]筛选模块，用于获取历史数据集及实时数据集，从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；
[0035]配置模块，用于获取历史数据集及实时数据集，从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；
[0036]所述配置模块，还用于基于所述时间戳，采集所述异常实时数据集的异常实时数据变化量，根据所述异常实时数据变化量，配置所述异常实时数据集的异常实时数据传输幅度值；
[0037]判断模块，用于判断所述异常实时数据传输幅度值是否大于所述异常历史数据传输幅度值；
[0038]阻断模块，用于在所述异常实时数据传输幅度值大于所述异常历史数据传输幅度值时，对所述正常实时数据集进行阻断；
[0039]传输模块，用于在所述异常实时数据传输幅度值不大于所述异常历史数据传输幅
度值时，将所述正常实时数据集传输至业务系统中。
[0040]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0041]至少一个处理器；以及，
[0042]与所述至少一个处理器通信连接的存储器；其中，
[0043]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的数据监控方法。
[0044]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据监控方法。
[0045]本专利技术实施例首先获取历史数据集及实时数据集，从实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集，实现了数据监控的前提；其次，本专利技术实施例基于预设的时间戳，采集历史数据集的异常历史数据变化量，根据异常历史数据变化量，配置历史数据集的异常历史数据传输幅度值，及基于时间戳，采集异常实时数据集的异常实时数据变化量，根据异常实时数据变化量，配置异常实时数据集的异常实时数据传输幅度值，可以对超出幅度值的异常数据进行有效阻断，从而可以提高数据监控的准确率，保证业务系统不受影响；进一步的，本专利技术实施例根据异常实时数据传输幅度值和异常历史数据传输幅度值，执行正常实时数据集在业务系统中的传输。因此，本专利技术提出的一种数据监控方法、装置、电子设备以及存储介质可以提高数据监控的准确性。
附图说明
[0046]图1为本专利技术一实施例提供的数据监控方法的流程示意图；
[0047]图2为本专利技术第一实施例中图1提供的数据监控方法其中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：获取历史数据集及实时数据集，从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集；基于预设的时间戳，采集所述历史数据集的异常历史数据变化量，根据所述异常历史数据变化量，配置所述历史数据集的异常历史数据传输幅度值；基于所述时间戳，采集所述异常实时数据集的异常实时数据变化量，根据所述异常实时数据变化量，配置所述异常实时数据集的异常实时数据传输幅度值；判断所述异常实时数据传输幅度值是否大于所述异常历史数据传输幅度值；若所述异常实时数据传输幅度值大于所述异常历史数据传输幅度值，则对所述正常实时数据集进行阻断；若所述异常实时数据传输幅度值不大于所述异常历史数据传输幅度值，则将所述正常实时数据集传输至业务系统中。2.如权利要求1所述的数据监控方法，其特征在于，所述从所述实时数据集中筛选出异常数据，得到异常实时数据集和正常实时数据集，包括：筛选出所述实时数据集中的重复数据，得到第一异常实时数据集；筛选出所述实时数据集中的异常值数据，得到第二异常实时数据集；将所述第一异常实时数据集和所述第二异常实时数据集进行汇总，得到所述异常实时数据集；从所述实时数据集中剔除所述异常实时数据集，得到正常实时数据集。3.如权利要求2所述的数据监控方法，其特征在于，所述筛选出所述实时数据集中的重复数据，得到第一异常实时数据集，包括：计算所述实时数据集中任意两个实时数据的距离值，在所述实时数据集中任意两个实时数据的距离值小于预设阈值时，筛选出任意一个实时数据作为第一异常实时数据，根据所述第一异常实时数据，得到所述第一异常实时数据集。4.如权利要求3所述的数据监控方法，其特征在于，所述计算所述实时数据集中任意两个实时数据的距离值包括：利用下述方法计算所述实时数据集中任意两个实时数据的距离值：其中，d表示实时数据集中任意两个实时数据的距离值，w
1j
和w
2j
表示实时数据集中任意两个实时数据。5.如权利要求1中所述的数据监控方法，其特征在于，所述基于预设的时间戳，采集所述历史数据集的异常历史数据变化量，包括：在所述时间戳内计算所述历史数据集中异常数据的环比数据变化量，将所述环比...
【专利技术属性】
技术研发人员：叶文清，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。