数据监控方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及人工智能技术领域，提供一种数据监控方法、装置、计算机设备和存储介质，包括：完成数据同步后，获取各数据库上一次的探针扫描结束时间；基于第一探针扫描第一数据库内与第一扫描结束时间对应的第一目标数据，获取第一数据的第一存储时间；基于第二探针扫描第二数据库内与第二扫描结束时间对应的第二目标数据；对于每一个第一数据，若在第二数据库内均存在与每一个第一数据相同的第二数据，且每一个第二数据的第二存储时间与对应的每一个第一数据的第一存储时间之间的差值绝对值均小于时间长度阈值，生成数据同步成功的第一结果。本申请能提高数据监控的处理效率。本申请还可以应用于区块链领域，上述第一结果可以存储于区块链上。以存储于区块链上。以存储于区块链上。

【技术实现步骤摘要】
数据监控方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，具体涉及一种数据监控方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前在产品的跨系统传输的业务场景中，对数据同步有校验要求，因此需要在进行数据同步的多个数据库中对数据库内的重要数据进行监控，来监控数据在各数据库中是否成功传输。现有对数据库进行数据监控的方式，通常是通过一些监控工具对每个数据库进行查询来获取同步的数据，再对比各个数据库中的数据是否一致。但这种采用监控工具对数据进行数据查询监控的方式，是通过查询语句对数据库内的数据进行全量查询，数据的查询范围大，如果需要比对的数据量较大，则需要消耗较长时间才能返回相应的比对结果，工作量大且效率低下。

技术实现思路

[0003]本申请的主要目的为提供一种数据监控方法、装置、计算机设备和存储介质，旨在解决现有对数据库进行监控的方式需要消耗较长时间才能返回相应的比对结果，存在工作量大且效率低下的技术问题。
[0004]本申请提出一种数据监控方法，所述方法包括步骤：
[0005]当处于目标业务空闲时间段内，在预设的多个数据库之间进行数据同步，并在各所述数据库完成数据同步后，获取各所述数据库上一次的探针扫描结束时间；其中，所述数据库至少包括第一数据库与第二数据库；
[0006]基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描，并获取第一数据的第一存储时间；其中，所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间，所述第一数据为所有所述第一目标数据中的任意一个数据；
[0007]基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描；其中，所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间；
[0008]对于每一个所述第一数据，若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据，且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值，则生成数据同步成功的第一结果。
[0009]可选地，所述当处于目标业务空闲时间段内，在预设的多个数据库之间进行数据同步的步骤之前，包括：
[0010]按照预设的长度划分值将一天的时间划分为多个单位时间段；
[0011]基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指
定时间段；其中，所述指定时间段的数量为多个；
[0012]基于预存储的历史数据处理量记录，统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量；
[0013]基于所述数据处理量，按照第一预设规则生成各所述数据库的业务空闲时间段；
[0014]对所有所述业务空闲时间段进行取交集处理，得到所述目标业务空闲时间段。
[0015]可选地，所述基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描的步骤之后，包括：
[0016]对于所述第一数据，若所述第二数据库内不存在与所述第一数据相同的第三数据，则生成数据同步失败的第二结果；
[0017]若所述第二数据库内存在与所述第一数据相同的第三数据，计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值；
[0018]若所述指定差值绝对值大于所述时间长度阈值，则生成数据同步失败的第三结果。
[0019]可选地，所述数据监控方法还包括：
[0020]获取各所述数据库在进行数据同步过程中的资源消耗信息；
[0021]获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型，并从所有所述状态识别模型中确定出目标状态识别模型；其中，将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合，并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型；所述目标状态识别模型的数量大于1；
[0022]基于所述目标状态识别模型与所述资源消耗信息，生成与各所述数据库分别对应的运行状态；
[0023]若在所有所述运行状态中存在异常状态，获取与所述异常状态对应的目标数据库，生成与所述目标数据库对应的警报信息并展示；
[0024]若在所有所述运行状态中不存在异常状态，生成数据库运行正常的提醒信息并展示。
[0025]可选地，所述从所有所述状态识别模型中确定出目标状态识别模型的步骤，包括：
[0026]获取预设的测试样本集，将所述测试样本集分别输入至各所述状态识别模型内，按照与第一评价指标对应的第一计算规则生成各所述状态识别模型的第一评价分值；
[0027]从所有所述状态识别模型中筛选出第一评价分值大于预设的第一评价分值阈值的第一状态识别模型；
[0028]将所述测试样本集分别输入至各所述第一状态识别模型内，按照与第二评价指标对应的第二预设计算规则生成各所述第一状态识别模型的第二评价分值；
[0029]从所有所述第一状态识别模型中筛选出第二评价分值大于预设的第二评价分值阈值的第二状态识别模型；
[0030]基于各所述第二状态识别模型的第一评价分值与第二评价分值，按照第二预设规则生成各所述第二状态识别模型的综合评价分值；
[0031]将所述综合评价分值按照从大到小的顺序进行排序，得到对应的排序结果；
[0032]从所述排序结果中排序第一的综合评价分值开始，依次获取目标数量的目标综合
评价分值；
[0033]从所述第二状态识别模型中获取与所述目标综合评价分值对应的模型，得到所述目标状态识别模型。
[0034]可选地，所述基于各所述第二状态识别模型的第一评价分值与第二评价分值，按照第二预设规则生成各所述第二状态识别模型的综合评价分值的步骤，包括：
[0035]获取与所述第一评价指标对应的第一重要程度值；以及，
[0036]获取与所述第二评价指标对应的第二重要程度值；
[0037]基于各所述第二状态识别模型的第一评价分值与第二评价分值、所述第一重要程度值以及所述第二重要程度值，调用预设的计算公式生成各所述第二状态识别模型的综合评价分值。
[0038]可选地，所述基于所述目标状态识别模型与所述资源消耗信息，生成与各所述数据库分别对应的运行状态的步骤，包括：
[0039]将指定数据库的资源消耗信息分别输入至各所述目标状态识别模型内；其中，所述指定数据库为所有所述数据库中的任意一个数据库；
[0040]接收各所述目标状态识别模型分别生成的与所述指定数据库的资源消耗信息对应的指定运行状态；
[0041]若所有所述指定运行状态均为正常状态，判定所述指定数据库的运行状态为正常状态，否则判定所述指定数据库的运行状态为异常状态。
[0042]本申请还提供一种数据监控装置，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控方法，其特征在于，包括：当处于目标业务空闲时间段内，在预设的多个数据库之间进行数据同步，并在各所述数据库完成数据同步后，获取各所述数据库上一次的探针扫描结束时间；其中，所述数据库至少包括第一数据库与第二数据库；基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描，并获取第一数据的第一存储时间；其中，所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间，所述第一数据为所有所述第一目标数据中的任意一个数据；基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描；其中，所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间；对于每一个所述第一数据，若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据，且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值，则生成数据同步成功的第一结果。2.根据权利要求1所述的数据监控方法，其特征在于，所述当处于目标业务空闲时间段内，在预设的多个数据库之间进行数据同步的步骤之前，包括：按照预设的长度划分值将一天的时间划分为多个单位时间段；基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指定时间段；其中，所述指定时间段的数量为多个；基于预存储的历史数据处理量记录，统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量；基于所述数据处理量，按照第一预设规则生成各所述数据库的业务空闲时间段；对所有所述业务空闲时间段进行取交集处理，得到所述目标业务空闲时间段。3.根据权利要求1所述的数据监控方法，其特征在于，所述基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描的步骤之后，包括：对于所述第一数据，若所述第二数据库内不存在与所述第一数据相同的第三数据，则生成数据同步失败的第二结果；若所述第二数据库内存在与所述第一数据相同的第三数据，计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值；若所述指定差值绝对值大于所述时间长度阈值，则生成数据同步失败的第三结果。4.根据权利要求1所述的数据监控方法，其特征在于，所述数据监控方法还包括：获取各所述数据库在进行数据同步过程中的资源消耗信息；获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型，并从所有所述状态识别模型中确定出目标状态识别模型；其中，将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合，并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型；所述目标状态识别模型的数量大于1；基于所述目标状态识别模型与所述资源消耗信息，生成与各所述数据库分别对应的运
行状态；若在所有所述运行状态中存在异常状态，获取与所述异常状态对应的目标数据库，生成与所述目标数据库对应的警报信息并展示；若在所有所述运行状态中不存在异常状态，生成数据库运行正常的提醒信息并展示。5.根据权利要求4所述的数据监控方法，其特征在于，所述从所有所述状态识别模型中确定出目标状态识别模型的步骤，包括：获取预设的测试样本集，将所述测试样本集分别输入至各所述状态识别模型内，按照与第一评价指标对应的第一计算规则生成各所...

【专利技术属性】
技术研发人员：刘利方，
申请(专利权)人：平安证券股份有限公司，
类型：发明
国别省市：