数据系统的数据可用性维护方法及装置制造方法及图纸

本申请实施例公开了一种数据系统的数据可用性维护方法及装置，该方法包括：获取资源平台产生的平台数据；按照第一预设时间间隔对平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标；对平台数据进行实时计算，得到实时数据指标；针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的实时数据指标进行比对，根据比对结果判断数据系统在该第一预设时间间隔内是否存在异常数据；若存在异常数据，则对异常数据进行数据修复处理。本申请可以对数据系统中的数据可用性进行监测，能够及时发现异常数据，并在存在异常数据的情况下，启动数据修复流程，降低异常数据对线上业务产生的影响。线上业务产生的影响。线上业务产生的影响。

【技术实现步骤摘要】
数据系统的数据可用性维护方法及装置


[0001]本申请实施例涉及互联网
，具体涉及一种数据系统的数据可用性维护方法及装置。

技术介绍

[0002]现有技术中对数据系统的可用性问题的解决方式主要采用对数据系统服务进行冗余备份，来保证数据系统服务的可用性。然而，现有方式无法及时发现异常数据，更无法对异常数据进行有效处理，不具备对数据系统中异常数据的监控以及数据修复的能力，当数据系统中存在异常数据时，会对线上业务产生较大的影响。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种数据系统的数据可用性维护方法、装置、计算设备及计算机存储介质，用于解决以下问题：现有方法无法及时发现异常数据，无法对异常数据进行有效处理。
[0004]根据本申请实施例的一个方面，提供了一种数据系统的数据可用性维护方法，其包括：
[0005]获取资源平台产生的平台数据；
[0006]按照第一预设时间间隔对平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标；
[0007]对平台数据进行实时计算，得到实时数据指标；
[0008]针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的实时数据指标进行比对，根据比对结果判断数据系统在该第一预设时间间隔内是否存在异常数据；
[0009]若存在异常数据，则对异常数据进行数据修复处理。
[0010]进一步地，按照第一预设时间间隔对平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标进一步包括：
[0011]将平台数据保存至离线数据仓库中；
[0012]依据预设数据指标计算逻辑，按照第二预设时间间隔对离线数据仓库中的平台数据进行离线计算，得到各个第二预设时间间隔对应的离线增量数据指标，并将各个第二预设时间间隔对应的离线增量数据指标保存至离线数据仓库中；
[0013]依据各个第二预设时间间隔对应的离线增量数据指标，确定各个第一预设时间间隔对应的离线数据指标；其中，第二预设时间间隔小于第一预设时间间隔。
[0014]进一步地，对平台数据进行实时计算，得到实时数据指标进一步包括：
[0015]依据预设数据指标计算逻辑，对平台数据进行实时计算，得到实时数据指标，并将实时数据指标保存至数据库中，形成事实表。
[0016]进一步地，针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据
指标与在该第一预设时间间隔内产生的实时数据指标进行比对，根据比对结果判断数据系统在该第一预设时间间隔内是否存在异常数据进一步包括：
[0017]针对任一第一预设时间间隔，计算该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的实时数据指标之间的指标差异量，得到包含有指标差异量的比对结果；
[0018]判断指标差异量是否超过预设阈值；
[0019]若指标差异量超过预设阈值，则确定数据系统在该第一预设时间间隔内存在异常数据；若指标差异量未超过预设阈值，则确定数据系统在该第一预设时间间隔内不存在异常数据。
[0020]进一步地，该方法还包括：
[0021]将平台数据备份至离线数据仓库中；
[0022]将实时数据指标以增量方式备份至离线数据仓库中。
[0023]进一步地，对异常数据进行数据修复处理进一步包括：
[0024]创建临时表；
[0025]从离线数据仓库中已备份的实时数据指标中获取在该第一预设时间间隔之前产生的目标实时数据指标，并将目标实时数据指标召回至临时表中；
[0026]从离线数据仓库中已备份的平台数据中获取在该第一预设时间间隔内产生的目标平台数据，并对目标平台数据进行数据回放和计算，得到回放数据指标，将回放数据指标保存至临时表中；
[0027]依据临时表替换数据库中存在异常数据的事实表。
[0028]进一步地，从离线数据仓库中已备份的实时数据指标中获取在该第一预设时间间隔之前产生的目标实时数据指标进一步包括：
[0029]从离线数据仓库中已备份的实时数据指标中获取在该第一预设时间间隔之前的预设数量的第一预设时间间隔内产生的实时数据指标作为目标实时数据指标。
[0030]进一步地，该方法还包括：
[0031]若存在异常数据，则向系统管理端发送告警提示。
[0032]根据本申请实施例的另一方面，提供了一种数据系统的数据可用性维护装置，其包括：
[0033]数据获取模块，用于获取资源平台产生的平台数据；
[0034]离线计算模块，用于按照第一预设时间间隔对平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标；
[0035]实时计算模块，用于对平台数据进行实时计算，得到实时数据指标；
[0036]比对模块，用于针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的实时数据指标进行比对，根据比对结果判断数据系统在该第一预设时间间隔内是否存在异常数据；
[0037]处理模块，用于若存在异常数据，则对异常数据进行数据修复处理。
[0038]根据本申请实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0039]存储器用于存放至少一可执行指令，可执行指令使处理器执行一种数据系统的数
据可用性维护方法对应的操作。
[0040]根据本申请实施例的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述一种数据系统的数据可用性维护方法对应的操作。
[0041]根据本申请实施例提供的一种数据系统的数据可用性维护方法及装置，通过获取资源平台产生的平台数据；按照第一预设时间间隔对平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标；对平台数据进行实时计算，得到实时数据指标；针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的实时数据指标进行比对，根据比对结果判断数据系统在该第一预设时间间隔内是否存在异常数据；若存在异常数据，则对异常数据进行数据修复处理。本申请可以以第一预设时间间隔为时间粒度完成对数据系统中的数据可用性监测，实现了对异常数据的及时发现；在数据系统中存在异常数据的情况下，还能够通过即时通讯工具发出告警提示以及时通知系统管理端侧的用户，并能够启动数据修复流程，完成数据无损修复，实现了对异常数据的有效修复，从而有效地降低了数据系统出现异常数据对线上业务产生的影响。本申请根据OLAP数据库数据分区特性，通过创建离线数据仓库进行离线计算数据保存，并通过实时计算链路进行实时数据指标计算，从而方便进行数据比对，确定是否存在异常数据；并将平台数据和实时数据指标备份至离线数据仓库中，从而方便后续进行可用数据召回，及时进行异常数据修复；通过临时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据系统的数据可用性维护方法，其包括：获取资源平台产生的平台数据；按照第一预设时间间隔对所述平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标；对所述平台数据进行实时计算，得到实时数据指标；针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的所述实时数据指标进行比对，根据比对结果判断所述数据系统在该第一预设时间间隔内是否存在异常数据；若存在异常数据，则对所述异常数据进行数据修复处理。2.根据权利要求1所述的方法，其中，所述按照第一预设时间间隔对所述平台数据进行离线计算，得到各个第一预设时间间隔对应的离线数据指标进一步包括：将所述平台数据保存至离线数据仓库中；依据预设数据指标计算逻辑，按照第二预设时间间隔对所述离线数据仓库中的平台数据进行离线计算，得到各个第二预设时间间隔对应的离线增量数据指标，并将所述各个第二预设时间间隔对应的离线增量数据指标保存至所述离线数据仓库中；依据所述各个第二预设时间间隔对应的离线增量数据指标，确定各个第一预设时间间隔对应的离线数据指标；其中，所述第二预设时间间隔小于所述第一预设时间间隔。3.根据权利要求1所述的方法，其中，所述对所述平台数据进行实时计算，得到实时数据指标进一步包括：依据预设数据指标计算逻辑，对所述平台数据进行实时计算，得到所述实时数据指标，并将所述实时数据指标保存至数据库中，形成事实表。4.根据权利要求1
‑
3任一项中所述的方法，其中，所述针对任一第一预设时间间隔，将该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的所述实时数据指标进行比对，根据比对结果判断所述数据系统在该第一预设时间间隔内是否存在异常数据进一步包括：针对任一第一预设时间间隔，计算该第一预设时间间隔对应的离线数据指标与在该第一预设时间间隔内产生的所述实时数据指标之间的指标差异量，得到包含有所述指标差异量的比对结果；判断所述指标差异量是否超过预设阈值；若所述指标差异量超过所述预设阈值，则确定所述数据系统在该第一预设时间间隔内存在异常数据；若所述指标差异量未超过所述预设阈值，则确定所述数据系统在该第一预设时间间隔内不存在异常数据。5.根据权利要求1
‑
4任一项中所述的方法，其中，所述方法还包括：将所述平台数据备份至离线数据仓...

【专利技术属性】
技术研发人员：李文博，
申请(专利权)人：上海幻电信息科技有限公司，
类型：发明
国别省市：