一种数据故障处理方法及系统技术方案

本发明专利技术提供了一种数据故障处理方法和系统。所述方法包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。本发明专利技术可以避免人工关闭和启动对数据集的计算任务，依据各数据的标识符判断数据已经被处理过时，提高了数据计算效率，并且避免了数据的重复计算。

【技术实现步骤摘要】
一种数据故障处理方法及系统
本专利技术涉及计算机领域，特别是涉及一种数据故障处理方法及系统。
技术介绍
近年来，随着网络技术的发展和网络使用的普及，全球数据量也呈现爆炸式的增长。大多数公司的数据都是离线计算获取到的数据,用户需要在第二天才能看到前一天的数据,这样用户的决策会延迟，损失商业机会，所以需要实时计算一些重要数据，但是在实时计算过程中出现故障时，通常是由人工进行检测并解决，导致故障修复难、数据丢失、重复计算等各种难以解决的问题。
技术实现思路
本专利技术提供一种数据故障处理方法及系统，以解决现有技术中通过人工进行实时计算过程中的故障修复而导致修复难、数据丢失、重复计算的问题。为了解决上述问题，本专利技术公开了一种数据故障处理方法，包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。优选地，在所述在数据集的计算过程中发生异常时，获取所述异常发生的数据节点的步骤之前，还包括：接收数据异常警报信息，并停止对所述数据集的计算操作。优选地，所述依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤，包括：判断所述数据的标识符与统计结果集中的各标识符是否匹配；若是，则确定对所述数据执行过计算操作。优选地，在所述获取所述异常发生的数据节点的步骤之后，还包括：将所述数据节点存储于所述数据集中。优选地，所述异常包括数据差异异常和实时计算异常中的任一种。为了解决上述技术问题，本专利技术实施例还公开了一种数据故障处理系统，包括：数据节点获取模块，用于在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；计算操作启动模块，用于在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；数据判断模块，用于依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；计算取消模块，用于在对所述数据执行过计算操作时，取消对所述数据的计算操作。优选地，还包括：计算操作停止模块，用于接收数据异常警报信息，并停止对所述数据集的计算操作。优选地，所述数据判断模块包括：匹配判断子模块，用于判断所述数据的标识符与统计结果集中的各标识符是否匹配；计算操作确定子模块，用于在所述数据的标识符与所述统计结果集中的各标识符匹配时，确定对所述数据执行过计算操作。优选地，还包括：存储模块，用于将所述数据节点存储于所述数据集中。优选地，所述异常包括数据差异异常和实时计算异常中的任一种。与现有技术相比，本专利技术包括以下优点：本专利技术实施例提供了一种数据故障处理方法及系统，通过在数据集的计算过程中发生异常时，获取异常发生的数据节点，其中，数据节点对应于数据集中的目标数据，数据集中的各条数据是按照优先级从高至低的顺序排列的，在异常处理完成之后，启动对数据集中低于目标数据的优先级的至少一条数据的计算操作，依次针对至少一条数据中的每一条数据，依据数据的标识符判断是否对数据执行过计算操作，若是，则对数据的计算操作。本专利技术实施例可以在数据集的计算过程中发生异常时，避免人工关闭和启动对数据集的计算任务，并且，依据各数据的标识符判断数据是否已经被处理过，提高了数据计算效率，并且避免了数据的重复计算。附图说明图1示出了本专利技术实施例提供的一种数据故障处理方法的步骤流程图；图2示出了本专利技术实施例提供的一种数据故障处理装置的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。实施例一参照图1，示出了本专利技术实施例提供的一种数据故障处理方法的步骤流程图，具体可以包括如下步骤：步骤101：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点。本专利技术实施例可以应用于对数据集中的数据进行处理的场景中。在对数据集进行计算时可能发生的异常可以包括：数据差异异常和实时计算异常等。数据差异异常是指数据的大小不处于设定阈值范围内的异常，设定阈值是由业务人员配置得到的，设定阈值的获取方式可以是采用如下方式得到：对于某一公司而言，对于业务数据的处理过程中，可以根据前期数据的处理过程中，获取数据的最大值和最小值，以最大值和最小值之间的范围作为设定阈值范围等。可以理解地，上述示例仅是为了更好地理解本专利技术实施例的技术方案而列举的示例，不作为对本专利技术的唯一限制。实时计算异常是指在计算过程中出现异常中断或崩溃等现象的异常。数据节点是对应于数据集中的目标数据的，也即在对数据集中的数据进行计算的过程中，在发生异常时正在执行计算操作的数据。在数据集的计算过程中发生异常时，可以通过计算过程中生成的日志获取异常发生的数据节点，也可以通过获取崩溃的进程来获取数据集中异常发生的数据节点等。在实际应用中，本领域技术人员可以根据实际需要选择任一种获取异常发生的数据节点的方法，本专利技术实施例对此不加以限制。在本专利技术实施例的一种优选实施例中，在上述步骤101之后，还可以包括：步骤S1：将所述数据节点存储于数据集中。在本专利技术实施例中，在获取异常发生的数据节点之后，还可以将数据节点存储于数据集中，进而便于从数据集中获取数据节点，也即对数据集中的各条数据执行计算操作时发生异常的数据，便于业务人员依据数据节点查找解决异常的方法，如补充业务数据等等。在本专利技术实施例中，还可以在对数据集的计算过程中发生异常时进行警报，在计算机中可以设置警报系统，以实时对数据集执行计算操作过程中的异常进行检测并发出警报，具体地，以下述优选实施例进行详细描述。在本专利技术实施例的另一优选实施例中，在上述步骤101之前，还可以包括：步骤S：接收数据异常警报信息，并停止对所述数据集的计算操作。在本专利技术实施例中，可以预先设置警报系统，警报系统可以在对数据集中各条数据执行计算操作的过程中，实时进行检测，例如，可以设置检测程序以对异常进行检测，在检测到异常时，如数据差异异常或实时计算异常等等，以发出警报，以提示对数据集中的数据进行的计算操作出现异常。在本专利技术实施例中，可以以类似于鸣笛的声音发出警报，也可以在显示界面弹出提示窗口，在提示窗口中展示异常警报等，本专利技术实施例对此不加以限制。在接收到警报系统发出的异常警报信息，则停止对数据集的计算操作，以由业务人员根据数据节点查找故障修复方法，对数据集进行故障修复。在从数据集中获取异常发生的数据节点之后，执行步骤102。步骤102：在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作。对于数据集的计算过程可以通过重启计算机的方式以自动修复，也可以由业务人员补充数据后进行修复等，本专利技术实施例对此不加以限制。对数据集中的各条数据的处理过程中，通常是预先为各条数据设置了处理的优先级，按照优先级从高到低的顺序依次对数据集中的各条数据进行处理，在异常处理完成之后，则启动对数据集中低于目标数据的优先级的至少一条数据执行计算操作。当然，在本专利技术实施本文档来自技高网...

【技术保护点】
1.一种数据故障处理方法，其特征在于，包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。

【技术特征摘要】
1.一种数据故障处理方法，其特征在于，包括：在数据集的计算过程中发生异常时，获取所述异常发生的数据节点；其中，所述数据节点对应于所述数据集中的目标数据；在所述异常处理完成之后，启动对所述数据集中低于所述目标数据的优先级的至少一条数据的计算操作；依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作；若是，则取消对所述数据的计算操作。2.根据权利要求1所述的方法，其特征在于，在所述在数据集的计算过程中发生异常时，获取所述异常发生的数据节点的步骤之前，还包括：接收数据异常警报信息，并停止对所述数据集的计算操作。3.根据权利要求1所述的方法，其特征在于，所述依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤，包括：将所述数据的标识符与统计结果集中的各标识符进行匹配；依据匹配结果判断是否对所述数据执行过计算操作。4.根据权利要求1所述的方法，其特征在于，在所述获取所述异常发生的数据节点的步骤之后，还包括：将所述数据节点存储于所述数据集中。5.根据权利要求3所述的方法，其特征在于，在所述依次针对所述至少一条数据中的每一条数据，依据所述数据的标识符判断是否对所述数据执行过计算操作的步骤之后，还包括：若否，则对所述数据进行计算操作，并将计...

【专利技术属性】
技术研发人员：赵斌，申祥，
申请(专利权)人：北京猫眼文化传媒有限公司，
类型：发明
国别省市：北京,11