数据处理的故障检测方法和系统技术方案

本发明专利技术涉及一种数据处理的故障检测方法和系统。所述方法包括：对数据执行运算逻辑；依次判断是否逻辑失败，是否系统错误，是否超过当前的时间阈值；当满足逻辑失败、系统错误、超过当前时间阈值中任一项时，均发送告警信息，并重新对数据执行运算逻辑。上述数据处理的故障检测方法和系统，通过逐步检测运算失败的可能情况，准确的区分逻辑失败、系统错误和超过时间阈值导致的失败情况，细化了运算失败的原因，提高了检测的准确性，且在失败后发送告警信息，起到了有效的警示作用，并在失败后进行重试，保证了数据处理的稳定。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种数据处理的故障检测方法和系统。所述方法包括：对数据执行运算逻辑；依次判断是否逻辑失败，是否系统错误，是否超过当前的时间阈值；当满足逻辑失败、系统错误、超过当前时间阈值中任一项时，均发送告警信息，并重新对数据执行运算逻辑。上述数据处理的故障检测方法和系统，通过逐步检测运算失败的可能情况，准确的区分逻辑失败、系统错误和超过时间阈值导致的失败情况，细化了运算失败的原因，提高了检测的准确性，且在失败后发送告警信息，起到了有效的警示作用，并在失败后进行重试，保证了数据处理的稳定。【专利说明】数据处理的故障检测方法和系统
本专利技术涉及数据处理领域，特别是涉及一种数据处理的故障检测方法和系统。
技术介绍
随着信息技术的发展，各种各样的数据产生了，如安装在工业设备、汽车、电表上 的数码传感器测量和传递的有关位置、运动、震动、温度、湿度以及空气中化学物质的变化 等数据，如此形成了大数据，即海量数据。 目前对大数据处理的方案有很多，如MapReduce方案，其使用Map(映射)和Reduce (化简)为主要操作对大数据进行并行运算。MapReduce方案把数据切分为小块，每块数据处 理设置一个超时时间，如果运算超时则认为该次运算失败，需重新执行一次运算。然而对数 据块处理过程中出现故障的原因有多种，目前仅能检测超时导致的运算失败，检测不准确。
技术实现思路
基于此，有必要针对数据处理的故障检测不准确问题，提供一种数据处理的故障 检测方法，能提高检测的准确性。 此外，还有必要针对数据处理的故障检测不准确问题，提供一种数据处理的故障 检测系统，能提高检测的准确性。 一种数据处理的故障检测方法，包括： 对数据执行运算逻辑； 依次判断是否逻辑失败，是否系统错误，是否超过当前的时间阈值； 当满足逻辑失败、系统错误、超过当前时间阈值中任一项时，均发送告警信息，并 重新对数据执行运算逻辑。 在其中一个实施例中，所述方法还包括步骤： 当运算逻辑成功、未出现系统错误且未超过当前的时间阈值时，更新时间阈值。 在其中一个实施例中，所述当运算逻辑成功、未出现系统错误且未超过当前的时 间阈值时，更新时间阈值的步骤包括： 获取一次完整的逻辑处理过程所耗费的时间，所述逻辑处理过程包括判断是否逻 辑失败，是否系统错误，是否超过当前的时间阈值； 根据所述耗费的时间及当前的时间阈值更新时间阈值。 在其中一个实施例中，所述根据所述耗费的时间及当前的时间阈值更新时间阈值 的步骤包括： 根据所述耗费时间和当前的时间阈值分别对应的权值加权求和得到更新的时间 阈值。 在其中一个实施例中，所述发送告警信息的步骤包括： 以短信方式或即时通讯方式发送告警信息。 一种数据处理的故障检测系统，包括： 执行模块，用于对数据执行运算逻辑； 判断模块，用于依次判断是否逻辑失败，是否系统错误，是否超过当前的时间阈 值； 告警模块，用于当满足逻辑失败、系统错误、超过当前的时间阈值中任一项时，均 发送告警信息，并重新由执行模块对数据执行运算逻辑。 在其中一个实施例中，所述系统还包括： 更新模块，用于当运算逻辑成功、未出现系统错误且未超过当前的时间阈值时，更 新时间阈值。 在其中一个实施例中，所述更新模块还用于获取一次完整的逻辑处理过程所耗费 的时间，所述逻辑处理过程包括判断是否逻辑失败，是否系统错误，是否超过当前的时间阈 值，以及根据所述耗费的时间及当前的时间阈值更新时间阈值。 在其中一个实施例中，所述更新模块还用于根据所述耗费时间和当前的时间阈值 分别对应的权值加权求和得到更新的时间阈值。 在其中一个实施例中，所述告警模块还用于以短信方式或即时通讯方式发送告警 信息。 上述数据处理的故障检测方法和系统，通过逐步检测运算失败的可能情况，准确 的区分逻辑失败、系统错误和超过时间阈值导致的失败情况，细化了运算失败的原因，提 高了检测的准确性，且在失败后发送告警信息，起到了有效的警示作用，并在失败后进行重 试，保证了数据处理的稳定。 【专利附图】【附图说明】 图1为一个实施例中数据处理的故障检测方法的流程图； 图2为一个实施例中更新时间阈值的流程图； 图3为一个实施例中数据处理的故障检测系统的结构框图； 图4为另一个实施例中数据处理的故障检测系统的结构框图。 【具体实施方式】 下面结合具体的实施例及附图对数据处理的故障检测方法和系统的技术方案进 行详细的描述，以使其更加清楚。 如图1所示，为一个实施例中数据处理的故障检测方法的流程图。该数据处理的 故障检测方法运行于终端上。该终端可为膝上便携式计算机、台式计算机、平板电脑、智能 手机等。该数据处理的故障检测方法，包括： 步骤S102,对数据执行运算逻辑。 具体的，将大数据分成多个小块数据，开启子进程对每个小块数据执行运算逻辑。 步骤S104,判断是否逻辑失败，若是，执行步骤S120,若否，执行步骤S106。 具体的，判断是否逻辑失败是根据各个运算逻辑来确定的，根据不同的计算任务 采用不同的运算逻辑，例如计算用户的状态、计算辅助工具的有效时限等。运算逻辑调用了 函数，每个函数处理完数据后，必须有一个返回码表示处理的结果，如非〇表示逻辑失败，〇 表示逻辑成功，即可判断返回码来确定是否逻辑失败。 步骤S106,进一步判断是否系统错误，若是，执行步骤S120,若否，执行步骤S108。 具体的，系统错误包括指针越界等，指针越界是指超过了指针变量的作用范围。出 现系统错误时，会导致子进程结束，并且有对应的状态，查询该对应的状态可得到系统错误 的原因。 步骤S108,进一步判断是否超过当前的时间阈值，若是，执行步骤S120,若否，执 行步骤S110。 具体的，每一次对数据执行运算逻辑处理均设定了时间阈值，当前的时间阈值是 指该次运算逻辑处理的时间阈值，当超过当前的时间阈值时，需重新执行运算逻辑。设置时 间阈值是为了防止长时间无处理结果，降低了运算效率。 步骤S110，更新时间阈值。 具体的，当运算逻辑成功、未出现系统错误且未超过当前的时间阈值时，更新时间 阈值。 如图2所示，为一个实施例中更新时间阈值的流程图。该更新时间阈值，包括： 步骤S202,获取一次完整的逻辑处理过程所耗费的时间，该逻辑处理过程包括判 断是否逻辑失败，是否系统错误，是否超过当前的时间阈值。 具体的，该逻辑处理过程所耗费的时间是指完成一次完整的判断是否逻辑失败、 是否系统错误、是否超过当前的时间阈值所耗费的时间。 步骤S204,根据该耗费的时间及当前的时间阈值更新当前时间阈值。 具体的，可采用加权法求取更新的时间阈值。根据该耗费时间和当前的时间阈值 分别对应的权值加权求和得到更新的时间阈值。如耗费时间Th，对应的权值为a，当前的时 间阈值T，对应的权值为b，更新的时间阈值Τ'，则Τ' =Th*a+T*b，a与b之和为1。 在其他实施例中，可采用平均值法求取更新的时间阈值。如Τ'= (Th+T)/2。 在其他实施例中，也可本文档来自技高网...

【技术保护点】
一种数据处理的故障检测方法，包括：对数据执行运算逻辑；依次判断是否逻辑失败，是否系统错误，是否超过当前的时间阈值；当满足逻辑失败、系统错误、超过当前时间阈值中任一项时，均发送告警信息，并重新对数据执行运算逻辑。

【技术特征摘要】

【专利技术属性】
技术研发人员：廖龙，秦晓强，答治茜，罗建国，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44