一种数据处理方法及系统技术方案

本申请实施例提供了一种数据处理方法及系统，涉及互联网技术领域，该方法包括：按照预设条件采集多个待监控对象的业务数据，根据多个待监控对象的业务数据从多个待监控对象中筛选出目标对象的业务数据。然后分析每一个目标对象的业务数据与预设规则是否匹配；若是，则将目标对象确定为正常目标对象，否则将目标对象确定为异常目标对象，之后接收异常目标对象的处理信息，并校验异常目标对象的处理状态。由于先筛选出目标对象，然后分析每一个目标对象是否与预设条件匹配来确定目标对象是否异常，相较于人工分析来说，其效率更高且更具有针对性。在接收到异常目标对象的处理信息时，校验异常目标对象的处理状态，实现对异常处理的监督。

A Data Processing Method and System

The embodiment of this application provides a data processing method and system, which relates to the field of Internet technology. The method includes collecting business data of multiple monitored objects according to preset conditions, and screening business data of target objects from multiple monitored objects according to business data of multiple monitored objects. Then, it analyses whether the business data of each target object matches the preset rules; if so, it determines the target object as the normal target object, otherwise it determines the target object as the abnormal target object, and receives the processing information of the abnormal target object, and verifies the processing status of the abnormal target object. Compared with manual analysis, it is more efficient and targeted to screen the target object first and then analyze whether each target object matches the preset conditions to determine whether the target object is abnormal. When receiving the processing information of the abnormal object, the processing state of the abnormal object is checked to supervise the processing of the abnormal object.

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术实施例涉及互联网
，尤其涉及一种数据处理方法及系统。
技术介绍
随着互联网技术的发展，业务数据量逐渐增多。为了保证业务的正常开展，提前规避业务风险，需要对业务进行监控。现有技术中，主要通过人工从业务数据中抽取部分业务数据进行分析，确定异常业务。而互联网发展带来的大数据时代的业务数据量庞大，依赖人工分析业务数据的效率较低。
技术实现思路
由于现有技术中依赖人工对大量的业务数据进行分析，导致数据处理效率低的问题，本申请实施例提供了一种数据处理方法及系统，该系统包括：一方面，本申请实施例提供了一种数据处理方法，该方法包括：按照预设条件采集多个待监控对象的业务数据；根据所述多个待监控对象的业务数据从所述多个待监控对象中筛选出目标对象的业务数据；分析每一个目标对象的业务数据与预设规则是否匹配；若是，则将所述目标对象确定为正常目标对象；否则将所述目标对象确定为异常目标对象，接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态。另一方面，本申请实施例提供了一种数据处理系统，该系统包括：采集器、监控模块、异常分析模块、异常处理模块；所述采集器，用于按照预设条件采集多个待监控对象的业务数据，将所述多个待监控对象的业务数据发送至所述监控模块；所述监控模块，用于根据所述多个待监控对象的业务数据从所述多个待监控对象中筛选出目标对象的业务数据；所述异常分析模块，用于获得目标对象的业务数据，并分析每一个目标对象的业务数据与预设规则是否匹配；若是，则将所述目标对象确定为正常目标对象；否则将所述目标对象确定为异常目标对象；所述异常处理模块，用于接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态。再一方面，本申请实施例提供了一种数据处理设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述数据处理方法的步骤。又一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由数据处理设备执行的计算机程序，当所述程序在数据处理设备上运行时，使得所述数据处理设备执行上述数据处理方法的步骤。本申请实施例中，按照预设条件采集多个待监控对象的业务数据并将多个待监控对象的业务数据，然后根据各待监控对象的业务数据从各待监控对象中筛选出目标对象的业务数据。之后再分析每一个目标对象的业务数据是否异常。当目标对象中出现异常目标对象时，接收异常目标对象的处理信息，并校验异常目标对象的处理状态。由于根据各待监控对象的业务数据从各待监控对象中筛选出目标对象，筛选出的目标对象更具有针对性，对筛选出的目标对象进行分析能提高异常分析的效率，其次，预先设置条件，然后分析每一个目标对象是否与预设条件匹配来确定目标对象是否异常，相较于人工分析来说，其效率更高。在业务数据量庞大的情况下，能分析目标对象所有的业务数据，确定目标对象是否异常，而不是抽取部分数据进行分析，从而保证了数据分析结果的准确性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1a为本申请实施例提供的一种数据处理过程的示意图；图1b为本申请适用的一种应用场景示意图；图2为本申请提供的一种数据处理方法的流程示意图；图3为本申请提供的一种资源位的示意图；图4为本申请提供的一种波动情况的示意图；图5为本申请提供的一种波动情况的示意图；图6为本申请提供的一种波动率分布示意图；图7为本申请提供的一种分析状态视图的示意图；图8为本申请提供的一种处理状态视图的示意图；图9为本申请提供的一种数据处理系统的结构示意图；图10为本申请提供的一种数据处理系统的结构示意图；图11为本申请提供的一种数据处理系统的结构示意图；图12为本申请提供的一种数据处理系统的结构示意图；图13为本申请适用的一种应用场景图；图14为本申请提供的一种数据处理系统的结构示意图；图15为本申请提供的一种数据处理设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了方便理解，下面对本专利技术实施例中涉及的名词进行解释。TDW：腾讯分布式数据仓库(TencentdistributedDataWarehouse，简称TDW)，基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限。在具体实践过程中，本专利技术的专利技术人发现，在通过分析业务数据监控业务状态时，现在多采用人工抽样本的方法，即人工根据经验从采集的业务数据中抽取部分数据进行分析，然后根据部分业务数据的分析结果判断业务是否正常。但是，随着大数据时代的到来，数据量激增，而人工所能分析的数据有限，依旧采用人工从庞大的业务数据量中抽取部分数据进行分析时，所确定的分析结果与业务的实际状态可能相差较远，导致数据处理效率较低，数据分析结果偏差较大。为此，本专利技术的专利技术人考虑到，采用数据处理系统对业务数据进行分析，自动确定待监控对象是否异常，具体逻辑如图1a所示，先对监控对象的业务数据进行数据监控，确定业务数据的整体趋势以及目标对象，然后对目标对象进行异常分析。在确定目标对象出现异常时，将目标对象确定为异常目标对象，然后通知相关人员对异常目标对象进行处理。同时对异常目标对象的业务数据进行监控，根据异常目标对象的业务数据监控结果跟进异常对象的处理状态。本申请实施例中的数据处理系统中采用采集器、监控模块、异常分析模块以及异常处理模块实现上述逻辑，具体为：采集器按照预设条件采集多个待监控对象的业务数据并将多个待监控对象的业务数据发送至监控模块，然后由监控模块根据各待监控对象的业务数据从各待监控对象中筛选出目标对象的业务数据。之后再由异常分析模块分析每一个目标对象的业务数据是否异常，若异常，将异常目标对象发送至异常处理模块，异常处理模块接收异常目标对象的处理信息，并根据从监控模块中获取的异常目标对象的业务数据校验异常目标对象的处理状态。由于监控模块根据各待监控对象的业务数据从各待监控对象中筛选出目标对象，筛选出的目标对象更具有针对性，对目标对象进行分析能提高异常分析的效率，其次，预先设置条件，然后由异常分析模块分析每一个目标对象是否与预设条件匹配来确定目标对象是否异常，相较于人工分析来说，其效率更高。在业务数据量庞大的情况下，异常分析模块分析目标对象所有的业务数据，确定目标对象是否异常，而不是抽取部分数据进行分析，从而保证了数据分析结果的准确性。异常处理模块接收到异常目标对象的处理信息后，校验异常目标对象的处理状态，从而实现异常处理的监督。人工监控业务的方法依赖人工对业务数据进行分析，因此监控的周期较长，但是现今业务快速发展，产品迅速迭代，导致需要监控的业务越来越多，人工监控的实时性较差，将导致重大风险识别滞后。为此，本申请实施例中，采集器实时采集待监控对象的业务数据后发送至监控模块，监控模块定期筛选出目标对象本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：按照预设条件采集多个待监控对象的业务数据；根据所述多个待监控对象的业务数据从所述多个待监控对象中筛选出目标对象的业务数据；分析每一个目标对象的业务数据与预设规则是否匹配；若是，则将所述目标对象确定为正常目标对象；否则将所述目标对象确定为异常目标对象，接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：按照预设条件采集多个待监控对象的业务数据；根据所述多个待监控对象的业务数据从所述多个待监控对象中筛选出目标对象的业务数据；分析每一个目标对象的业务数据与预设规则是否匹配；若是，则将所述目标对象确定为正常目标对象；否则将所述目标对象确定为异常目标对象，接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态。2.如权利要求1所述的方法，其特征在于，所述根据所述多个待监控对象的业务数据从所述多个待监控对象中筛选出目标对象的业务数据，包括：针对每一个待监控对象，获取所述待监控对象的当前业务数据和所述待监控对象的历史业务数据；根据所述待监控对象的当前业务数据和所述待监控对象的历史业务数据确定所述待监控对象的业务数据的移动平均值；根据所述多个待监控对象的业务数据的移动平均值对所述多个待监控对象进行排序；将排在前N位的待监控对象确定为目标对象，N为预设阈值。3.如权利要求1所述的方法，其特征在于，所述分析每一个目标对象的业务数据与预设规则是否匹配之前，还包括：根据所述多个待监控对象的业务数据确定总体波动率；根据每一个目标对象的业务数据确定每一个目标对象的波动率。4.如权利要求3所述的方法，其特征在于，所述分析每一个目标对象的业务数据与预设规则是否匹配，包括：采用所述总体波动率对每一个目标对象的波动率进行修正，分析修正后的每一个目标对象的波动率是否位于第一预设范围。5.如权利要求1至4任一所述的方法，其特征在于，所述接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态，包括：接收删除所述异常目标对象的处理信息，校验在预设时间段内是否采集到所述异常目标对象的业务数据；若是，则确定所述异常目标对象的处理状态为未处理；否则确定所述异常目标对象的处理状态为已处理。6.如权利要求1至4任一所述的方法，其特征在于，所述接收所述异常目标对象的处理信息，并校验所述异常目标对象的处理状态，包括：接收修改所述异常目标对象的处理信息；校验所述异常目标对象与所述预设规则是否匹配；若是，则确定所述异常目标对象的处理状态为已处理；否则确定所述异常目标对象的处理状态为未处理。7.一种数据处理系统，其特征在于，包括：采集器、监控模块、异常分析模块、异常处理模块；所述采集器，用于按照预设条件采集多个待监控对象的业务数据，将所述多个待...

【专利技术属性】
技术研发人员：李潘霖，李佳，缪招兵，李倩，魏曼，杨小宇，王俊鹏，赵炤，叶龙，王茜妮，苏聿，陈遥烽，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44