一种数据处理系统和方法技术方案

本发明专利技术公开了一种数据处理系统和方法，以减少定位异常数据所需时间，提高异常数据定位的效率。本发明专利技术实施例提供的数据处理系统，包括数据处理单元和数据处理结果管理单元，所述数据处理单元包括多层的数据处理子单元，其中：所述数据处理子单元，用于在检测到异常数据时，向所述数据处理结果管理单元发送数据异常查询请求，其中携带有检测到异常数据的数据处理任务标识；以及根据所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果定位异常数据初始发生位置；数据处理结果管理单元，用于根据所述数据处理任务标识，查找自身存储的所述数据处理任务标识对应的数据处理结果。

Data processing system and method

The invention discloses a data processing system and method, in order to reduce the time required for locating abnormal data and improve the efficiency of abnormal data positioning. A data processing system provided by the embodiment of the invention includes a data processing unit and data management unit, the data processing unit comprises a plurality of data processing unit, wherein the data processing unit, used to in the abnormal data, to the data processing result management unit sends the data abnormal query request among them, carrying the detected abnormal data identification and data processing tasks; according to the results of data processing the data processing task identifier corresponding to the data processing results, the location management unit to return to the original position of the abnormal data; the results of data processing and management unit, according to the data processing task ID, to find their own storage the data processing task ID corresponding data processing results.

【技术实现步骤摘要】
一种数据处理系统和方法
本专利技术涉及网络管理
，尤其涉及一种数据处理系统和方法。
技术介绍
网络管理系统是一个软硬件结合以软件为主的分布式网络应用系统，其目的是管理网络，使网络高效正常运行。网络管理系统的演进方向是从传统的烟囱式系统结构向送耦合的分层结构进行演进，如图1所示，其为分层式的网络管理系统结构示意图，包括：应用层、数据共享平台和数据采集层。在分层式的网络管理系统中，数据的处理汇聚过程是自下而上的，层与层之间通过ESB(EnterpriseServiceBus，企业服务总线)数据总线进行数据订阅与分发。由于现有的分层式的网络管理系统结构中，每层之间只存在数据交互接口，所以上层系统无法主动发现下层系统存在的数据质量问题。当上层系统管理员发现数据指标问题时，只能通过自上而下的方法进行数据核查，具体步骤如图2所示：S21、上层系统发现异常数据。S22、上层系统检查异常数据是否为本层系统进行数据处理过程中产生的数据异常，如果是，执行步骤S23，否则，执行步骤S24。S23、定位具体的数据问题并处理，流程结束。S24、通知下一层系统进行数据检查。S25、下一层系统检查该异常数据是否为本层系统进行数据处理过程中产生的数据异常，如果是，执行步骤S23，否则执行步骤S24。由上述流程可知，现有的分层式网络系统管理结构，如果上层系统发现异常数据，且该数据异常并非本层系统中进行数据处理过程中产生的数据异常时，只能逐层进行检查，如果数据异常由最末层系统进行数据处理过程中产生的异常，则中间的每一层仍然需进行自查并确认非本层系统处理过程中产生的数据异常，增加了定位异常数据发生位置所需的时间，降低了异常数据定位的效率。
技术实现思路
本专利技术实施例提供一种数据处理系统和方法，以减少定位异常数据所需时间，提高异常数据定位的效率。本专利技术实施例提供的数据处理系统，包括数据处理单元和数据处理结果管理单元，所述数据处理单元包括多层的数据处理子单元，其中：所述数据处理子单元，用于在检测到异常数据时，向所述数据处理结果管理单元发送数据异常查询请求，其中携带有检测到异常数据的数据处理任务标识；以及根据所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果定位异常数据初始发生位置；数据处理结果管理单元，用于根据所述数据处理任务标识，查找自身存储的所述数据处理任务标识对应的数据处理结果。其中，所述数据处理任务标识对应的数据处理结果为每一层数据处理子单元在处理所述数据处理任务标识对应的数据处理任务后得到并发送给所述数据处理结果管理单元的。较佳的，本专利技术实施例提供的数据处理系统中，所述每一层数据处理子单元与所述数据处理结果管理单元之间通过数据处理结果传递接口连接；所述数据处理子单元，具体用于通过所述数据处理结果传递接口将自身进行数据任务处理得到的数据处理结果传递给所述数据处理结果管理单元。较佳的，本专利技术实施例提供的数据处理系统中，所述数据处理子单元与所述数据处理结果管理单元之间还通过数据处理结果查询接口和数据处理结果返回接口连接；其中：所述数据处理子单元，具体用于在检测到异常数据时，调用所述数据处理结果查询接口向所述数据处理结果管理单元发送所述数据异常查询请求；所述数据处理结果管理单元，具体用于向调用所述数据处理结果查询接口的数据处理子单元返回所述数据处理任务标识对应的数据处理结果。本专利技术实施例中涉及的多层的数据处理子单元采用自下而上的数据处理结构。较佳的，如果所述数据处理结果包含至少两条；则所述数据处理子单元，具体用于在接收到所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果后，根据所述数据处理结果的处理时间，确定处理时间最早的数据处理结果为所述异常数据初始发生位置。较佳的，多层的数据处理子单元包括数据应用子单元，数据共享子单元和数据采集子单元。本专利技术实施例提供的数据处理方法，应用于分层的数据处理系统中，所述数据处理系统包括数据处理单元和数据处理结果管理单元，所述数据处理单元包括多层的数据处理子单元；以及所述方法，包括：所述数据处理子单元在检测到异常数据时，向所述数据处理结果管理单元发送数据异常查询请求，其中携带有检测到异常数据的数据处理任务标识；所述数据处理子单元接收所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果，其中，所述数据处理结果为所述数据处理结果管理单元根据所述数据处理任务标识在自身存储的数据处理结果中查找到的；所述数据处理子单元根据接收到的数据处理结果定位异常数据初始发生位置。其中，所述数据处理任务标识对应的数据处理结果为每一层数据处理子单元在处理所述数据处理任务标识对应的数据处理任务后得到并发送给所述数据处理结果管理单元的。较佳的，所述每一层数据处理子单元与所述数据处理结果管理单元之间通过数据处理结果传递接口连接；以及所述数据处理结果为所述数据处理子单元通过所述数据处理结果传递接口传递给所述数据处理结果管理单元。较佳的，所述数据处理子单元与所述数据处理结果管理单元之间还通过数据处理结果查询接口和数据处理结果返回接口连接；以及向所述数据处理结果管理单元发送数据异常查询请求，具体包括：调用所述数据处理结果查询接口，向所述数据处理结果管理单元发送数据异常查询请求。较佳的，所述数据处理子单元与所述数据处理结果管理单元之间还通过数据处理结果返回接口连接；以及接收所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果，具体包括：接收所述数据处理结果管理单元通过数据处理结果返回接口返回的所述数据处理任务标识对应的数据处理结果。较佳的，所述多层的数据处理子单元采用自下而上的数据处理结构。具体实施时，所述数据处理结果包含至少两条；以及根据接收到的数据处理结果定位异常数据初始发生位置，具体包括：根据每一条数据处理结果的处理时间，确定处理时间最早的数据处理结果为所述异常数据初始发生位置。较佳的，多层的数据处理子单元包括数据应用子单元，数据共享子单元和数据采集子单元。本专利技术实施例提供的数据处理系统和方法中，通过数据处理结果管理单元统一存储每一层数据处理子单元得到的数据处理结构，这样，当有数据处理子单元检测到异常数据后，直接向数据处理结果管理单元查询针对同一数据处理任务的、各数据处理子单元得到的相关处理结果即可，而无需每一层的数据处理子单元进行自查，从而减少了定位异常数据发生位置所需时间，提高了异常数据定位效率。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为现有技术中，分层结构的网络管理系统结构示意图；图2为现有技术中，数据核查方法流程示意图；图3为本专利技术实施例中，本专利技术实施例提供的数据处理系统的结构示意图；图4为本专利技术实施例中，数据处理方法的实施流程示意图。具体实施方式为了减少网络管理系统中定位异常数据所需的时间，提高异本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，包括数据处理单元和数据处理结果管理单元，所述数据处理单元包括多层的数据处理子单元，其中：所述数据处理子单元，用于在检测到异常数据时，向所述数据处理结果管理单元发送数据异常查询请求，其中携带有检测到异常数据的数据处理任务标识；以及根据所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果定位异常数据初始发生位置；数据处理结果管理单元，用于根据所述数据处理任务标识，查找自身存储的所述数据处理任务标识对应的数据处理结果。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括数据处理单元和数据处理结果管理单元，所述数据处理单元包括多层的数据处理子单元，其中：所述数据处理子单元，用于在检测到异常数据时，向所述数据处理结果管理单元发送数据异常查询请求，其中携带有检测到异常数据的数据处理任务标识；以及根据所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果定位异常数据初始发生位置；数据处理结果管理单元，用于根据所述数据处理任务标识，查找自身存储的所述数据处理任务标识对应的数据处理结果。2.如权利要求1所述的系统，其特征在于，所述数据处理任务标识对应的数据处理结果为每一层数据处理子单元在处理所述数据处理任务标识对应的数据处理任务后得到并发送给所述数据处理结果管理单元的。3.如权利要求2所述的系统，其特征在于，所述每一层数据处理子单元与所述数据处理结果管理单元之间通过数据处理结果传递接口连接；所述数据处理子单元，具体用于通过所述数据处理结果传递接口将自身进行数据任务处理得到的数据处理结果传递给所述数据处理结果管理单元。4.如权利要求3所述的系统，其特征在于，所述数据处理子单元与所述数据处理结果管理单元之间还通过数据处理结果查询接口和数据处理结果返回接口连接；其中：所述数据处理子单元，具体用于在检测到异常数据时，调用所述数据处理结果查询接口向所述数据处理结果管理单元发送所述数据异常查询请求；所述数据处理结果管理单元，具体用于向调用所述数据处理结果查询接口的数据处理子单元返回所述数据处理任务标识对应的数据处理结果。5.如权利要求1所述的系统，其特征在于，所述多层的数据处理子单元采用自下而上的数据处理结构。6.如权利要求5所述的系统，其特征在于，所述数据处理结果包含至少两条；以及所述数据处理子单元，具体用于在接收到所述数据处理结果管理单元返回的、所述数据处理任务标识对应的数据处理结果后，根据所述数据处理结果的处理时间，确定处理时间最早的数据处理结果为所述异常数据初始发生位置。7.如权利要求1～6任一权利要求所述的系统，其特征在于，多层的数据处理子单元包括数据应用子单元，数据共享子单元和数据采集子单元。8.一种数据处理方法，应用于分层的数据处理系统中，其特征在于，所述数据处理系统包括数据处理单元和数据处理结果管理单元，所述...

【专利技术属性】
技术研发人员：舒国藩，於少菲，张军华，吴进夫，辛海英，吴楠，周铭，刘嫫婧，朱冬梅，金浩，
申请(专利权)人：中国移动通信集团吉林有限公司，
类型：发明
国别省市：吉林,22