容错处理方法以及容错组件技术

本申请公开了容错处理方法以及容错组件，该容错处理方法应用于抽取转化加载ETL作业过程中，所述方法包括：获得从数据源抽取的业务数据，所述业务数据包括多个记录；对所述业务数据进行检核，以确定所述业务数据中异常的记录和正常的记录；对所述异常的记录进行修复，将修复成功的记录和所述正常的记录发送至下游组件。实施本申请的方案，能够解决以提高ETL程序的健壮性，减少应用程序因数据质量问题导致的异常，减少数据仓库系统运维的人力成本。

Fault Tolerant Processing and Fault Tolerant Components

This application discloses a fault-tolerant processing method and a fault-tolerant component. The fault-tolerant processing method is applied in the process of extracting, transforming and loading ETL jobs. The methods include: obtaining business data extracted from data sources, including multiple records; checking the business data to determine the abnormal records and normal records in the business data; and checking the abnormal records in the business data. The record is repaired, and the successful repair record and the normal record are sent to the downstream component. Implementing the scheme of this application can improve the robustness of ETL program, reduce the anomalies caused by data quality problems of application program, and reduce the human cost of operation and maintenance of data warehouse system.

【技术实现步骤摘要】
容错处理方法以及容错组件
本专利技术涉及数据整合领域，尤其涉及容错处理方法以及容错组件。
技术介绍
企业信息化在各行各业的管理运行中占据重要地位，企业信息化建设已成为提升企业核心竞争力的重要途径。在企业信息化的数据库中，通常包含大量的冗余数据，需要进行合理规划和处理，而数据仓库系统的出现，满足了企业对规划和处理大数据的需求。数据仓库系统技术在原有数据库系统基础上加入了数据分析处理的功能，使得企业可以获得精确且综合的企业数据，为企业决策的制定和实施提供有效的信息。数据仓库系统通常可分为数据源、ETL模块和数据仓库层，ETL模块负责数据的抽取、清洗/转换、加载等，对数据进行整合，是数据仓库系统技术的重要环节。然而，随着企业业务的增多，数据仓库层可能会对应运行有大量的应用程序，并连接着大量的数据源，这样可能会频繁出现由数据质量问题导致的异常，日常要投入大量的运维人力。
技术实现思路
本专利技术实施例公开了一种容错处理方法以及容错组件，能够解决以提高ETL模块的健壮性，减少应用程序因数据质量问题导致的异常，减少数据仓库系统运维的人力成本。第一方面，本专利技术实施例提供了一种容错处理方法，所述方法本文档来自技高网...

【技术保护点】
1.一种容错处理方法，其特征在于，所述方法应用于抽取转化加载ETL作业过程中，所述方法包括：获得从数据源抽取的业务数据，所述业务数据包括多个记录；对所述业务数据进行检核，以确定所述业务数据中异常的记录和正常的记录；对所述异常的记录进行修复，将修复成功的记录和所述正常的记录发送至下游组件。

【技术特征摘要】
1.一种容错处理方法，其特征在于，所述方法应用于抽取转化加载ETL作业过程中，所述方法包括：获得从数据源抽取的业务数据，所述业务数据包括多个记录；对所述业务数据进行检核，以确定所述业务数据中异常的记录和正常的记录；对所述异常的记录进行修复，将修复成功的记录和所述正常的记录发送至下游组件。2.根据权利要求1所述的方法，其特征在于，在获得从数据源抽取的业务数据之前，包括：配置容错规则，所述容错规则用于确定检核规则和修复规则；其中，所述检核规则用于确定所述记录属于正常的标准，所述修复规则用于确定修复所述异常的记录所采用的方式；对所述业务数据进行检核，具体为：基于所述检核规则确定的所述标准对所述业务数据进行检核；对所述异常的记录进行修复，具体为：基于所述修复规则确定的所述方式对所述异常的记录进行修复，以使所述异常的记录符合所述标准。3.根据权利要求2所述的方法，其特征在于，基于所述检核规则所确定的所述标准对所述业务数据进行检核，包括：基于所述检核规则确定的所述标准检核所述业务数据中的记录的技术参数是否异常，所述技术参数包括数据类型、字段长度、精度值、时间与日期值、数字字符串中的至少一项；以及，基于所述检核规则确定的所述标准检核所述业务数据中的记录的业务相关字段是否异常，所述业务相关字段包括客户类型、业务类型、订单数量中的至少一项。4.根据权利要求1至3任一项所述的方法，其特征在于，在对所述异常的记录进行修复之后，还包括：若对所述异常的记录修复成功，则将修复成功的记录保存到告警日志；若对所述异常的记录修复失败，则将修复失败的记录保存到拒绝日志，所述拒绝日志中的所述修复失败的记录用于进行人工修复。5.根据权利要求1至4任一项所述的方法，其特征在于，获得从数据源抽取的业务数据之后，所述方法还包括：根据键值对所述多个记录进行排序，其中，每一个记录对应一个键值；以及，去除所述键值重复的记录。6.一种容错组件，其特征在于，所述容错组件应用于抽取转化加载ETL作业过程中，包括：接收模块，用于获得从数据源抽...

【专利技术属性】
技术研发人员：贺文生，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44