一种数据清洗方法和装置制造方法及图纸

本发明专利技术公开了一种数据清洗方法和装置，用以解决数据清洗的效率低的问题。本方案包括：获取待清洗数据，待清洗数据包括至少一个目标数据；根据清洗策略库确定与各目标数据的数据类型相匹配的目标清洗策略；根据各目标数据对应的目标清洗策略对待清洗数据中异常的目标数据执行清洗处理，以得到符合目标数据格式的清洗后的目标数据；将清洗后数据和对异常的目标数据执行清洗处理的信息关联存储至数据。本发明专利技术针对于待清洗数据的数据类型确定相匹配的清洗策略，满足各类数据处理需求，提高数据清洗后的数据质量，有效提高数据清洗速度。关联存储清洗后数据和执行清洗处理的信息，避免数据丢失，保证数据质量。

【技术实现步骤摘要】
一种数据清洗方法和装置
本专利技术涉及数据处理领域，尤其涉及一种数据清洗方法和装置。
技术介绍
数据清洗(Datacleaning)是对数据进行审查和校验的过程，目的在于识别出数据中异常不符合规范的问题数据，并通过清洗策略把不符合规范的异常的目标数据进行清洗转换，保证关键数据的完整性和一致性，以达到入库的要求。数据清洗是数据处理过程中的关键环节，同时也是保障关键数据准确、提高数据质量的主要手段。在实际应用中，由于源端数据的类型多种多样且数据量通常较大，无法通过人工来执行数据清洗。另外，单一的清洗策略难以满足不同类型数据的处理需求。而且，在数据清洗过程中，可能会出现数据丢失、乱码等情况，导致清洗后数据质量低。如何提高数据清洗的效率，是本申请所要解决的技术问题。
技术实现思路
本申请实施例的目的是提供一种数据清洗方法和装置，用以解决数据清洗的效率低的问题。第一方面，提供了一种数据清洗方法，包括：获取待清洗数据，所述待清洗数据包括至少一个目标数据；根据清洗策略库确定与各目标数据的数据类型相匹本文档来自技高网...

【技术保护点】
1.一种数据清洗方法，其特征在于，包括：/n获取待清洗数据，所述待清洗数据包括至少一个目标数据；/n根据清洗策略库确定与各目标数据的数据类型相匹配的目标清洗策略，所述目标清洗策略包括将所述目标数据转换为目标数据格式的转换策略；/n根据各目标数据对应的目标清洗策略对所述待清洗数据中异常的目标数据执行清洗处理，以得到符合所述目标数据格式的清洗后的目标数据，所述目标清洗策略包括将异常的目标数据转换为目标数据格式的转换策略；/n将清洗后数据和对所述异常的目标数据执行清洗处理的信息关联存储至数据库，所述清洗后数据包括符合所述目标数据格式的目标数据和所述清洗后的目标数据。/n

【技术特征摘要】
1.一种数据清洗方法，其特征在于，包括：
获取待清洗数据，所述待清洗数据包括至少一个目标数据；
根据清洗策略库确定与各目标数据的数据类型相匹配的目标清洗策略，所述目标清洗策略包括将所述目标数据转换为目标数据格式的转换策略；
根据各目标数据对应的目标清洗策略对所述待清洗数据中异常的目标数据执行清洗处理，以得到符合所述目标数据格式的清洗后的目标数据，所述目标清洗策略包括将异常的目标数据转换为目标数据格式的转换策略；
将清洗后数据和对所述异常的目标数据执行清洗处理的信息关联存储至数据库，所述清洗后数据包括符合所述目标数据格式的目标数据和所述清洗后的目标数据。


2.如权利要求1所述的方法，其特征在于，根据清洗策略库确定与各目标数据的数据类型相匹配的目标清洗策略，包括：
确定所述清洗策略库中是否包括与目标数据的数据类型相匹配的清洗策略；
若是，将所述清洗策略库中与目标数据的的数据类型相匹配的清洗策略确定为所述目标清洗策略；
若否，生成与所述目标数据的数据类型相匹配的目标清洗策略。


3.如权利要求2所述的方法，其特征在于，在生成与所述目标数据的数据类型相匹配的目标清洗策略之后，还包括：
将所述数据类型与相匹配的目标清洗策略关联存储至所述清洗策略库。


4.如权利要求1所述的方法，其特征在于，根据各目标数据对应的目标清洗策略对所述待清洗数据中异常的目标数据执行清洗处理，以得到符合所述目标数据格式的清洗后的目标数据，包括：
识别所述待清洗数据中不符合所述目标数据格式的异常的目标数据；
根据异常的目标数据对应的目标清洗策略对所述异常的目标数据执行数据转换，得到清洗后的目标数据。


5.如权利要求4所述的方法，其特征在于，根据异常的目标数据对应的目标清洗策略对所述异常的目标数据执行数据转换，得到清洗后的目标数据，包括：
根据所述目标清洗策略确定数据转换特征，所述数据转换特征包括预设的执行数据转换的数据具有的特征；
对具有所述数据...

【专利技术属性】
技术研发人员：邓娟，谢新标，罗秀，王捷，
申请(专利权)人：中国移动通信集团贵州有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：贵州;52