一种数据修正方法、装置、存储介质及处理器制造方法及图纸

本发明专利技术公开了一种数据修正方法和装置。所述方法包括：检测数据文件中不符合处理规则的目标数据，并确定目标数据的特征信息，根据目标数据的特征信息以及预先构建的特征信息与修正策略的对应关系，匹配出所述目标数据的特征信息对应的修正策略，对目标数据执行对应的修正策略，以使目标数据符合处理规则，使得可以对数据文件中不符合处理规则的目标数据进行自动识别，并确定对应的修正策略，自动修正数据，减少了人工操作，减低了修正数据的成本。

A data correction method, device, storage medium and processor

【技术实现步骤摘要】
一种数据修正方法、装置、存储介质及处理器
本专利技术涉及数据修正
，特别是涉及一种数据修正方法、一种数据修正装置、一种存储介质及一种处理器。
技术介绍
随着计算机技术的发展，人们对于海量数据的挖掘与运用进入了快速发展的阶段。数据分析平台所分析的数据的来源变得越来越纷杂，例如，全媒体智能分析平台中，其基础数据可以来自网络媒体、电视媒体、媒体研究机构等多个来源，包括收视、收听和网络等多个方面的数据。由于数据的来源多样，导致数据的格式千差万别，难以统一，尤其是一些数据还可能经过手动调整，同个来源的数据也会出现格式不统一的问题。为了避免数据在读取和处理过程中，由于格式千差万别导致各种问题，需要人工对数据的格式进行修正，这种修正方式成本很高。
技术实现思路
鉴于上述问题，提出了一种数据修正方法和装置，以解决需要人工对数据进行修正，修正成本很高的问题。依据本专利技术的一个方面，提供了一种数据修正方法，包括：检测数据文件中不符合处理规则的目标数据，并确定所述目标数据的特征信息；根据所述目标数据的特征信本文档来自技高网...

【技术保护点】
1.一种数据修正方法，其特征在于，包括：/n检测数据文件中不符合处理规则的目标数据，并确定所述目标数据的特征信息；/n根据所述目标数据的特征信息以及预先构建的特征信息与修正策略的对应关系，匹配出所述目标数据的特征信息对应的修正策略；/n对所述目标数据执行对应的修正策略，以使所述目标数据符合处理规则。/n

【技术特征摘要】
1.一种数据修正方法，其特征在于，包括：
检测数据文件中不符合处理规则的目标数据，并确定所述目标数据的特征信息；
根据所述目标数据的特征信息以及预先构建的特征信息与修正策略的对应关系，匹配出所述目标数据的特征信息对应的修正策略；
对所述目标数据执行对应的修正策略，以使所述目标数据符合处理规则。


2.根据权利要求1所述的方法，其特征在于，所述检测数据文件中不符合处理规则的目标数据包括：
获取数据系统读取数据文件时产生的错误日志；
根据所述错误日志，确定发生读取错误的数据文件；
根据所述处理规则，检测所述发生读取错误的数据文件中的目标数据。


3.根据权利要求2所述的方法，其特征在于，所述根据所述处理规则，检测所述发生读取错误的数据文件中的目标数据包括：
获取所述数据文件的属性信息；
根据所述属性信息，确定所述数据文件对应的处理规则；
根据所述数据文件对应的处理规则，检测发生读取错误的数据文件中的目标数据。


4.根据权利要求1所述的方法，其特征在于，所述特征信息包括错误类型；所述确定所述目标数据的特征信息包括：
从所述目标数据不符合处理规则的检测结果中提取出所述目标数据的错误类型；
将所述目标数据的错误类型作为该目标数据的特征信息。


5.根据权利要求1所述的方法，其特征在于，所述对所述目标数据执行对应的修正策略包括以下至少一种：
对为空值的目标数据进行删除；
对为空值的目标数据进行填充；
将目标数据的数据类型转换为符合处理规则的...

【专利技术属性】
技术研发人员：焦张波，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11