一种数据清洗方法、装置、设备及其存储介质制造方法及图纸

本申请实施例属于金融科技技术领域，应用于金融业务数据清洗场景中，涉及一种数据清洗方法、装置、设备及其存储介质，包括采集批量业务数据；识别出所述批量业务数据中的噪声数据、敏感数据、低频调用数据和过期数据；通过预构建的综合清洗模型、噪声数据标识、敏感数据标识、低频调用数据标识、过期数据标识，完成对批量业务数据的清洗。在金融业务数据传输过程中，或者从批量业务数据中筛选出目标金融业务数据进行系统转存过程中，通过对批量业务数据进行噪声数据删除处理、敏感数据加密处理、过期数据删除处理和低频调用数据删除处理，保证了及时删除掉非本业务场景的数据，同时，也实现了目标业务数据的安全传输。

【技术实现步骤摘要】

本申请涉及金融科技，应用于金融业务数据清洗场景中，尤其涉及一种数据清洗方法、装置、设备及其存储介质。

技术介绍

1、随着互联网的飞速发展，各行各业都在依托互联网寻求行业突破点，近年来，金融行业也正在围绕着互联网进行线上业务拓展。由于金融行业涉及的数据往往涉及到个人隐私数据和资金财产数据，这也导致了对金融机构在业务数据的管理维护上提出了更高的安全要求。

2、在批量金融业务数据采集过程中，往往会有业务数据伴随着诸多噪声，不符合期望的业务场景使用，这些噪声会影响金融业务模型的训练结果，因此，在使用前需要进行数据清洗，但现有的数据清洗方法，对于清洗策略不全面，导致数据清洗处理不够彻底，无法及时清洗掉非本业务场景的数据，同时，也无法对目标业务数据进行安全传输。

技术实现思路

1、本申请实施例的目的在于提出一种数据清洗方法、装置、设备及其存储介质，以解决现有技术在金融业务数据清洗上，无法及时清洗掉非本业务场景的数据，同时，也无法对目标业务数据进行安全传输的问题。

2、为了解决上述技术问题，本申请实本文档来自技高网...

【技术保护点】

1.一种数据清洗方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的数据清洗方法，其特征在于，所述根据预设的噪声数据识别策略识别出所述批量业务数据中的噪声数据，并为所有噪声数据一一设置噪声数据标识的步骤，具体包括：

3.根据权利要求2所述的数据清洗方法，其特征在于，所述根据预设的敏感数据识别策略识别出所述批量业务数据中的敏感数据，并为所有敏感数据一一设置敏感数据标识的步骤，具体包括：

4.根据权利要求3所述的数据清洗方法，其特征在于，所述采用统计分析法和预设的数据调用日志识别所述批量业务数据中所有业务数据的调用频率的步骤，具体包括：

...

【技术特征摘要】

1.一种数据清洗方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的数据清洗方法，其特征在于，所述根据预设的噪声数据识别策略识别出所述批量业务数据中的噪声数据，并为所有噪声数据一一设置噪声数据标识的步骤，具体包括：

3.根据权利要求2所述的数据清洗方法，其特征在于，所述根据预设的敏感数据识别策略识别出所述批量业务数据中的敏感数据，并为所有敏感数据一一设置敏感数据标识的步骤，具体包括：

4.根据权利要求3所述的数据清洗方法，其特征在于，所述采用统计分析法和预设的数据调用日志识别所述批量业务数据中所有业务数据的调用频率的步骤，具体包括：

5.根据权利要求4所述的数据清洗方法，其特征在于，所述基于预设的过期数据识别策略和所述入库时间节点识别出所述批量业务数据中的过期数据，并为所有过期数据一一设置过期数据标识的步骤，具体包括：

6.根据权利要求1或5所述的数据清洗方法，其特征在于，所述综合清洗模型包括清洗顺序控制组件、噪声数据清洗组件、敏感数...

【专利技术属性】
技术研发人员：余可帆，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：