一种基于数据交易的数据清洗系统技术方案

本发明专利技术提供一种基于数据交易的数据清洗系统，属于数据交易领域，包括处理模块，在清洗处理时生产日志；信息获取模块，用于从所述多个客户端获取预处理相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；分配模块，获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；跟踪模块，获取所述日志进行故障处理。本发明专利技术的有益效果：提高数据处理效率。

A data cleaning system based on data transaction

【技术实现步骤摘要】
一种基于数据交易的数据清洗系统
本专利技术涉及数据交易
，尤其涉及一种基于数据交易的数据清洗系统。
技术介绍
目前，大数据交易过程中产生大量的需要进行清洗处理的源数据，当数据中心服务端从客户端获取到源数据后，需要对源数据进行同一的清洗处理，数据传输和处理量很大，数据清理效率较低。
技术实现思路
针对现有技术中存在的问题，本专利技术涉及一种基于数据交易的数据清洗系统。本专利技术采用如下技术方案：一种基于数据交易的数据清洗系统，包括：处理模块，连接所述分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息本文档来自技高网...

【技术保护点】
1.一种基于数据交易的数据清洗系统，其特征在于，包括：/n处理模块，连接所述分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；/n信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；/n分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单...

【技术特征摘要】
1.一种基于数据交易的数据清洗系统，其特征在于，包括：
处理模块，连接所述分配模块，包括多个处理单元，所述处理模块用于对多个客户端的源数据进行清洗处理得到目标数据，每个所述处理单元在进行所述清洗处理时生产日志并输出；
信息获取模块，用于从所述多个客户端获取预处理相关信息，所述预处理相关信息包括所述客户端的第一相关信息和所述客户端中待处理的所述源数据的第二相关信息，根据预设的分类策略对所述预处理相关信息进行分类处理得到分组信息；
分配模块，连接所述处理模块和所述信息获取模块，用于获取所述分组信息和相应的清洗策略信息，根据所述分组信息将同一组的所述源数据分配给同一所述处理单元，多个所述处理单元对所述源数据并行并行处理，每个所述处理单元分别根据所述清洗策略信息对相应的所述源数据进行排序依次进行所述清洗处理；
跟踪模块，连接所述处理模块和所述分配模块，用于获取所述日志，根据所述日志在判断任意一所述处理单元出现清洗故障时和/或任意一源数据出现清洗故障时，向所述分配模块发送报警信息，所述分配模块根据所述报警信息重新进行相关源数据的分配。


2.根据权利要求1的数据清洗系统，其特征在于，所述第一相关信息包括所述客户端的第一标识信息，所述第一标识信息包括所述客户端的客户端数据、操作员数据、所属的机构数据以及历史合作数据。


3.根据权利要求2的数据清洗系统，其特征在于，所述第二相关信息包括所述源数据的第二标识信息，所述第二标识信息包括所述源数据的格式数据、所属的领域数据、所...

【专利技术属性】
技术研发人员：汤寒林，
申请(专利权)人：华东江苏大数据交易中心股份有限公司，
类型：发明
国别省市：江苏;32