一种基于工业大数据的数据清洗系统技术方案

本发明专利技术涉及数据处理技术领域，且公开了一种基于工业大数据的数据清洗系统，包括数据库服务器和清洗服务器，所述数据库服务器通过交换机与所述清洗服务器相连，所述清洗服务器包括：用于导入数据库数据的数据导入模块；用于对不同数据进行分类的数据分类模块；通过设置清洗服务器，利用清洗服务器对工业大数据中的重复和错误数据进行清洗，大大降低了工业日常产生的数据，减少了企业为数据的储存成本，此外，改系统还可对同一数据进行整体删除，大大降低了相同数据需要一一清除的麻烦，同时，只对异常数据进行储存，具有快速比对清洗的优点。点。点。

【技术实现步骤摘要】
一种基于工业大数据的数据清洗系统


[0001]本专利技术涉及数据处理
，具体为一种基于工业大数据的数据清洗系统。

技术介绍

[0002]工业大数据是指由工业设备高速产生的大量数据，对应不同时间下的设备状态，是物联网中的讯息。此一词语在2012年随着工业4.0的概念而出现，也和信息技术行销流行的大数据有关，工业大数据也意味着工业设备产生的大量数据有其潜在的商业价值。工业大数据会配合工业互联网的技术，利用原始资料来支援管理上的决策，例如降低维护成本以及提升对客户的服务。
[0003]工业大数据有数据容量大的特点：数据的大小决定所考虑的数据的价值和潜在的信息；工业数据体量比较大，大量机器设备的高频数据和互联网数据持续涌入，大型工业企业的数据集将达到PB级甚至EB级别。
[0004]为了避免数据的重复堆叠，企业会对冗杂的数据进行清洗，数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并检查数据一致性，处理无效值和缺失值等。
[0005]现有技术中，在对数据进行清洗时，一般采用特定的规则对数据一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于工业大数据的数据清洗系统，包括数据库服务器和清洗服务器，所述数据库服务器通过交换机与所述清洗服务器相连，其特征在于：所述清洗服务器包括：用于导入数据库数据的数据导入模块；用于对不同数据进行分类的数据分类模块；用于记录数据清洗方式的数据规则库；用于比对同一时间段的相同数据的重复数据比对模块；用于删除重复数据和错误数据的数据清洗模块；用于储存清洗后数据的数据储存模块。2.根据权利要求1所述的一种基于工业大数据的数据清洗系统，其特征在于：所述设备数据库包括设备储存单元、处理器和通信单元。3.根据权利要求1所述的一种基于工业大数据的数据清洗系统，其特征在于：所述运营数据库包括运营储存单元、处理器和通信单元。4.根据权利要求2所述的一种基于工业大数据的数据清洗系统，其特征在于：所述设备储存单元用于储存设备传感数据、设备效率数据和部件寿命数据。5.根据权利要求3所述的一种基于工业大数据的数据清洗系统，...

【专利技术属性】
技术研发人员：岳文涛，夏鹏飞，王飞跃，
申请(专利权)人：宁夏西诚软件股份有限公司，
类型：发明
国别省市：