一种数据智能标引和自动化数据清洗的方法及系统技术方案

一种数据智能标引和自动化数据清洗的方法，包括以下具体步骤：接收数据输入请求；对接收的数据进行分段，得到多段数据；调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则输入标引关键词，将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，对各段标引结果依次进行整合和保存；若为清洗指令，则同时对各段进行清洗，将各段的清洗结果整合并进行保存，再对预清洗后的整合数据进行再次清洗，最后对数据深度清洗后的数据进行输出显示。本发明专利技术还提出数据智能标引和自动化数据清洗的的系统。本发明专利技术对数据进行分段，对不同的分段同时进行命令，提高了运行的效率。

【技术实现步骤摘要】
一种数据智能标引和自动化数据清洗的方法及系统
本专利技术涉及计算机
，尤其涉及一种数据智能标引和自动化数据清洗的方法及系统。
技术介绍
数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并检查数据一致性，处理无效值和缺失值等；标引，就是通过标记指引人们方便、快捷地找到所需要的信息。现有的数据标引和清洗方法效率低且标引和清洗的效果差，通常还需要人工进行校对。
技术实现思路
(一)专利技术目的为解决
技术介绍
中存在的技术问题，本专利技术提出一种数据智能标引和自动化数据清洗的方法及系统，本专利技术对数据进行分段，对不同的分段同时进行命令，提高了运行的效率。(二)技术方案本专利技术提供了一种数据智能标引和自动化数据清洗的方法，包括以下具体步骤：S1、接收数据输入请求；S2、对接收的数据进行分段，得到多段数据；S3、调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则执行S4；若为清洗指令，则执行S8；S4、输入标引关键词并判断是否选择结束：若是，则执行S5；若否，则重新执行S4；S5、将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，执行S6；S6、对各段标引结果依次进行整合并保存；S7、对整合结果进行输出显示；S8、数据预清洗：同时对各段进行清洗；S9、将各段的清洗结果整合并进行保存；S10、数据深度清洗：对预清洗后的整合数据进行再次清洗；S11、对数据深度清洗后的数据进行输出显示。优选的，还包括储存库；整合的数据保存在储存库内。优选的，储存库内包含多个子储存库。优选的，数据智能标引和自动化数据清洗装置以配置文件或代码块的形式配置到所述工业设备上。本专利技术提供了一种数据智能标引和自动化数据清洗的系统，包括上述数据智能标引和自动化数据清洗的方法，具体包括下载模块，用于接收输入数据请求命令；分组模块，用于将储存模块内的数据进行分段，便于对各段模块同时执行命令；调用模块，用于调用指令；判断模块，用于判断调取的命令为标引指令或者为清洗指令；标引模块，应于在数据中找到对应标引数据并将其提取出来并进行整合；清洗模块，用于对数据进行数据预清洗和数据深度清洗，将数据内错误、重复、缺乏一致性的数据删除，并对清洗后的数据进行整合；显示模块，用于对标引数据进行显示或者用于对清洗后的数据进行显示。优选的，还包括储存模块；用于存储整合后的数据。优选的，储存模块内包含多个子储存模块。优选的，数据智能标引和自动化数据清洗装置以配置文件或代码块的形式配置到所述工业设备上。本专利技术的上述技术方案具有如下有益的技术效果：本专利技术中，使用者根据数据请求命令对数据进行下载，由分组模块对下载的数据进行分段，使用者选择要调用的命令，通过判断模块对调用的命令进行判断，当选用标引命令时，输入标引关键词，在各分段数据中同时进行查找，并将查找到的数据整合在一起，进行显示，提高查找的效率；当选用清洗命令时，在各分段数据进行同时筛选，将删除、错误和缺乏一致性的数据删除后整合各段，再对整合后的数据进行深度清洗，提高清洗的效率和准确性。附图说明图1为本专利技术提出的一种数据智能标引和自动化数据清洗的方法的方法流程图。图2为本专利技术提出的一种数据智能标引和自动化数据清洗的系统的系统框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。实施例1如图1所示，本专利技术提出的一种数据智能标引和自动化数据清洗的方法，包括以下具体步骤：S1、接收数据输入请求；S2、对接收的数据进行分段，得到多段数据；S3、调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则执行S4；若为清洗指令，则执行S8；S4、输入标引关键词并判断是否选择结束：若是，则执行S5；若否，则重新执行S4；S5、将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，执行S6；S6、对各段标引结果依次进行整合并保存；S7、对整合结果进行输出显示；S8、数据预清洗：同时对各段进行清洗；S9、将各段的清洗结果整合并进行保存；S10、数据深度清洗：对预清洗后的整合数据进行再次清洗；S11、对数据深度清洗后的数据进行输出显示。在一个可选的实施例中，还包括储存库；整合的数据保存在储存库内。在一个可选的实施例中，储存库内包含多个子储存库；便于存储多组整合后的数据。在一个可选的实施例中，所述数据智能标引和自动化数据清洗装置以配置文件或代码块的形式配置到所述工业设备上；用户只需要将数据智能标引和自动化数据清洗装置配置到工业设备中，即可实现设备端对设备数据的自动清洗，简化了数据清洗的难度，提高了数据清洗的效率。实施例2如图2所示，本专利技术提出的一种数据智能标引和自动化数据清洗的系统，包括实施例1中数据智能标引和自动化数据清洗的方法，具体包括下载模块，用于接收输入数据请求命令；分组模块，用于将储存模块内的数据进行分段，便于对各段模块同时执行命令；调用模块，用于调用指令；判断模块，用于判断调取的命令为标引指令或者为清洗指令；标引模块，应于在数据中找到对应标引数据并将其提取出来并进行整合；清洗模块，用于对数据进行数据预清洗和数据深度清洗，将数据内错误、重复、缺乏一致性的数据删除，并对清洗后的数据进行整合；显示模块，用于对标引数据进行显示或者用于对清洗后的数据进行显示。在一个可选的实施例中，还包括储存模块；用于存储整合后的数据。在一个可选的实施例中，储存模块内包含多个子储存模块，便于根据不同的数据接受请求，接收不同组的数据。在一个可选的实施例中，所述数据智能标引和自动化数据清洗装置以配置文件或代码块的形式配置到所述工业设备上；用户只需要将数据智能标引和自动化数据清洗装置配置到工业设备中，即可实现设备端对设备数据的自动清洗，简化了数据清洗的难度，提高了数据清洗的效率。本专利技术中，使用者根据数据请求命令对数据进行下载，由分组模块对下载的数据进行分段，使用者选择要调用的命令，通过判断模块对调用的命令进行判断，当选用标引命令时，输入标引关键词，在各分段数据中同时进行查找，并将查找到的数据整合在一起，进行显示，提高查找的效率；当选用清洗命令时，在各分段数据进行同时筛选，将删除、错误和缺乏一致性的数据删除后整合各段，再对整合后的数据进行深度清洗，提高清洗的效率和准确性。应当理解的是，本专利技术的上述本文档来自技高网...

【技术保护点】
1.一种数据智能标引和自动化数据清洗的方法，其特征在于，包括以下具体步骤：/nS1、接收数据输入请求；/nS2、对接收的数据进行分段，得到多段数据；/nS3、调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则执行S4；若为清洗指令，则执行S8；/nS4、输入标引关键词并判断是否选择结束：若是，则执行S5；若否，则重新执行S4；/nS5、将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，执行S6；/nS6、对各段标引结果依次进行整合并保存；/nS7、对整合结果进行输出显示；/nS8、数据预清洗：同时对各段进行清洗；/nS9、将各段的清洗结果整合并进行保存；/nS10、数据深度清洗：对预清洗后的整合数据进行再次清洗；/nS11、对数据深度清洗后的数据进行输出显示。/n

【技术特征摘要】
1.一种数据智能标引和自动化数据清洗的方法，其特征在于，包括以下具体步骤：
S1、接收数据输入请求；
S2、对接收的数据进行分段，得到多段数据；
S3、调用指令并判断调用指令为标引指令或者为清洗指令：若为标引指令，则执行S4；若为清洗指令，则执行S8；
S4、输入标引关键词并判断是否选择结束：若是，则执行S5；若否，则重新执行S4；
S5、将各标引关键词依次带入各分段数据中，将含有该标引规则的数据进行标引，执行S6；
S6、对各段标引结果依次进行整合并保存；
S7、对整合结果进行输出显示；
S8、数据预清洗：同时对各段进行清洗；
S9、将各段的清洗结果整合并进行保存；
S10、数据深度清洗：对预清洗后的整合数据进行再次清洗；
S11、对数据深度清洗后的数据进行输出显示。


2.根据权利要求1所述的一种数据智能标引和自动化数据清洗的方法，其特征在于，还包括储存库；整合的数据保存在储存库内。


3.根据权利要求2所述的一种数据智能标引和自动化数据清洗的方法，其特征在于，储存库内包含多个子储存库。


4.根据权利要求1所述的一种数据智能标引和自动化数据清洗的方法，其特征在于，所述数据智能标引和自动化数据...

【专利技术属性】
技术研发人员：戴文艳，黄炳裕，洪章阳，林文国，王伟宗，王孝文，
申请(专利权)人：长威信息科技发展股份有限公司，
类型：发明
国别省市：福建;35