一种工业大数据的异常数据过滤方法及装置制造方法及图纸

本发明专利技术公开了一种工业大数据的异常数据过滤方法及装置，方法包括：预先建立参量词条表；获取工业大数据，并记为第一数据；根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；将剔除异常数据的中间数据表中的数据复制回第一数据中。装置包括：存储器、获取模块、搜索模块、筛选模块和复制模块。本发明专利技术主要用于大数据技术领域。

An abnormal data filtering method and device for industrial big data

【技术实现步骤摘要】
一种工业大数据的异常数据过滤方法及装置
本专利技术涉及大数据
，特别涉及一种工业大数据的异常数据过滤方法及装置。
技术介绍
在工业生产中，会产生海量的工业大数据，其中大部分的数据都是无用数据，其中包括了数据噪声、错误数据等异常数据，这些数据基本上都是无用数据，这些无用数据如果不及时识别并去除，则会在应用工业大数据时，造成一定的影响，比如在利用工业大数据进行训练神经网络或者深度学习时，则会训练和学习造成很大的影响。而且，在对工业大数据存储时，如何这些数据不剔除，则会浪费掉宝贵的存储资源。
技术实现思路
本专利技术目的在于提供一种工业大数据的异常数据过滤方法及装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。为解决上述技术问题所采用的技术方案：一方面，一种工业大数据的异常数据过滤方法，包括：预先建立参量词条表；获取工业大数据，并记为第一数据；根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；将剔除异常数据的中间数据表中的数据复制回第一数据中。通过预先建立参量词条表，通过参量词条表将容易产生异常数据的参量及其对应的数据挑选出来，并根据预先设置的参量条件，将挑选出来的数据进行筛选，剔除异常数据。从而实现对工业大数据的异常数据的过滤。进一步，所述词条参量包括但不限于：温度、湿度、故障率、合格率、生产速度、生产效率。进一步，当中间数据表中的数据复制回第一数据中后，对第一数据进行压缩处理。通过压缩处理，降低第一数据的数据量，从而方便存储。进一步，在对第一数据进行压缩处理前，需要对第一数据通过B+树规范化为树形结构。通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，进一步节约存储空间。进一步，所述通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据的方法具体为：通过将参量条件定义为搜索条件，通过二分搜索算法对中间数据表中的数据进行搜索，将满足搜索条件的数据剔除。另一方面，一种工业大数据的异常数据过滤装置，包括：存储器，用于存储预先建立的参量词条表；获取模块，用于获取工业大数据，并记为第一数据；搜索模块，用于根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；筛选模块，用于通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；复制模块，用于将剔除异常数据的中间数据表中的数据复制回第一数据中。进一步，所述筛选模块内设有二分搜索算法。本专利技术的有益效果：一方面，通过预先建立参量词条表，通过参量词条表将容易产生异常数据的参量及其对应的数据挑选出来，并根据预先设置的参量条件，将挑选出来的数据进行筛选，剔除异常数据。从而实现对工业大数据的异常数据的过滤。另一方面，由于工业大数据的异常数据过滤装置可以执行工业大数据的异常数据过滤方法，因此，其具有工业大数据的异常数据过滤方法的有益效果，这里就不重复描述了。附图说明下面结合附图和实施例对本专利技术做进一步的说明；图1是工业大数据的异常数据过滤方法的步骤流程图；图2是工业大数据的异常数据过滤装置的模块连接结构示意图。具体实施方式本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。参照图1，一种工业大数据的异常数据过滤方法，包括：步骤1、预先建立参量词条表；步骤2、获取工业大数据，并记为第一数据；步骤3、根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；步骤4、通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；步骤5、将剔除异常数据的中间数据表中的数据复制回第一数据中。具体的，为了准确的知道在工业大数据中哪些数据是属于异常数据，故需要建立参量词条表，其中，参量词条表记录着各种参量的词条，比如说：温度、湿度、故障率、合格率、生产速度、生产效率。这些参量词条所代表的数据容易存在异常数据。根据参量词条表，在第一数据中，将参量词条表中的词条参量所代表的数据挑选出来，并将其剪切到中间数据表中。中间数据表作为过渡，将挑选出来的数据进行暂存。数据被挑选出来后，通过词条参量对数据进行分类，从而使得数据跟词条参量一一对应起来，从而方便后续的异常数据剔除。预先设置好参量条件，比如说，大于某一阈值，或者小于某一阈值。将满足参量条件的数据筛选出来。具体筛选方法为：通过将参量条件定义为搜索条件，通过二分搜索算法对中间数据表中的数据进行搜索，将满足搜索条件的数据剔除。此时，中间数据表中的数据已经没有异常数据了，这时，将中间数据表中的数据复制回第一数据中。此时的第一数据则为过滤后的数据。本专利技术通过预先建立参量词条表，通过参量词条表将容易产生异常数据的参量及其对应的数据挑选出来，并根据预先设置的参量条件，将挑选出来的数据进行筛选，剔除异常数据。从而实现对工业大数据的异常数据的过滤。在一些优选的实施例中，当中间数据表中的数据复制回第一数据中后，对第一数据进行压缩处理。通过对第一数据进行压缩，则可以节约了存储空间。在一些优选的实施例中，在对第一数据进行压缩处理前，需要对第一数据通过B+树规范化为树形结构。通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，进一步节约存储空间。参考图2，另一方面，提供一种工业大数据的异常数据过滤装置，该装置用于执行工业大数据的异常数据过滤方法，其中，装置包括：存储器，用于存储预先建立的参量词条表；获取模块，用于获取工业大数据，并记为第一数据；搜索模块，用于根据参量词条表，对第一数据进本文档来自技高网...

【技术保护点】
1.一种工业大数据的异常数据过滤方法，其特征在于：包括：/n预先建立参量词条表；/n获取工业大数据，并记为第一数据；/n根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；/n通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；/n将剔除异常数据的中间数据表中的数据复制回第一数据中。/n

【技术特征摘要】
1.一种工业大数据的异常数据过滤方法，其特征在于：包括：
预先建立参量词条表；
获取工业大数据，并记为第一数据；
根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；
通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；
将剔除异常数据的中间数据表中的数据复制回第一数据中。


2.根据权利要求1所述的一种工业大数据的异常数据过滤方法，其特征在于，所述词条参量包括但不限于：温度、湿度、故障率、合格率、生产速度、生产效率。


3.根据权利要求1所述的一种工业大数据的异常数据过滤方法，其特征在于，当中间数据表中的数据复制回第一数据中后，对第一数据进行压缩处理。


4.根据权利要求1所述的一种工业大数据的异常数据过滤方法，其特征在于，在对第一数据进行压缩处理前，需要对第一数据通过B+树规范化为树形结构。

【专利技术属性】
技术研发人员：张彩霞，王向东，胡绍林，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44