基于离群数据挖掘的机械产品加工工序异常并行检测方法技术

本发明专利技术基于离群数据挖掘的机械产品加工工序异常并行检测方法，属于机械产品加工数据分析与处理技术领域；所要解决的技术问题为提供一种基于离群数据挖掘的机械产品加工工序异常检测方法，该方法从加工生产所积累的大量合格机械产品数据中检测偏离大多数产品的离群数据，其检测结果，可转换为产品加工工序的质量分析；技术方案为：包括以下步骤：a、机械产品加工工序数据预处理；b、机械产品加工工序异常并行检测；本发明专利技术通过检测合格产品中加工工序的异常现象，从而发现制造系统中的设备性能衰退、精度缺失、易耗件的磨损、工艺参数的不稳定等一系列隐性问题。

Parallel Detection Method of Machining Process Anomalies Based on Outlier Data Mining

The invention relates to a parallel detection method for abnormal processing procedures of mechanical products based on outlier data mining, which belongs to the technical field of data analysis and processing of mechanical products. The technical problem to be solved is to provide a method for abnormal detection of processing procedures of mechanical products based on outlier data mining, which detects most deviations from a large number of qualified mechanical product data accumulated in processing and production. The outlier data of several products can be transformed into the quality analysis of the product processing process; the technical scheme includes the following steps: A. data preprocessing of the processing process of mechanical products; B. abnormal parallel detection of the processing process of mechanical products; the invention detects the abnormal phenomena of the processing process of qualified products, thereby discovering the deterioration and refinement of the equipment performance in the manufacturing system. A series of hidden problems such as degree missing, wear of wearable parts, unstable process parameters, etc.

【技术实现步骤摘要】
基于离群数据挖掘的机械产品加工工序异常并行检测方法
本专利技术基于离群数据挖掘的机械产品加工工序异常并行检测方法，属于机械产品加工数据分析与处理

技术介绍
随着“中国制造2025”的提出和推进，智能制造成为工业变革的重要方面，同时，信息感知技术和工业大数据的蓬勃兴起，为智能制造的深入研究提供了数据保障。麦肯锡研究院曾在报告中指出，“制造行业大数据仅在2010年就超过2EB的规模”。跟其它领域大数据相比，工业大数据具有专业性、时序性、流程性和关联性等特点。工业大数据推动了制造业向智能制造的转型，开展智能制造，必须对企业大数据做出深入、细致的分析，从而有效提取能优化生产系统的有价值知识。大数据在智能制造过程中有许多应用场景，比如：生产系统质量的预测性管理、设备的健康管理及预测性维护、制造企业的供应链优化、产品精确营销、智能装备和生产系统的自省性与自重构能力等等。利用大数据分析能实现从传统制造中的解决问题到智能制造中的避免问题的转换；而且利用大数据分析可预测智能制造中的隐性问题，实现生产系统的自省性；利用大数据分析还可以实现智能制造中的逆向工程问题。制造系统中的隐性问题包括设备性本文档来自技高网...

【技术保护点】
1.基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于包括以下步骤：a、机械产品加工工序数据预处理：对机械产品加工工序数据进行数据清洗和数据转换，生成适用于离群数据挖掘的工序数据集，并将其上传到Hadoop集群系统的HDFS；b、机械产品加工工序异常并行检测：在Hadoop集群系统中，设计三个MapReduce作业完成加工工序的异常现象并行检测，第一个作业实现工序数据的并行约简，第二个作业实现稀疏超方体的并行化搜索，第三个作业针对单数据节点上的稀疏超方体进行交叉认证，获得全局稀疏超方体，并从全局稀疏超方体中输出机械产品加工工序的异常现象。

【技术特征摘要】
1.基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于包括以下步骤：a、机械产品加工工序数据预处理：对机械产品加工工序数据进行数据清洗和数据转换，生成适用于离群数据挖掘的工序数据集，并将其上传到Hadoop集群系统的HDFS；b、机械产品加工工序异常并行检测：在Hadoop集群系统中，设计三个MapReduce作业完成加工工序的异常现象并行检测，第一个作业实现工序数据的并行约简，第二个作业实现稀疏超方体的并行化搜索，第三个作业针对单数据节点上的稀疏超方体进行交叉认证，获得全局稀疏超方体，并从全局稀疏超方体中输出机械产品加工工序的异常现象。2.根据权利要求1所述的基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于：所述步骤a中，机械产品加工工序数据具有高维、海量、稀疏的特征，Hadoop集群是指安装Hadoop1.1.2的并行计算环境，根据处理的机械数据大小确定数据节点的数量，至少是4个。3.根据权利要求1或2所述的基于离群数据挖掘的机械产品加工工序异常并行检测方法，其特征在于：所述步骤b具体为：b1、所述第一个作业，实现机械产品加工工序数据的并行约简，具体包含一个第一mapper函数和一个第一reducer函数，第一mapper函数从HDFS中获取数据，在各个数据节点并行运行，用来计算指标稀疏矩阵和局部指标密度矩阵；第一reducer函数对各数据节点在第一mapper函数中的局部指标密度矩阵进行收集、排序、合并，然后生成一个全局指标密度矩阵，应用全局指标密度矩阵，找出待剪枝的属性指标，并从原始数据中删除，生成工序约简数据集；b2、所述第二个作业，是在步骤b1中生成的工序约简数据集上，并行地查找稀疏超方体，具体包含一个第二mapper函数和一个第二reducer函数，第二mapper函数从步骤b1的第一reducer函数中获取工序约简数据集，在各个数据节点上并行地执行粒子群优化算法，找到所有局部稀疏超方体；第二reducer函数收集所有第二mapper产生的局部稀疏超方体，将其合并，生成本节点上的全局稀疏超方体；b3、所述第三个作业，实现单个数据节点上产生的全局稀疏超方体在其它数据节点上的交叉验证，并输出机械产品加工工序的异常现象，具体包含一个第三mapper函数和一个第三reducer函数，第三mapper函数中，对每个数据节点，采用循环语句统计包含在本节点全局稀疏超方体中数据对象的个数；第三reducer函数从全局角度验证稀疏超方体的正确性，并从中提取上下文离群数据，即提取机械产品加工工序...

【专利技术属性】
技术研发人员：赵旭俊，马洋，张继福，蔡江辉，杨海峰，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西,14