一种基于子空间聚类的机械产品质量分析方法技术

本发明专利技术一种基于子空间聚类的机械产品质量分析方法，属于机械产品质量分析技术领域；所要解决的技术问题为：提供一种基于子空间聚类的机械产品质量分析方法；解决该技术问题采用的技术方案为：包括如下步骤：在Hadoop集群中，根据数据量的变化，将处理好的工序数据上传至Hadoop的HDFS中保存；具体在Hadoop集群中，依次执行三个作业：采用基于LSH数据划分方法将相似的工序数据划分到相同数据块中，并投影到同一数据节点上；负责识别出各数据节点上数据的属性子空间；实现并行子空间聚类过程，从局部聚类阶段获得的子簇中产生最终聚类结果，由聚类结果发现隐藏在簇集中影响产品质量的共性隐性问题；本发明专利技术应用于机械产品质量分析。析。析。

【技术实现步骤摘要】
一种基于子空间聚类的机械产品质量分析方法


[0001]本专利技术一种基于子空间聚类的机械产品质量分析方法，属于机械产品质量分析


技术介绍

[0002]作为我国国民经济的重要基础产业，机械制造业为整个国民经济提供了技术装备和必要保障。随着产品性能和产品结构的发展和完善，生产线、生产设备以及制造过程的信息量激增，同时，大数据挖掘技术以及人工智能技术的发展为提高制造系统处理制造信息的能力和效率提供了技术支持，使得机械制造由原本能量驱动型转变为信息驱动型，从而开启了智能制造时代。
[0003]产品质量是制造企业发展的核心。制造过程环节众多、工艺机理复杂、工艺参数动态变化等，都是影响产品质量的关键因素。为了避免不必要的产品损失，制造企业开始重视生产过程的监测，对产品质量进行有效预测和及时检测，改善和消除不良质量影响因素，降低生产成本。针对产品质量分析的方法研究是制造企业迫在眉睫的任务之一。
[0004]制造系统在生产过程中存在大量问题，其中包括例如测量失效、质量缺陷、设备损耗和精度损失等可见问题和不可见问题等。可见问题是已经发生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于子空间聚类的机械产品质量分析方法，其特征在于：包括如下步骤：步骤一：数据预处理；具体在Hadoop集群中，根据数据量的变化，设置环境参数，采用数据预处理技术，将处理好的工序数据上传至Hadoop的HDFS中保存；步骤二：基于子空间聚类的质量检测及分析；具体在Hadoop集群中，依次执行三个MapReduce作业：第一个作业采用基于LSH数据划分方法将相似的工序数据划分到相同数据块中，并投影到同一数据节点上；第二个作业负责识别出各数据节点上数据的属性子空间；第三个作业实现并行子空间聚类过程，在Map阶段，从各计算节点的相似数据中产生子簇；为修正局部聚类结果，在Reduce阶段判断从各计算节点获取的局部子簇是否需要合并，从局部聚类阶段获得的子簇中产生最终聚类结果，由聚类结果发现隐藏在簇集中影响产品质量的共性隐性问题。2.根据权利要求1所述的一种基于子空间聚类的机械产品质量分析方法，其特征在于：所述步骤二中依次执行三个MapReduce作业的具体步骤为：步骤2.1：所述第一个作业采用基于LSH数据划分策略将相似数据投影至同一数据桶中：在各节点数据子集上，Mapper基于MinHash算法去创建特征矩阵和签名矩阵，采用基于LSH数据划分策略，将具有相同哈希值的段被投影到同一哈希桶中，每个哈希桶包含相似数据点；定义每个数据点O
i
均表示为一个向量，每个向量分量代表相应桶单元序号，采用一个线性哈希函数H(O
i
)将向量转化为一个整数P
j
，每个数据点O
i
被分配给标号为P
j
的分区中，Reducer负责从各计算节点上收集合并所有具有相同分区标号的数据点，并获得完整的分区信息；步骤2.2：所述第二个作业具体计算每个属性值的权值，将重要属性投影到属性子空间，根据每个属性值权重来量化属性子空间：为量化每个属性值a
ij
的权值，Mapper负责统计每个属性值a
ij
在单属性维a
j
上的出现次数，以及每对属性值在多属性上的同现次数；Reducer负责合并各计算节点数据在单属性上的出现次数和同现次数以计算各属性值a
ij
权值，最终由Reducer输出一个列表，分量格式为(＜aij，i，j＞，W(aij))；步骤2.3：所述第三个作业具体实现并行子空间聚类过程：作业中的每个Mapper从局部数据块上顺序读入数据点并任意选取数据点作为第一个子簇，在局部子空间聚类阶段过程中，输入数据中的每个数据点Oi被分配给现有子簇或创建新子簇，在调整子簇过程中，以最大化簇集质量为目标，合并各计算节点上的相似子簇，并将子簇集作为局部子空间聚类的中间结果保存至HDFS中，然后由Reducer采用层次聚合聚类算法迭代合并最相似子簇，产生最终全局聚类结果，即可发现隐藏在簇集中影响产品质量的共性隐性问题。3.根据权利要求2所述的一种基于子空间聚类的机械产品质量分析方法，其特征在于：所述步骤2.1中基于LSH数据划分策略方法的具体步骤为：步骤2.1.1：投影桶数组：创建数组保存由传统LSH技术所获取的基础数据桶，该步骤先
将签名矩阵划分为b段，每段由r行组成，如果两数据的所有签名段中至少有一对签名段被投影到同一桶中，数据O
i
和O
j
将被视为相同，重复执行b次上述操作后，每个数据均被映射到b个桶单元中；步骤2.1.2：合并相似桶元素：在步骤2.1.1中，向量G所具有的b个分量表示每个数据点均被依次投影到b个不同的数据桶中，采用线性哈希映射函数H(O
i
)，将数据O
i
向量G转化为一个代表分区标号的整数；步骤2.1.3：划分数据：通过上述步骤的结果划分数据，属于同一个bucket的数据将投影到同一个分区中，即可以保证落入同一分区的数据具有高度相似性。4.根据权利要求3所述的一种基于子空间聚类的机械产品质量分析方法，其特征在于：所述步骤2.2中属性权重计算方法的具体步骤为：步骤2.2.1：为量化每个属性值a
ij
的权值，Mapper负责统计信息：每个属性值x
ki
在单属性维a
i
上的出现次数，每对属性值在多属性上的同现次数，列表L
d
用来保存在多属性上的同现次数；步骤2.2.2：为了减轻shuffle阶段的网络通讯成本，将步骤2.2.1产生的数...

【专利技术属性】
技术研发人员：庞宁，张继福，胡立华，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：