一种飞机制造过程中的多源异构大数据的清洗方法及系统技术方案

本发明专利技术提供一种飞机制造过程中的多源异构大数据的清洗方法和系统，包括：获取来自飞机零件制造过程中以及装配过程中产生的原始信号并进行降噪预处理；针对所述原始信号进行数据诊断，使用基于LSTM模型来拟合数据时序的相关性，使用滑动窗口置信度区间策略来甄别缺省数据与错误数据，得到异常数据；针对所述异常数据，根据图论理论，在建立的贝叶斯网络的图模型下，对异常值信号的数据实现修复和插补；判断修复和插补后的数据是否存在基本问题以外的质量问题，若存在，重新进行数据诊断和数据修复，若不存在则输出。本发明专利技术的有益效果是：可以提高数据清洗效率，使得制造装配过程中产生的大量数据价值密度得以有效提高，提高工业生产效益。工业生产效益。工业生产效益。

A cleaning method and system of multi-source heterogeneous big data in aircraft manufacturing process

【技术实现步骤摘要】
一种飞机制造过程中的多源异构大数据的清洗方法及系统


[0001]本专利技术主要涉及航空航天产品制造工业数据领域，具体涉及一种飞机制造过程中的多源异构大数据的清洗方法及系统。

技术介绍

[0002]在实际的航空航天工业生产中，往往会布置大量传感器用于定期采集相关生产数据，从而形成拥有来源多、采集频率高、数量大、维度高、质量低等诸多特性。工业相关企业建立信息系统时，即使进行了良好的规划设计，也无法保证所处理、存放数据的质量都能满足要求。录入错误、数据迁移、规范未严格执行、传感器故障、不当操作、时间推移等等因素都会影响所存放数据的质量。因此，无论是为了提升工业数据本身的价值含量，或是为了后续的分析，例如故障诊断、或寿命预测等的结果正确性的保证，工业数据的清洗都是必不可少的。
[0003]数据清洗是对数据进行重新审查和校验的过程，目的在于将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为可以进一步加工、使用的数据。数据清洗多采用ETL方法，即数据抽取(Extract)、转换(Transform)、装载(Lo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞机制造过程中的多源异构大数据的清洗方法，其特征在于，包括：获取来自飞机零件制造过程中以及装配过程中产生的原始信号并进行降噪预处理；针对所述原始信号进行数据诊断，使用基于LSTM模型来拟合数据时序的相关性，使用滑动窗口置信度区间策略来甄别缺省数据与错误数据，得到异常数据；针对所述异常数据，根据图论理论，在建立的贝叶斯网络的图模型下，对异常值信号的数据实现修复和插补；判断修复和插补后的数据是否存在基本问题以外的质量问题，若存在，重新进行数据诊断和数据修复，若不存在则输出。2.根据权利要求1所述的一种飞机制造过程中的多源异构大数据的清洗方法，其特征在于，所述原始信号是接收来自于CNC数控铣床X、Y、Z三轴方向上的切削力数据、振动数据和声发射数据，并通过电荷放大器将信号进行放大，输送给连接于计算机的数据采集卡，直到监测下刀具磨损量达到极限后，完成对机床X、Y、Z三轴方向上的各信号数据采集。3.根据权利要求2所述的一种飞机制造过程中的多源异构大数据的清洗方法，其特征在于，所述振动数据主要分为两个维度，包括横向振动数据和纵向振动数据。4.根据权利要求1所述的一种飞机制造过程中的多源异构大数据的清洗方法，其特征在于，使用基于LSTM模型来拟合数据时序的相关性，具体包括：对降噪预处理后的数据使用基于LSTM模型的生成式模型进行数据时序相关性的拟合，基于过去的数据值，进行下一时间戳数据值的条件概率分布P(X
t+1
|X
t
,
···
,X
t
‑
n
)的预测；基于概率分布和模型网络对当前时间窗口进行数据时序拟合程度置信度区间的计算，对飞机制造过程中的多源异构大数据的诊断。5.根据权利要求4所述的一种飞机制造过程中的多源异构大数据的清洗方法，其特征在于，LSTM模型的训练方法为：将小波阈值去噪后的原始数据输入基于LSTM的生成式模型，通过自回归训练预测，完成对于时序数据变换规律的本质特征获取和学习；训练得到生成式模型理论与循环神经网络的相结合的LSTM模型，LSTM模型能够输出基于过去时间戳的下一时间戳数据值的条件概率分布。6.根据权利要求1所述的一种飞机制造过程...

【专利技术属性】
技术研发人员：张政，冷俊男，许艾明，白伟，石峰，贾浩然，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：