一种基于多模态数据的设备生产智能规划方法技术

本发明专利技术公开一种基于多模态数据的设备生产智能规划方法，包括：1)对制造过程进行数据采集，得到多模态数据；2)对多模态数据进行标准化；3)对单个制造步骤构建训练集；4)对每个制造步骤的状态构建类别

【技术实现步骤摘要】
一种基于多模态数据的设备生产智能规划方法


[0001]本专利技术涉及计算机人工智能的
，尤其是指一种基于多模态数据的设备生产智能规划方法。

技术介绍

[0002]目前，随着工业4.0时代的发展，人工智能开始渗透到传统制造行业，制造行业开始向智能化、信息化方向转变。在智能化制造的过程中，会产生大量类型不同、来源多样的多模态数据。如何利用这些制造过程中产生的多模态数据进行制造过程的规划，减少人工干预，提升生产规划的可解释性和准确性，成为制造过程迈向智能化的一个技术难点，也是现阶段智能制造研究领域的重点发展方向。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于多模态数据的设备生产智能规划方法，可有效利用多模态数据进行设备生产规划，充分利用制造过程中收集到的多模态数据和深度神经网络，不仅可以识别每个步骤的当前状态，并根据当前状态进行动作规划，实现制造过程的动作智能规划，减少人工干预，此外，还可以增加动作规划的可解释性和准确性。
[0004]为实现上述目的，本专利技术所提供的技术方案为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的设备生产智能规划方法，其特征在于，包括以下步骤：1)利用不同种类的传感器对制造过程进行数据采集，得到多模态数据，并存储在服务器中；2)从服务器中提取出多模态数据，并将数据划分为图像数据、数值型数据两种类型进行预处理，得到预处理后的多模态数据；其中，针对图像数据，获取其像素值矩阵并将其进行标准化处理；针对数值型数据，直接进行数据标准化处理；3)对于预处理后的多模态数据，提取关于制造过程t的多模态数据；然后根据专家知识，对数据进行人工标注，得到每条数据的标签，被提取的多模态数据与相应标签构成训练集；4)构建类别
‑
制造动作的映射关系，使步骤3)得到的训练集中，每个类别分别对应一个制造动作；5)将步骤3)的训练集输入深度神经网络进行训练；其中，深度神经网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行类别概率输出；通过优化损失函数，得到训练好的深度神经网络；6)在实际设备生产时，利用不同种类的传感器进行数据采集，形成多模态数据流，用训练好的深度神经网络对多模态数据流进行预测，得到分类结果；7)根据步骤4)构建的类别
‑
制造动作映射关系，选择步骤6)分类结果对应的制造动作，完成对实际制造过程t的动作规划；8)对实际运行的制造过程中的每个过程，重复进行步骤3)至步骤7)，形成多模态数据下的设备生产制造过程的动作策略智能规划。2.根据权利要求1所述的一种基于多模态数据的设备生产智能规划方法，其特征在于：在步骤2)中，所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据进行分类，按照类别对数据分别进行标准化，数值型数据的标准化公式为：式中，X
a
是原始的数值型数据，为数值型数据的均值，为数值型数据的标准差，是X
a
标准化后的数值型数据；针对图像数据，首先将传感器得到的像素值矩阵展成一维向量，得到图像向量X
b
，然后根据以下公式进行标准化：式中，为图像向量的均值，为图像向量的标准差，是X
b
经过标准化处理后的图像数据；标准化后的图像和数值型数据是两个一维向量，对两者进行拼接，得到标准化后的数据X
*
：
3.根据权利要求1所述的一种基于多模态数据的设备生产智能规划方法，其特征在于：在步骤3)中，收集制造过程t的数据M次，收集到的多模态数据表示为数据集X
t
：式中，是第M次收集的标准化后的数据；给上述收集到的多模态数据进行标注，得到数据集X
t
的标签：Y
t
＝{Y
1t
,Y
2t
,...,Y
Mt
}式中，Y
Mt
是数据对应的标签，由专家确定；数据集X
t
与相应标签Y
t
构成训练集。4.根据权利要求1所述的一种基于多模态数据的设备生产智能规划方法，其特征在于：在步骤4)中，针对制造过程t构建类别
‑
制造动作的映射关系，具体如下：假设制造过程t的类别...

【专利技术属性】
技术研发人员：梁泽锋，余志文，杨楷翔，孟献兵，陈俊龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：