基于多模态图像生成的工件表面形貌生成方法和装置制造方法及图纸

本发明专利技术公开了一种基于多模态图像生成的工件表面形貌生成方法和装置，属于机加工数据处理技术领域，包括：基于不同加工方式的历史数据的多模态信息，构建引导向量；基于扩散模型，对表面形貌灰度图的低维表征加噪得到噪声向量，将引导向量、时间步长和噪声向量输入逆向扩散过程，层层降噪还原出低维表征，实现对模型的训练；提取目标多模态信息构建目标引导向量，将随机噪声隐变量和目标引导向量输入到训练好的扩散模型得到目标低维表征，通过解码器得到目标表面形貌灰度图；采用图像质量综合评价模块进行质量评价。本发明专利技术采用扩散模型，实现了多模态信息到表面形貌图像的准确映射，具有快速生成、高保真性的特点，对实时表面形貌预测有极大潜力。貌预测有极大潜力。貌预测有极大潜力。

【技术实现步骤摘要】
基于多模态图像生成的工件表面形貌生成方法和装置


[0001]本专利技术属于机加工数据处理
，具体涉及一种基于多模态图像生成的工件表面形貌生成方法和装置。

技术介绍

[0002]在机械加工领域，机加工工艺是其基础，不同的加工参数影响零件的表面质量，包括零件表面粗糙度、面形误差等，关系着零件表面的力学性能和光学性能等。由于不同的加工参数对应不同的加工形貌，在实际实验中已有很多加工参数和对应的形貌测量历史数据，如何利用已有的数据作为先验，为后续加工参数提供经验知识，是实现智能制造的关键因素之一。
[0003]现有的常规技术通常需要使用昂贵的检测设备对机加工零件的表面形貌进行离线或在位测量，而且需要不断进行加工
‑
检测
‑
再加工的流程，多次迭代才能收敛到目标的加工精度，不仅消耗大量的人力和金钱，加工效率也较为低下，因此通过零件表面形貌仿真和表面形貌灰度图像生成方法更具优势，目前的表面形貌仿真方法分为两类，通过解析模型求解工件的三维表面形貌以及近年来利用学习类方法进行三维表面形貌的生成，但是基于表面形貌仿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态图像生成的工件表面形貌生成方法，其特征在于，包括以下步骤：步骤1：采集不同加工方式的表面形貌图像和加工信号频谱图并进行标注得到多模态信息，并对多模态信息处理得到引导向量；步骤2：通过编码器将表面形貌图像对应的灰度图压缩为第一低维表征，输入到扩散模型中，通过前向扩散过程对第一低维表征层层加噪得到噪声向量，基于引导向量、时间步长和所述噪声向量经过逆向扩散过程的层层降噪还原出第二低维表征，并对扩散模型进行训练；步骤3：提取应用时目标多模态信息构建目标引导向量，将随机生成的高斯噪声的隐变量、时间步长和所述目标引导向量输入到训练好的扩散模型中，经过逆向扩散过程得到目标低维表征，将所述目标低维表征通过解码器得到目标表面形貌灰度图；步骤4：将所述目标表面形貌灰度图输入图像质量综合评价模块，用以评价所述目标表面形貌灰度图的保真性。2.根据权利要求1所述的基于多模态图像生成的工件表面形貌生成方法，其特征在于，对表面形貌图像和加工信号频谱图进行标注得到多模态信息，包括：对所述表面形貌图像进行标注得到对应的文本信息，其中，文本信息包括加工方法、进给量、工件材料、刀具的几何形状、刀具与工件之间的振动；对所述加工信号频谱图进行标注得到对应的加工频谱信号；所述多模态信息包含文本信息和加工频谱信号。3.根据权利要求2所述的基于多模态图像生成的工件表面形貌生成方法，其特征在于，所述对多模态信息处理得到引导向量，包括：将所述文本信息和所述加工频谱信号分别通过文本编码器和频谱信号编码器，转换为表征形式并级联，将得到的嵌入特征向量作为引导向量，所述文本编码器和频谱信号编码器采用对比语言
‑
图像预训练模型CLIP。4.根据权利要求1所述的基于多模态图像生成的工件表面形貌生成方法，其特征在于，所述编码器与所述解码器组成变分自编码器。5.根据权利要求1所述的基于多模态图像生成的工件表面形貌生成方法，其特征在于，所述逆向扩散过程采用基于交叉注意力机制的Unet噪声估计网络，所述Unet噪声估计网络用于生成估计噪声，所述估计噪声用于每时间步进行降噪。6.根据权利要求1所述的基于多模态图像生成的工件表面形貌生成方法...

【专利技术属性】
技术研发人员：孙立剑，曹卫强，李杨阳，
申请(专利权)人：之江实验室，
类型：发明
国别省市：