基于多模态语义融合的BOM解析方法、系统、设备及介质技术方案

本申请涉及一种基于多模态语义融合的BOM解析方法、系统、设备及介质，该方法包括接收BOM数据，BOM数据包括文本输入数据和图像输入数据；采用BERT模型对文本输入数据进行语义特征提取，生成文本的语义嵌入向量；采用Table Transformer模型对图像输入数据进行行列结构识别，进而得到对应的表格图像，并从表格图像中提取表格内容信息；基于语义嵌入向量和表格内容信息，分析物料与工艺之间的关系，并采用图神经网络构建物料与工艺的知识图谱；通过强化学习算法对知识图谱中的映射规则进行动态优化，调整对应的字段映射规则，并生成优化知识图谱；基于优化知识图谱，将对应的BOM数据进行标准化转换，输出BOM结构化数据。本申请具有提高BOM解析效率的效果。

【技术实现步骤摘要】

本申请涉及电子制造的，尤其是涉及一种基于多模态语义融合的bom解析方法、系统、设备及介质。

技术介绍

1、目前，电子制造企业在bom（物料清单）解析过程中，常面临多种格式的bom数据，包括文本和图像数据。bom数据通常包含复杂的物料和工艺信息，这些信息必须正确解析并结构化，才能支持后续的生产调度和物料管理。

2、现有的bom解析方法主要依赖模板匹配或规则匹配技术，这些方法需要事先定义好模板或规则，并通过人工干预来适应不同格式的bom数据。然而，随着生产过程中的物料种类和工艺流程日益复杂，现有的解析方法往往难以处理多模态、多格式和大规模的bom数据，且依赖人工干预，造成解析精度低、效率低和人工成本高。

3、上述中的现有技术方案存在以下缺陷：现有的bom解析方法无法有效处理多模态和非结构化数据，且过度依赖人工干预，导致解析的适应性较差，因此存在改善空间。

技术实现思路

1、为了提高bom解析的效率，本申请提供一种基于多模态语义融合的bom解析方法、系统、设备及介质。p>

2、本申请本文档来自技高网...

【技术保护点】

1.一种基于多模态语义融合的BOM解析方法，其特征在于，所述基于多模态语义融合的BOM解析方法包括：

2.根据权利要求1所述的基于多模态语义融合的BOM解析方法，其特征在于，所述采用BERT模型对所述文本输入数据进行语义特征提取，生成文本的语义嵌入向量，具体包括：

3.根据权利要求1所述的基于多模态语义融合的BOM解析方法，其特征在于，所述采用Table Transformer模型对所述图像输入数据进行行列结构识别，进而得到对应的表格图像，并从所述表格图像中提取表格内容信息，具体包括：

4.根据权利要求1所述的基于多模态语义融合的BOM解析方法，其特征...

【技术特征摘要】

1.一种基于多模态语义融合的bom解析方法，其特征在于，所述基于多模态语义融合的bom解析方法包括：

2.根据权利要求1所述的基于多模态语义融合的bom解析方法，其特征在于，所述采用bert模型对所述文本输入数据进行语义特征提取，生成文本的语义嵌入向量，具体包括：

3.根据权利要求1所述的基于多模态语义融合的bom解析方法，其特征在于，所述采用table transformer模型对所述图像输入数据进行行列结构识别，进而得到对应的表格图像，并从所述表格图像中提取表格内容信息，具体包括：

4.根据权利要求1所述的基于多模态语义融合的bom解析方法，其特征在于，所述基于所述语义嵌入向量和所述表格内容信息，分析物料与工艺之间的关系，并采用图神经网络构建所述物料与所述工艺的知识图谱，具体包括：

5.根据权利要求1所述的基于多模态语义融合的bom解析方法，其特征在于，所述强化学习算法的构建，具体包括：<...

【专利技术属性】
技术研发人员：叶伟良，鲁林，苏李军，闫晓枫，
申请(专利权)人：深圳一道创新技术有限公司，
类型：发明
国别省市：