2D图纸特征识别方法、系统、设备及介质技术方案

本发明专利技术提供一种2D图纸特征识别方法、系统、设备及介质，包括：输入二维图纸和对应的三维模型；从三维模型自动提取出所有相关的特征信息；通过构建深度学习智能算法模型和图像算法从二维图纸自动提取所有标注信息；通过投影和数学计算，获取二维图纸和三维模型的映射关系；整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；展示三维图纸对应特征的标注信息；用户审核二维图纸标注信息是否正确；输出带标注的三维模型和特征标注数据详情。本发明专利技术能够实现从二维图纸中自动提取识别标注特征信息生成结构化的表格信息。识别标注特征信息生成结构化的表格信息。识别标注特征信息生成结构化的表格信息。

【技术实现步骤摘要】
2D图纸特征识别方法、系统、设备及介质


[0001]本专利技术涉及制造业汽车生产加工
，具体涉及一种2D图纸特征识别方法、系统、设备及介质。

技术介绍

[0002]随着随着制造业能力的提升，产品复杂度和精度也在不断提高，信息技术对制造业发展的促进作用也日益明显，国内数量众多的中小制造企业还是基于二维工程图的二维工艺设计阶段，二维工图(.pdf、.jpg、.png文件)中包含大量制造所需工艺特征信息，例如尺寸、文字注释、公差等，是零件生产加工中重要的依据。而二维工图识别主要依靠经验丰富的工艺工程师识别，无法有效信息化，应用人工智能技术，实现二维工图的智能识别，将二维工图的标注信息自动提取、转化、分析应用到自动化柔性生产线，不仅解决工艺师人力稀缺问题，同时扫除国内中小制造企业数字化进程的障碍。
[0003]目前行业内3D图纸特征识别比较成熟，可以通过NX加自定义开发组件实现特定场景下孔、面、槽三个类型图纸特征识别，正常的AutoCAD、NX里面不包含一些特定的几个形状的特征组合需要进行二次开发，整个过程中二次开发的能力对效果和效率影响比较大。目前市场也有出现二维图纸的自动识别案例，但识别方法主要依靠逻辑规则方式实现，导致仅能识别固定的图纸模板，对于新增加的模板类型或者标注符号未定义的图纸无法有效识别，二维图纸对应零件空间信息和有阴影遮挡和特殊背景时也难以有效区分，大部分识别系统未人为交互的功能，识别模型本身没有根据人工的交互进行智能反馈自学习功能，导致二维图纸识别稳定性低，鲁棒性差。
[0004]公开号为CN210598815U的技术专利，公开了一种基于图纸识别和智能定位的自动钻孔机，该机包括支撑在两侧履带式纵向同步行进机构上的矩形平台，平台的另外两侧分别安装具有升起位置和降下位置的履带式横向同步行进机构，升起位置的横向同步行进机构高于纵向同步行进机构，降下位置的横向同步行进机构低于纵向同步行进机构；平台安装具有升收和下撑位置的支腿,升收位置的支腿底部高于纵向同步行进机构底部，下撑位置的支腿底部低于下降位置的横向同步行进机构底部；平台的中部安置可升降的钻孔机。该技术通过二维图纸和三维模型结合定位来辅助识别二维图纸，仅限于图纸标注信息是数字情况，不能保证在标注信息是特殊符号和未设过的标注类型时的识别率，模型没有自学习能力，稳定性差，适应范围有限。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术提供一种2D图纸特征识别方法、系统、设备及介质。
[0006]根据本专利技术提供的一种2D图纸特征识别方法、系统、设备及介质，所述方案如下：
[0007]第一方面，提供了一种2D图纸特征识别方法，所述方法包括：
[0008]步骤S1：输入二维图纸和对应的三维模型；
[0009]步骤S2：从三维模型自动提取出所有标注的特征信息；
[0010]步骤S3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；
[0011]步骤S4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；
[0012]步骤S5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；
[0013]步骤S6：展示三维图纸对应特征的标注信息；
[0014]步骤S7：用户审核二维图纸标注信息是否正确；
[0015]步骤S8：输出带标注的三维模型和特征标注数据详情；
[0016]所述步骤S3具体包括：
[0017]步骤S3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；
[0018]步骤S3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；
[0019]步骤S3.3：基于步骤S3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；
[0020]步骤S3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；
[0021]所述步骤S4具体包括：
[0022]步骤S4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；
[0023]步骤S4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；
[0024]步骤S4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配。
[0025]优选地，所述步骤S7包括：
[0026]步骤S7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；
[0027]步骤S7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息；此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。
[0028]优选地，所述步骤S7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型识别和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。
[0029]优选地，所述步骤S7.2中还包括：通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。
[0030]第二方面，提供了一种2D图纸特征识别系统，所述系统包括：
[0031]模块M1：输入二维图纸和对应的三维模型；
[0032]模块M2：从三维模型自动提取出所有相关的特征信息；
[0033]模块M3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；
[0034]模块M4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；
[0035]模块M5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；
[0036]模块M6：展示三维图纸对应特征的标注信息；
[0037]模块M7：用户审核二维图纸标注信息是否正确；
[0038]模块M8：输出带标注的三维模型和特征标注数据详情；
[0039]所述模块M3具体包括：
[0040]模块M3.1：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种2D图纸特征识别方法，其特征在于，包括：步骤S1：输入二维图纸和对应的三维模型；步骤S2：从三维模型自动提取出所有标注的特征信息；步骤S3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；步骤S4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；步骤S5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；步骤S6：展示三维图纸对应特征的标注信息；步骤S7：用户审核二维图纸标注信息是否正确；步骤S8：输出带标注的三维模型和特征标注数据详情；所述步骤S3具体包括：步骤S3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；步骤S3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；步骤S3.3：基于步骤S3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；步骤S3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；所述步骤S4具体包括：步骤S4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；步骤S4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；步骤S4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配，能够根绝标注线和箭头的指定方向来判断标注信息对应的标注特征。2.根据权利要求1所述的2D图纸特征识别方法，其特征在于，所述步骤S7包括：步骤S7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；步骤S7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息；此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。3.根据权利要求2所述的2D图纸特征识别方法，其特征在于，所述步骤S7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。4.根据权利要求2所述的2D图纸特征识别方法，其特征在于，所述步骤S7.2中还包括：
通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。5.一种2D图纸特征识别系统，其特征在于，包括：模块M1：输入二维图纸和对应的三维模型；模块M2：从三维模型自动提取出所有相关的特征信息；模块M3：通...

【专利技术属性】
技术研发人员：乔文俊，安静梅，周沈淼，刘迈江，
申请(专利权)人：上海交大智邦科技有限公司，
类型：发明
国别省市：