一种基于增强现实的产品质量信息传递方法技术

本发明专利技术公开了一种基于增强现实的产品质量信息传递方法，以MBD表示的三维CAD模型为信息输入源，提取基于制造特征的产品质量信息；生成CAD模型图像集，并在生成过程中，构建图像与制造特征的关联关系；最后把制造现场图像与模板图像匹配，将相似度最高的模板图像对应的虚拟摄像机姿态参数为外置摄像机的初始姿态，实现产品质量信息叠加到真实的制造现场场景中。本发明专利技术将制造特征作为产品质量信息的基本载体，满足操作人员只需检测指定特征的需求；并通过构建图像与制造特征的关联关系，满足操作人员在不同视角下对零件可视特征的要求；利用跟踪注册技术，再结合外部数据库，实现了将产品质量信息传递到制造现场的需求，提高了检测的效率和质量。

A product quality information transmission method based on Augmented Reality

The invention discloses a method of product quality information transmission based on augmented reality, in which the three-dimensional CAD model represented by MBD is used as the information input source to extract the product quality information based on manufacturing features, a CAD model image set is generated, and in the process of generation, the relationship between the image and manufacturing features is constructed, and finally the manufacturing site map is drawn. Matching the image with the template image, the virtual camera attitude parameters corresponding to the template image with the highest similarity are taken as the initial attitude of the external camera, and the product quality information is superimposed into the real manufacturing scene. The invention regards manufacturing features as the basic carrier of product quality information to satisfy the requirement that the operator only needs to detect the specified features, and by constructing the relationship between the image and the manufacturing features to meet the requirements of the operator for the visual features of the parts from different perspectives, and by using the tracking registration technology and combining with the external database. The product quality information is transmitted to the manufacturing site, and the efficiency and quality of the detection are improved.

【技术实现步骤摘要】
一种基于增强现实的产品质量信息传递方法
本专利技术涉及一种基于增强现实的产品质量信息传递方法，属于制造产品检测领域。
技术介绍
近年来，MBD(ModelBasedDefinition)的概念和方法在制造业得到了广泛的关注与青睐。MBD通过直接在产品三维模型上标注尺寸、公差技术要求等信息，将三维模型作为产品设计、制造、检测等信息表示唯一的载体，可以有效避免传统产品设计制造过程中三维模型和二维图纸频繁切换所带来的数据不一致性、理解歧义和协同低效性等弊端，显著改进和支持数字化设计与制造的协同、并行和集成，其出现为面向制造现场的零件质量检测提供了有利的条件。虽然现在的产品制造现场通过一些便捷式移动设备(桌面型、膝上型或者平板电脑)来可视化产品MBD模型上携带的产品质量信息(ProductManufacturingInformation,简称PMI)，以此来指导加工、质检等工作。但是，这种可视化方式展示的产品质量信息要求操作人员将注意力沉浸到虚拟的环境中，精神负担较重，并且难以同时感受真实环境中零件的状况，导致加工、质检操作不够直观高效，并且这种方式需要操作人员将注意力在零件的物理模型和数字模型之间进行频繁切换，导致效率低下。因此，如何实时、准确的将零件数字模型携带的产品质量信息传递到零件制造现场，是提高产品检测效率与质量急需解决的问题。增强现实(AugmentedReality，简称AR)是对真实环境的增强，将计算机生成的虚拟信息实时、准确的叠加到真实场景当中。目前常用的跟踪注册技术有基于硬件的AR跟踪技术和基于视觉的AR跟踪技术。基于视觉的跟踪是利用视频当前帧的图像特征(点、线、面和边缘等)来估计当前摄像机位姿；基于硬件的跟踪技术是利用传感器设备测量摄像机的位姿，常用的有电磁跟踪技术、惯性跟踪技术等，电磁跟踪技术缺点跟踪范围有限，而且不适宜在制造现场这样的环境；惯性跟踪技术虽然设备便于携带，可以用于户外等，但是其跟踪精度低下，并且价格昂贵；所以基于视觉与基于硬件的跟踪方法相比，基于视觉的跟踪技术设备简单、成本低廉、空间灵活等。基于视觉的跟踪技术可以分为基于人工标记的跟踪注册技术和基于无标记的跟踪注册技术。基于人工标记的跟踪注册技术在目前的增强现实系统中是较为成熟和实际应用最为广泛的跟踪注册技术，如vuforiasdk、ARToolKit和ARTag。但是这种方法存在的主要缺陷是需要事先在确定的场景放置标记物，然而在一些诸如大型建筑物、遗迹等环境中显然不切实际，导致场景应用具有局限性，在实际的操作过程也不够灵活。结合我们的制造现场环境以及产品的结构实际问题，标记是难以放置在产品上。因此该方法并不适合运用到我们的产品检测方面。基于无标记的跟踪注册技术通过预先获取的先验知识和摄像机捕捉的实时视频，获得相机与对象间的位姿关系，最终实现将虚拟物体叠加到真实场景中。由于不需要事先制作和放置标识物，并且无标志点注册方法在使用上比较灵活，基于无标记的跟踪技术在制造业领域得到了广泛的运用。
技术实现思路
本专利技术提出一种基于增强现实的产品质量信息传递方法，提供了一种面向制造现场的产品质量信息传递框架，有效的解决了现有的通过二维图纸或者移动设备来可视化产品MBD模型上携带的产品质量信息来指导加工、质检等工作，导致操作人员需要频繁的切换注意力问题以及检测效率低下等问题。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于增强现实的产品质量信息传递方法，该方法包括以下步骤：步骤1：通过商业CAD软件构建MBD表示的三维CAD模型；步骤2：提取基于制造特征的产品质量信息，生成产品质量信息集PMI，并构建制造特征与产品质量信息之间的关联关系S(H)；步骤3：生成模板图像集以及对应的虚拟摄像机姿态参数；步骤4：构建模板图像与制造特征之间的关联关系P(H)；步骤5：通过外置摄像机获取制造现场的实时图像；步骤6：对步骤5获取的实时图像进行高斯去噪预处理；步骤7：根据梯度响应图的方法，将步骤6处理过后的制造现场实时图像与模板图像进行图像匹配，如果获得的匹配程度值大于或等于设定的阈值，则匹配成功，进入步骤8；否则返回步骤5，重新获取制造现场的实时图像；步骤8：输出相似度值最大的模板图像id，根据步骤3中模板图像生成时，每一幅图像都有对应的虚拟摄像机姿态，可得到此时最相似模板图像对应的虚拟摄像机姿态，即可计算出步骤5中外置摄像机在真实场景中的转换矩阵；步骤9：根据步骤8中得到的最相似图像id，结合模板图像与制造特征之间的关联关系P(H)，得到关联制造特征H，再通过制造特征H与产品质量信息的关联关系S(H)，即可获得关联制造特征H所关联的产品质量信息PMI；步骤10：通过步骤8得到的转换矩阵，利用渲染工具实现将步骤9中获得的PMI叠加到制造现场的真实场景中。优选地，所述步骤2中所述的制造特征与产品质量信息之间的关联关系S(H)表示如公式(1)所示：其中，制造特征集H＝{H1,H2,Λ,Hn}，Gj表示产品质量信息关联的几何要素，包括几何形面Gf、几何区域Gr、边Ge、点Gv；Lk表示制造特征的标注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr和注释Note；Mn×m表示几何要素与标注之间的映射关系，当Lk依附于Gf时，或者Gf约束于Lk时，mij等于1，否则mij等于0。优选地，步骤2中提取基于制造特征的产品质量信息的具体步骤如下：2.1：遍历步骤1中构建的三维CAD模型上的产品质量信息集PMI，判断所有成员是否已都遍历完，若已遍历完则进入步骤2.4，若没有，则依次取出产品质量信息PMIi,PMIi表示的是PMI中的第i个产品质量信息；所关联的几何要素为PMIg，g表示的是关联几何要素编号；2.2：遍历步骤1中构建的三维CAD模型上的制造特征集合H，若所有成员都已遍历，则返回到步骤2.1，否则依次取出特征Hi；2.3：遍历组成特征Hi的几何要素集合Gj，以几何要素的编号为依据，其中，在三维CAD模型中每个几何要素的编号是唯一且固定不变的，当PMIg∈{Gj}时，表明几何要素PMIg是组成制造特征Hi的要素之一，即将几何要素PMIg关联的产品质量信息PMIi保存到制造特征Hi关联的产品质量信息映射集合S(H)中，返回到步骤2.1；时，则返回到步骤2.2。2.4：实现三维CAD模型上产品质量信息集PMI与制造特征集H之间的关联关系S(H)的构建。优选地，所述步骤3中利用一个虚拟的球面来生成2D图像，目标对象的三维CAD模型放置于球心，球表面上的每一视角点代表一个虚拟摄像机，沿着球面进行视角点采样，来拍摄一定数量目标对象的CAD模板图像，三维CAD模型的世界坐标系为OwXwYwZw，虚拟摄像机的坐标系为OcXcYcZc，每一个视角点对应虚拟摄像机姿态表示为其中，经度表示的是虚拟摄像机绕Zw旋转的角度，纬度φ表示的是虚拟摄像机绕Xw旋转的角度，距离d表示的是虚拟摄像机与目标对象的距离，θ表示的是虚拟摄像机绕Yw旋转的角度，总的旋转矩阵R是三个矩阵Rx(φ),Ry(θ)和的乘积，其中，因此且虚拟摄像机的姿态表示为pose＝[R|t]，其中平移向量t＝V1-V2，V2为每一个视角点在世界坐标系下的坐标，V1为世界坐标系的原点坐标，图像数量表示为Δφ，Δd本文档来自技高网...

【技术保护点】
1.一种基于增强现实的产品质量信息传递方法，其特征在于：该方法包括以下步骤：步骤1：通过商业CAD软件构建MBD表示的三维CAD模型；步骤2：提取基于制造特征的产品质量信息，生成产品质量信息集PMI，并构建制造特征与产品质量信息之间的关联关系S(H)；步骤3：生成模板图像集以及对应的虚拟摄像机姿态参数；步骤4：构建模板图像与制造特征之间的关联关系P(H)；步骤5：通过外置摄像机获取制造现场的实时图像；步骤6：对步骤5获取的实时图像进行高斯去噪预处理；步骤7：根据梯度响应图的方法，将步骤6处理过后的制造现场实时图像与模板图像进行图像匹配，如果获得的匹配程度值大于或等于设定的阈值，则匹配成功，进入步骤8；否则返回步骤5，重新获取制造现场的实时图像；步骤8：输出相似度值最大的模板图像id，根据步骤3中模板图像生成时，每一幅图像都有对应的虚拟摄像机姿态，可得到此时最相似模板图像对应的虚拟摄像机姿态，即可计算出步骤5中外置摄像机在真实场景中的转换矩阵；步骤9：根据步骤8中得到的最相似图像id，结合模板图像与制造特征之间的关联关系P(H)，得到关联制造特征H，再通过制造特征H与产品质量信息的关联关系S(H)，即可获得关联制造特征H所关联的产品质量信息PMI；步骤10：通过步骤8得到的转换矩阵，利用渲染工具实现将步骤9中获得的PMI叠加到制造现场的真实场景中。...

【技术特征摘要】
1.一种基于增强现实的产品质量信息传递方法，其特征在于：该方法包括以下步骤：步骤1：通过商业CAD软件构建MBD表示的三维CAD模型；步骤2：提取基于制造特征的产品质量信息，生成产品质量信息集PMI，并构建制造特征与产品质量信息之间的关联关系S(H)；步骤3：生成模板图像集以及对应的虚拟摄像机姿态参数；步骤4：构建模板图像与制造特征之间的关联关系P(H)；步骤5：通过外置摄像机获取制造现场的实时图像；步骤6：对步骤5获取的实时图像进行高斯去噪预处理；步骤7：根据梯度响应图的方法，将步骤6处理过后的制造现场实时图像与模板图像进行图像匹配，如果获得的匹配程度值大于或等于设定的阈值，则匹配成功，进入步骤8；否则返回步骤5，重新获取制造现场的实时图像；步骤8：输出相似度值最大的模板图像id，根据步骤3中模板图像生成时，每一幅图像都有对应的虚拟摄像机姿态，可得到此时最相似模板图像对应的虚拟摄像机姿态，即可计算出步骤5中外置摄像机在真实场景中的转换矩阵；步骤9：根据步骤8中得到的最相似图像id，结合模板图像与制造特征之间的关联关系P(H)，得到关联制造特征H，再通过制造特征H与产品质量信息的关联关系S(H)，即可获得关联制造特征H所关联的产品质量信息PMI；步骤10：通过步骤8得到的转换矩阵，利用渲染工具实现将步骤9中获得的PMI叠加到制造现场的真实场景中。2.根据权利要求1所述的一种基于增强现实的产品质量信息传递方法，其特征在于：所述步骤2中所述的制造特征与产品质量信息之间的关联关系S(H)表示如公式(1)所示：其中，制造特征集H＝{H1,H2,Λ,Hn}，Gj表示产品质量信息关联的几何要素，包括几何形面Gf、几何区域Gr、边Ge、点Gv；Lk表示制造特征的标注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr和注释Note；Mn×m表示几何要素与标注之间的映射关系，当Lk依附于Gf时，或者Gf约束于Lk时，mij等于1，否则mij等于0。3.根据权利要求2所述的一种基于增强现实的产品质量信息传递方法，其特征在于：步骤2中提取基于制造特征的产品质量信息的具体步骤如下：2.1：遍历步骤1中构建的三维CAD模型上的产品质量信息集PMI，判断所有成员是否已都遍历完，若已遍历完则进入步骤2.4，若没有，则依次取出产品质量信息PMIi,PMIi表示的是PMI中的第i个产品质量信息；所关联的几何要素为PMIg，g表示的是关联几何要素编号；2.2：遍历步骤1中构建的三维CAD模型上的制造特征集合H，若所有成员都已遍历，则返回到步骤2.1，否则依次取出特征Hi；2.3：遍历组成特征Hi的几何要素集合Gj，以几何要素的编号为依据，其中，在三维CAD模型中每个几何要素的编号是唯一且固定不变的，当PMIg∈{Gj}时，表明几何要素PMIg是组成制造特征Hi的要素之一，即将几何要素PMIg关联的产品质量信息PMIi保存到制造特征Hi关联的产品质量信息映射集合S(H)中，返回到步骤2.1；时，则返回到步骤2.2。2.4：实现三维CAD模型上产品质量信息集PMI与制造特征集H之间的关联关系S(H)的构建。4.根据权利要求1或3所述的一种基于增强现实的产品质量信息传递方法，其特征在于：所述步骤3...

【专利技术属性】
技术研发人员：黄瑞，程云，蒋俊锋，陈正鸣，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32