本发明专利技术提供了一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，属于智能制造技术领域。本发明专利技术为了感知场景，利用深度学习模型识别装配零部件及其在装配基体上的装配区域，利用深度学习模型输出的角点信息计算出相应的单应矩阵，从而将识别出的装配零部件渲染到相应装配区域内，为用户提供装配指导，同时在虚拟环境中生成零部件正确安装位姿匹配模板，将装配零部件的位姿信息与匹配模板进行比较，计算相似度得分，得到状态纠错信息。采用本发明专利技术的技术方案，可以降低用户的装配认知负担，实现产品的快速装配，并且提高装配效率以及准确率。确率。
【技术实现步骤摘要】
一种基于虚拟位姿与场景感知匹配学习的辅助装配方法
[0001]本专利技术涉及智能制造领域，更具体地，一种基于虚拟位姿与场景感知匹配学习的辅助装配方法。
技术介绍
[0002]随着市场需求的个性化，多样化促进了产品的快速变形与升级换代，复杂产品的人工装配作业内容随着产品需求不断变化，传统的人工装配作业中，工人需要参考二维纸质装配工艺，装配信息不集中且可视化程度不高，造成操作人员理解效率以及装配操作效率较低，增强现实作为新型的人机交互以及信息可视化的方式可以有效的解决上述问题。
[0003]但现有的比较成熟的增强现实辅助装配大多数集中于整体架构的研究以及方法的实现，很少关注完成装配后的零件状态检测，而对装配完成的零部件进行状态检测是提高装配成功率的关键。此外，增强现实辅助装配过程中大部分需要人为去触发控制流程，增加了用户认知负担，且难以适应于复杂场景的装配现场。
[0004]因此，实现一种能主动推送装配辅助信息且状态纠错的智能化增强现实辅助装配方法，对降低装配认知门槛，提高装配效率以及成功率，促进装配制造业发展有着重要的意义。
技术实现思路
[0005]为了解决上述问题，本专利技术旨在公开一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，利用深度学习算法实现装配零部件与装配区域匹配，同时在虚拟环境中生成待匹配模板以检测装配质量，来提高装配效率以及成功率。
[0006]为了实现上述目的，本专利技术所采用的技术方案主要包括以下过程：
[0007]步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；
[0008]步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；
[0009]步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；
[0010]步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配零部件名称标签，建立装配零部件图像数据集；
[0011]步骤5、利用真实相机对装配基体进行图像采集，并在采集到的图像上标记角点，两个角点围成一个矩形待装配区域，并为待装配区域标记该区域的待装配零部件名称标签，建立装配基体图像数据集；
[0012]步骤6、以装配零部件图像数据集中的装配零部件图像为输入，装配零部件图像数据集中的名称标签为输出，构建深度学习模型Ⅰ；
[0013]将装配零部件图像数据集中的数据输入深度学习模型Ⅰ进行训练；
[0014]步骤7、以装配基体图像数据集中的装配基体图像为输入，装配基体图像数据集中的角点位置及对应的待装配区域的装配零部件名称标签为输出，构建深度学习模型Ⅱ；
[0015]将装配基体图像数据集中的数据输入深度学习模型Ⅱ进行训练；
[0016]步骤8、通过真实相机对装配作业现场进行图像采集，并将图像信息输入深度学习模型Ⅰ与深度学习模型Ⅱ中，根据深度学习模型Ⅰ的输出确定用户选择安装的装配零部件，根据深度学习模型Ⅱ的输出确定用户选择安装的装配零部件在装配基体上的装配区域及对应的角点信息；
[0017]步骤9、根据用户选择的装配零部件的工件模型及装配工艺信息，以其对应的角点信息为对准信息，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，为用户提供装配指导；
[0018]步骤10、用户完成当前装配零部件的相应操作后，将装配完成的图像与步骤3中位姿匹配模板库中所对应的匹配模板进行匹配，计算匹配模板与装配完成图像之间的相似度得分，若相似度得分大于设定的阈值，则输出完成该装配零部件的装配，若小于阈值则执行步骤11；
[0019]步骤11、利用真实场景中的二维信息与深度信息估计当前装配零部件位姿信息，并将得到的位姿与步骤3中匹配模板所对应的位姿进行比较，计算位姿差值，并将位姿差值重新渲染，为用户提供装配纠错信息重新装配；
[0020]步骤12、重复步骤8到步骤11直至完成所有装配零部件的装配。
[0021]作为优选，所述步骤2中，所述正确安装的位姿匹配模板，包含以下信息：利用边缘检测技术得到的颜色梯度信息、利用拟合技术得到的点云法向量信息、装配零部件正确安装时在虚拟相机坐标系下的位姿信息、装配基体在虚拟相机坐标系下的位姿信息、虚拟相机图像采集时在世界坐标系下的位姿信息。
[0022]作为优选，所述步骤9中，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，其具体方法为：利用步骤8中由深度学习模型Ⅱ所得到的角点的三维坐标与像素坐标求出单应矩阵，将零部件三维模型通过单应矩阵投影变换到像素平面上，从而叠加到真实场景中。
[0023]作为优选，所述步骤10中，计算匹配模板与装配完成图像之间的相似度得分，其方法为：将装配作业现场图像进行ROI区域裁剪，将裁剪后的图像提取关键匹配点，将提取到的关键匹配点转换为特征向量，计算提取到的特征向量与模板图片中的特征向量的欧式距离，欧氏距离越小，则相似度越高。
[0024]作为优选，所述步骤11中，位姿差值重新渲染，其渲染方法包括但不限于，以文本标注的渲染方法，以静态箭头指引的渲染方法，以动态三维动画的渲染方法。
具体实施方式
[0025]为了使本专利技术的目的、技术方案和优点更加清楚明了，下面对本专利技术进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限制本专利技术的范围。
[0026]除非另有定义，本文所使用的所有技术用语与属于本专利技术的
的技术人员
通常理解的含义相同，本文在本专利技术的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在限制于本专利技术。
[0027]步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；
[0028]步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；
[0029]作为优选，所述正确安装的位姿匹配模板，包含以下信息：利用边缘检测技术得到的颜色梯度信息、利用拟合技术得到的点云法向量信息、装配零部件正确安装时在虚拟相机坐标系下的位姿信息、装配基体在虚拟相机坐标系下的位姿信息、虚拟相机图像采集时在世界坐标系下的位姿信息；
[0030]步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；
[0031]步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，包括以下步骤：步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配零部件名称标签，建立装配零部件图像数据集；步骤5、利用真实相机对装配基体进行图像采集，并在采集到的图像上标记角点，两个角点围成一个矩形待装配区域，并为待装配区域标记该区域的待装配零部件名称标签，建立装配基体图像数据集；步骤6、以装配零部件图像数据集中的装配零部件图像为输入，装配零部件图像数据集中的名称标签为输出，构建深度学习模型Ⅰ；将装配零部件图像数据集之中的数据输入到深度学习模型Ⅰ进行训练；步骤7、以装配基体图像数据集中的装配基体图像为输入，装配基体图像数据集中的角点位置及对应的待装配区域的装配零部件名称标签为输出，构建深度学习模型Ⅱ；将装配基体图像数据集之中的数据输入到深度学习模型Ⅱ进行训练；步骤8、通过真实相机对装配作业现场进行图像采集，并将图像信息输入深度学习模型Ⅰ与深度学习模型Ⅱ中，根据深度学习模型Ⅰ的输出确定用户选择安装的装配零部件，根据深度学习模型Ⅱ的输出确定用户选择安装的装配零部件在装配基体上的装配区域及对应的角点信息；步骤9、根据用户选择安装的装配零部件的工件模型及装配工艺信息，以其对应的角点信息为对准信息，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，为用户提供装配指导；步骤10、用户...
【专利技术属性】
技术研发人员：李明富，谭雅斌，邓旭康，朱凌枫，罗朝，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。