一种面向产品装配的无标识增强现实跟踪注册方法技术

本发明专利技术提出了一种面向产品装配的无标识增强现实跟踪注册方法，其首先利用改进的线性并行多模态LineMod模板匹配方法对弱纹理的装配体目标基座进行检测，得到相机的初始位姿并解决跟踪注册中断重新初始化的问题。然后在ICP点云配准的基础上，对其进行改进，提高配准速度的同时对相机位姿进行精确定位，从而确定虚实融合的基准。最后根据离线阶段建立的装配体和装配引导信息的位姿关系，实现装配引导信息的可视化引导。实验结果表明，本发明专利技术相对于LineMod模板匹配方法具有更好的精度，在产品装配应用场景中具有较好的实时性和鲁棒性。装配应用场景中具有较好的实时性和鲁棒性。装配应用场景中具有较好的实时性和鲁棒性。

【技术实现步骤摘要】
一种面向产品装配的无标识增强现实跟踪注册方法


[0001][0002]本专利技术属于计算机视觉处理邻域技术邻域，具体涉及一种面向产品装配的无标识增强现实跟踪注册方法。

技术介绍

[0003]智能制造已经成为了国家战略课题以及全球化课题，各国在推进智能制造邻域发展的同时，大多对其进行了规划和部署，比如中国的“中国制造2025”、德国的“工业4.0平台”以及美国的“工业互联网计划”等。在智能制造邻域中，智能产品装配是先进装配技术与信息技术的深度融合，已成为当前产品装配发展的主要趋势。目前，工业生产过程中大部分的装配工作仍然依赖现场的装配人员手工完成。复杂产品手工装配主要存在以下问题：(1)复杂产品的装配过程复杂、涉及零部件多、装配技术难度大，使得产品手工装配对装配人员和工具设备都有极高的要求。(2)装配过程主要依赖装配人员对装配流程的熟悉程度，效率低且容易出错。(3)在复杂产品的装配过程中，装配人员需要在操作视场和工艺文档之间来回切换注意力，这使得装配人员在不连续的装配工作中很难有效积累装配经验。而增强现实技术的出现就能很好的解决上述存在的问题，利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向产品装配的无标识增强现实跟踪注册方法，其特征在于，包括以下步骤：1)离线阶段步骤1：确定装配对象，采集不同视角下的装配对象基座的参考图像，并记录相机的采集位置和姿态；步骤2：提取参考图像的方向梯度和法向量特征；步骤3：将所提取的特征点反投影至对应的三维物体模型上来确定对应点的三维空间坐标，并存储不同视角模型的位姿、梯度向量和表面法向量特征以及相应的三维空间坐标；2)在线阶段步骤4：采集产品装配操作场景视频帧，对每一帧的深度图像通过改进的快速行进法进行图像修复；步骤5：提取修复后彩色图像的方向梯度和深度图像的法向量特征；步骤6：使用改进的线性并行多模态LineMod模板匹配方法从参考图像中获取与当前操作场景视频帧最相似的关键帧，并得到当前相机初始位姿；步骤7：基于相机初始位姿生成关键帧模板点云和环境点云；步骤8：使用改进的ICP算法对模型点云和环境点云进行配准得到装配体基座的位姿信息；步骤9：根据得到的装配体基座的位姿信息，将虚拟的装配引导信息叠加到装配操作环境中，实现产品装配过程的可视化引导。2.根据权利要求1所述的一种面向产品装配的无标识增强现实跟踪注册方法，其特征在于，步骤1的具体步骤为：步骤11：在CAD环境下使用虚拟相机采集装配对象基座模型在不同采样范围内进行采样，得到装配对象基座模型在不同视角下的投影视图；步骤12：将每一投影视图中包含的装配对象基座模型的不同形状及其对应的相机位姿进行保存。3.根据权利要求2所述的一种面向产品装配的无标识增强现实跟踪注册方法，其特征在于，步骤4所述进行图像修复的具体操作步骤包括：步骤41：将采集到的装配操作场景的彩色图像和深度图像进行坐标变换，将两者对齐到同一坐标下；步骤42：选取深度图像中半径为ε的p的邻域B
ε
(p)，其中p是深度图像中的待修复边界上的某一个像素点；步骤43：采用一阶泰勒公式估计p点的像素值，p点的一阶泰勒估计I
q
(p)为：其中，q点是邻域B
ε
(p)内的像素点，I为待修复的图像，I(q)是像素点q点的像素值，是q点的梯度值；步骤44：为p点的邻域B
ε
(p)内所有的像素点定义权重系数P(p)：其中，T(p)表示像素点p到空洞区域边界δΩ的距离，D(p)为像素点p处的深度值，D
max
是
整个深度图像中最大深度值，是将对应的彩色图像进行拉普拉斯变换后得到的数据系数；λ1和λ2用于平衡各项权重；步骤45：将p点的邻域B
ε
(p)内所有的像素点加上权重系数，通过式(8)对边界上的像素点不断的进行迭代，同时不断的更新Ω的边界信息；步骤46：将空洞区域边界δΩ上的像素区域以及δΩ外面不需要修复的已知像素区域的T值设置为0，计算待修复区域Ω内所有像素点的像素值；步骤47：对δΩ上的像素中T值最小的点进行修复，根据线性差分方程对T值进行更新，直至待修复区域Ω内的所有像素点都修复完成，且线性差分方程为：max(D
‑
x
T，
‑
D
+x
T，0)2+max(D
‑
y
T，
‑
D
+y
T，0)2＝1其中，D
‑
x
T(i，j)＝T(i，j)
‑
T(i
‑
1，j)代表x方向上的前向差分，D
+x
T(i，j)＝T(i+1，j)
‑
T(i，j)代表x方向上的后向差分。4.根据权利要求1所述的一种面向产品装配的无标识增强现实跟踪注册方法，其特征在于，步骤2和步骤5提取参考图像的方向梯度和法向量特征的操作步骤包括：步骤21：计算RGB图像每一像素在位置x处三个颜色通道的梯度方向为：其中，I为彩色输入图像；R,G,B表示彩色输入图像I中某一位置x处的三个颜色通道；C表示R,G,B三个颜色通道上的某一颜色通道；ori()表示梯度方向；步骤22：将得到的梯度方向共线的视为一个方向从而将360
°
的梯度方向统一到0
°
～180
°
范围内，再将0
°
～180
°
范围内的梯度方向在空间上平均分为5份并使用二进制表示，同时计算响...

【专利技术属性】
技术研发人员：曹鹏霞，姜小龙，张红霞，
申请(专利权)人：西北师范大学，
类型：发明
国别省市：