一种基于点云和视觉特征融合的虚实注册方法技术

本发明专利技术请求保护一种基于点云和视觉特征融合的虚实注册方法，整个过程分为离线和在线两个阶段完成，具体包括以下步骤：在离线阶段，在CAD环境中将参考对象零件三维CAD模型生成三维点云模型，为装配绝对坐标系的建立和后续的虚实注册做准备，为了加快点云配准及装配坐标系建立过程，在此阶段需要对参考对象零件的点云模型进行精简；在在线阶段，采集装配现场视频流并生成点云，利用参考对象点云和装配现场点云之间的配准完成装配绝对坐标系的定义，基于点云的虚实注册在迭代配准过程中需要一个初始配准阶段，设置初始点云相对位置，获得绝对坐标系下精确的跟踪注册矩阵。本发明专利技术既避免了相机移动速度过快时导致的“丢帧”情况，又提高了虚实注册精度。

A Virtual and Real Registration Method Based on Point Cloud and Visual Feature Fusion

【技术实现步骤摘要】
一种基于点云和视觉特征融合的虚实注册方法
本专利技术属于增强现实
，具体涉及一种基于点云和视觉特征融合的虚实注册方法。
技术介绍
虚实注册(即三维跟踪注册)技术就是将计算机生成的虚拟物体或其他信息与真实场景正确匹配或有机结合，其关键是相机的跟踪定位。许多学者针对相机的跟踪定位提出了大量的方法，主要包括基于人工标识和基于自然特征的跟踪定位等。但是由于机械产品装配要求严格，人工标识被严格禁止使用。而且装配环境大多以光滑、缺少纹理的零部件为主，基于自然特征的跟踪注册也难以有效适用。基于稠密点云的跟踪注册方法利用场景深度图像生成点云，并通过点云的配准实现相机的跟踪定位，它能在光照强度较低且表面缺少纹理的机械产品装配环境中表现出较好的鲁棒性，因此受到广大科研工作者的兴趣和关注。基于点云的虚实注册方法能在光照强度较低且表面缺少纹理的机械产品装配环境中表现出良好的鲁棒性。但是目前基于稠密点云的虚实注册方法仅能估计传感器的相对位姿，对机械产品装配环境不能直接适用。同时，基于稠密点云的虚实注册方法主要采用迭代最近点的方法进行相机位姿估计。但是当相机快速移动时，迭代最近点(ICP)配准算法由于无法获取足够数量的正确初始对应数据点集，迭代过程容易陷入局部最优，难以保证收敛速度和配准精度，甚至造成“丢帧”的情况，导致虚实注册过程的中断。因此如何利用深度传感器同一时刻冗余的彩色图像信息，通过特征点匹配，获取足够数量的正确初始对应数据点集，提高迭代过程收敛速度和相机位姿计算精度成为难点。而且由于装配现场物体表面大多光滑、无纹理，如何获取足够数量的匹配特征点对也是需要解决的问题。虚实注册是AR装配辅助系统虚实融合的首要条件。如何将虚拟装配引导信息稳定、高精度的注册到装配环境中成为研究难点。基于稠密点云的虚实注册方法能在光照强度较低且表面缺少纹理的机械产品装配环境中表现出较好的鲁棒性。该类方法使用点云中的全部或大多数点参与计算过程，运用迭代最近点(ICP)配准算法对全部对应点对进行迭代运算，获取相机位姿，大大提高了虚实注册精度。但是目前基于稠密点云的虚实注册方法采用的迭代最近点策略，仅能估计传感器相对其初始位置(不固定)的位姿，对于需要绝对装配位置信息的装配场景不能直接适用。同时，当深度传感器移动速度过快，导致无法获取正确的初始对应数据点集时，ICP算法迭代过程容易陷入局部最优，难以保证收敛速度和配准精度。而且在超出深度传感器工作范围(0.15～4m)时，容易造成“丢帧”的情况，导致虚实注册过程的中断。跟踪过程采用的连续帧间配准会也随着传感器运动距离的增大，跟踪精度大幅降低；基于特征点匹配的虚实注册方法在彩色图像中进行特征点提取，然后将特征点映射到三维空间，再通过RANSAC算法计算对应特征点对间的变换，从而完成摄像机位姿的估计。基于特征点匹配的虚实注册方法响应速度快、对零部件表面要求不高、工作区间范围广，而且在深度传感器超出工作区间范围时仍能很好的完成相机位姿估计。但是该方法对环境光照条件要求较高。因此将基于特征点匹配和点云配准算法相结合是解决机械产品装配环境虚实注册过程失效的有效方法之一。然而由于机械产品装配现场或工装表面缺少足够的纹理特征，采用传统的SIFT或SURF作为特征检测子或描述子进行变换矩阵估计，容易由于缺少足够的匹配特征点而导致虚实注册失败。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种既避免了相机移动速度过快时导致的“丢帧”情况，又提高了虚实注册精度的基于点云和视觉特征融合的虚实注册方法。本专利技术的技术方案如下：一种基于点云和视觉特征融合的虚实注册方法，整个过程分为离线和在线两个阶段完成，具体包括以下步骤：在离线阶段，在计算机辅助设计CAD环境中将参考对象零件三维CAD模型生成三维点云模型，为装配绝对坐标系的建立和后续的虚实注册做准备，为了加快点云配准及装配坐标系建立过程，在此阶段需要对参考对象零件的点云模型进行精简；在在线阶段，采集装配现场视频流并生成点云，利用参考对象点云和装配现场点云之间的配准完成装配绝对坐标系的定义，基于点云的虚实注册在迭代配准过程中需要一个初始配准阶段，设置初始点云相对位置，获得绝对坐标系下精确的跟踪注册矩阵。进一步的，所述在线阶段中，装配环境点云生成及预处理具体包括：1)点云生成步骤：对深度图像中的每一个像素点uD进行并行反投影到相机坐标空间，获得顶点，三维顶点Vt(u)及顶点对应的法向量Nt(u)形成三维装配环境点云；2)点云空间索引建立步骤：采用空间索引Kd-tree进行点云数据结构的建立；3)Kd-Tree的最近邻搜索步骤。进一步的，所述步骤1)点云生成步骤中，装配环境深度图像经过降噪修复后，将图像中i时刻的每一个像素点uD＝(xd,yd)通过式(1)反投影到深度相机空间坐标系，为了对此过程进行加速，对深度图像中的每一个像素点uD进行并行反投影到相机坐标空间，获得顶点，反投影结果为：Vt(u)＝Di(u)Mint_D-1[uD,1](1)式中：Di(u)——i时刻的深度图像；Mint_D——深度相机内部参数。同时，每个顶点对应的法向量Nt(u)用相邻投影点通过如下运算获得：Nt(u)＝(Vt(x+1,y)-Vt(x,y))×(Vt(x,y+1)-Vt(x,y))(2)Vt(x+1,y)对应顶点。x、y表示像素点的横纵坐标；将(2)规范化到单位长度Nt/||Nt||2，||Nt||2、Nt表示对应时法向量三维顶点Vt(u)及顶点对应的法向量Nt(u)形成三维装配环境点云。进一步的，所述步骤2)点云空间索引建立步骤：采用空间索引Kd-tree进行点云数据结构的建立，具体包括：Step1：确定切分点Split域值；Step2：确定根节点Node-data域值；Step3：确定左子空间和右子空间；Step4：递归步骤。进一步的，所述步骤3)最邻近查找的基本思路为：Step1:进行二叉查找，生成搜索路径。要查询的点顺着搜索路径进行快速搜索，找到最邻近的近似点，也就是叶子节点；Step2:回溯查找，找到的叶子节点并不一定就是最邻近的，最邻近点应该位于以查询点为圆心且通过叶子节点的圆域内，为了找到真正的最近邻，还需要沿搜索路径反向查找是否有距离查询点更近的数据点。进一步的，所述装配坐标系建立过程具体包括步骤：Step1:以水泵外壳为对象，生成点云Step2:在线采集t时刻装配现场深度图像Rt(u)(其中u＝(x,y))，并对深度图像Rt(u)进行降噪修复，获得降噪修复后的深度图像，然后生成三维环境点云，其中X＝{x0,x1,x2...xn,N0,N1,N2...Nn}Step3:将三维环境点云与参考对象模型生成的点云P＝{p0,p1,p2...pm,n0,n1,n2...nm}使用迭代最近点(ICP)进行配准，采用图形处理器(GPU)的多线程进行并行运算提高配准速度。为了获得对应配准点，利用Kd-tree加速匹配搜索，欧氏距离(Euclidiandistance)作为匹配度量(见公式3)同时为了尽量减少误匹配点数目，加入法向量特征作为额外限制条件。采用点积dij＝<mi,mj>对候选点对法向量进行度量，假如dij大于某一阈值ψ，则认为是对应点，并赋予权值1，本文档来自技高网...

【技术保护点】
1.一种基于点云和视觉特征融合的虚实注册方法，其特征在于，整个过程分为离线和在线两个阶段完成，具体包括以下步骤：在离线阶段，在计算机辅助设计CAD环境中将参考对象零件三维CAD模型生成三维点云模型，为装配绝对坐标系的建立和后续的虚实注册做准备，为了加快点云配准及装配坐标系建立过程，在此阶段需要对参考对象零件的点云模型进行精简；在在线阶段，采集装配现场视频流并生成点云，利用参考对象点云和装配现场点云之间的配准完成装配绝对坐标系的定义，基于点云的虚实注册在迭代配准过程中需要一个初始配准阶段，设置初始点云相对位置，获得绝对坐标系下精确的跟踪注册矩阵。

【技术特征摘要】
1.一种基于点云和视觉特征融合的虚实注册方法，其特征在于，整个过程分为离线和在线两个阶段完成，具体包括以下步骤：在离线阶段，在计算机辅助设计CAD环境中将参考对象零件三维CAD模型生成三维点云模型，为装配绝对坐标系的建立和后续的虚实注册做准备，为了加快点云配准及装配坐标系建立过程，在此阶段需要对参考对象零件的点云模型进行精简；在在线阶段，采集装配现场视频流并生成点云，利用参考对象点云和装配现场点云之间的配准完成装配绝对坐标系的定义，基于点云的虚实注册在迭代配准过程中需要一个初始配准阶段，设置初始点云相对位置，获得绝对坐标系下精确的跟踪注册矩阵。2.根据权利要求1所述的一种基于点云和视觉特征融合的虚实注册方法，其特征在于，所述在线阶段中，装配环境点云生成及预处理具体包括：1)点云生成步骤：对深度图像中的每一个像素点uD进行并行反投影到相机坐标空间，获得顶点，三维顶点Vt(u)及顶点对应的法向量Nt(u)形成三维装配环境点云；2)点云空间索引建立步骤：采用空间索引Kd-tree进行点云数据结构的建立；3)Kd-Tree的最近邻搜索步骤。3.根据权利要求2所述的一种基于点云和视觉特征融合的虚实注册方法，其特征在于，所述步骤1)点云生成步骤中，装配环境深度图像经过降噪修复后，将图像中i时刻的每一个像素点uD＝(xd,yd)通过式(1)反投影到深度相机空间坐标系，为了对此过程进行加速，对深度图像中的每一个像素点uD进行并行反投影到相机坐标空间，获得顶点，反投影结果为：Vt(u)＝Di(u)Mint_D-1[uD,1](1)式中：Di(u)——i时刻的深度图像；Mint_D——深度相机内部参数。同时，每个顶点对应的法向量Nt(u)用相邻投影点通过如下运算获得：Nt(u)＝(Vt(x+1,y)-Vt(x,y))×(Vt(x,y+1)-Vt(x,y))(2)Vt(x+1,y)为像素对应顶点，x、y表示像素点的横纵坐标；将(2)规范化到单位长度Nt/||Nt||2，||Nt||2、Nt表示对应时法向量三维顶点Vt(u)及顶点对应的法向量Nt(u)形成三维装配环境点云。4.根据权利要求2所述的一种基于点云和视觉特征融合的虚实注册方法，其特征在于，所述步骤2)点云空间索引建立步骤：采用空间索引Kd-tree进行点云数据结构的建立，具体包括：Step1：确定切分点Split域值；Step2：确定根节点Node-data域值；Step3：确定左子空间和右子空间；Step4：递归步骤。5.根据权利要求2所述的一种基于点云和视觉特征融合的虚实注册方法，...

【专利技术属性】
技术研发人员：王月，罗志勇，夏文彬，马国喜，赵杰，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50