一种基于霍夫投票的增强现实系统物体识别算法技术方案

本发明专利技术公开了一种基于霍夫投票的增强现实系统物体识别算法，具体按照以下步骤实施：步骤1，通过相机获取深度图像和彩色图像，并将深度图像和彩色图像转化成点云数据；步骤2，利用步骤1得到的点云数据计算相机外参，建立三维场景地图；步骤3，结合霍夫投票算法在经步骤2建立的三维场景地图中进行物体识别，得到虚拟物体；步骤4，先根据相机内参加载投影矩阵，再根据步骤2得到的相机外参加载视觉模型矩阵，之后使用OpenGL将步骤3得到的虚拟物体显示出来。这种基于霍夫投票的增强现实系统物体识别算法使增强现实系统可以准确的识别出物体，确保虚拟物体可以更好的融合到真实场景中。

【技术实现步骤摘要】
一种基于霍夫投票的增强现实系统物体识别算法
本专利技术属于增强现实
，特别是涉及一种基于霍夫投票的增强现实系统物体识别算法。
技术介绍
增强现实(AugmentedReality，AR)是在虚拟现实技术基础上发展起来的新兴研究领域，具体来说增强现实技术是利用计算机产生的虚拟信息对真实世界进行增强，提升人类对外界的感知能力，随着增强现实技术和计算机视觉的发展，增强现实技术的应用已覆盖与医疗、军工、通讯、娱乐等多种领域。增强现实系统主要包括数据获取、建立三维场景、物体识别、虚实融合。数据获取可将相机实时图像转化三维点云数据并建立三维点云场景，物体识别可以使虚拟物体置于特定的位置并实现虚实融合，实现增强现实。然而，虚拟物体位置是否准确主要依赖对三维场景的物体识别，因此对场景中的物体进行识别，是增强现实系统的关键一步。
技术实现思路
本专利技术的目的是提供一种基于霍夫投票的增强现实系统物体识别算法，用以增强现实系统中准确的识别出物体，使虚拟物体可以更好的融合到真实场景中。为了达到上述目的，本专利技术所采用的技术方案是，一种基于霍夫投票的增强现实系统物体识别算法，具体按照以下步骤实施：步骤1，通过相机获取深度图像和彩色图像，并将深度图像和彩色图像转化成点云数据；步骤2，利用步骤1得到的点云数据计算相机外参，建立三维场景地图；步骤3，结合霍夫投票算法在经步骤2建立的三维场景地图中进行物体识别，得到虚拟物体的放置位置；步骤4，先根据相机内参加载投影矩阵，再根据步骤2得到的相机外参加载视觉模型矩阵，之后使用OpenGL将虚拟物体在步骤3得到的放置位置中显示出来。本专利技术的技术方案，还具有以下特点：在步骤1中，所述相机为Kinect摄像机。在所述步骤1中，通过公式(1)把深度图像和彩色图像转化程点云数据；式(1)中x，y，z是每个点的三维坐标值，u，v是彩色图片的像素值，fx，fy是相机的焦距，cx，cy是相机的光圈中心，s是深度图的放缩因子，d是深度图像的数据。所述步骤3具体按照以下步骤进行：步骤3.1，对点云数据通过双边滤波算法和离群点去除算法进行保边去噪；步骤3.2，通过式(2)对点云数据中的每个点q的所有相邻点赋予高斯权重，并计算三维场景中的场景点云的法向量和物体点云的法向量；θ(δ)＝δ-r，r＞0(2)式(2)中n是点p的法向量，pi是点p的领域点，θ(·)是高斯函数；步骤3.3，分别计量场景点云和物体点云二值化的SHOT描述子，并通过随机采样一致方法得到正确的一致对应描述子；步骤3.4，根据步骤3.2获得的场景点云的法向量和物体点云的法向量以及步骤3.3获得的正确的一致对应描述子，使用霍夫投票算法在场景中识别物体并得出初始变换矩阵；步骤3.5，利用步骤3.4得到的初始变换矩阵，作为ICP算法的输入矩阵，最后得到更加精确的变换矩阵，实现物体识别。所述Kinect摄像机的型号为KinectforWindowsV1.0。本专利技术的有益效果是：(1)本专利技术的一种基于霍夫投票的增强现实系统物体识别算法，结合双边滤波和离群点去除算法，对物体点云和场景点云进行保边去噪，提升物体识别的鲁棒性；(2)本专利技术的一种基于霍夫投票的增强现实系统物体识别算法，在计算物体点云和场景点云的法向量时，对所有领域点赋予高斯权重函数，可以增加法向量计算的精度，从而能够识别复杂的点云场景(遮挡干扰噪声较严重)中的物体；(3)本专利技术的一种基于霍夫投票的增强现实系统物体识别算法，计算描述子时，结合一种二值化的SHOT的点云描述子计算方法，它可以提高物体识别的速度，并且可以占用更少的内存；(4)本专利技术的一种基于霍夫投票的增强现实系统物体识别算法，三维物体识别结合霍夫投票算法和ICP算法的优点，首先利用霍夫投票在场景中找出与待模型最相似的物体并得到一个初始变换矩阵，再使用ICP算法在初始变换矩阵的基础上得到一个更加准确的变换矩阵，使得识别出物体后，虚拟物体更准确的放置真实环境中。附图说明图1是本专利技术的一种基于霍夫投票的增强现实系统物体识别算法的工作原理图；图2是本专利技术的一种基于霍夫投票的增强现实系统物体识别算法中在三维场景地图中进行物体识别的工作原理图。具体实施方式以下结合附图说明和具体实施例对本专利技术的技术方案作进一步地详细说明。如图1和图2所示，本专利技术的一种基于霍夫投票的增强现实系统物体识别算法，具体按照以下步骤实施：步骤1，通过Kinect摄像机获取深度图像和彩色图像，并通过公式(1)把深度图像和彩色图像转化成点云数据；式(1)中x，y，z是每个点的三维坐标值，u，v是彩色图片的像素值，fx，fy是相机的焦距，cx，cy是相机的光圈中心，s是深度图的放缩因子，d是深度图像的数据；步骤2，利用步骤1得到的点云数据计算相机外参，建立三维场景地图；步骤3.1，对点云数据通过双边滤波算法和离群点去除算法进行保边去噪；步骤3.2，通过式(2)对点云数据中的每个点q的所有相邻点赋予高斯权重，并计算三维场景中的场景点云的法向量和物体点云的法向量；θ(δ)＝δ-r，r＞0(2)式(2)中n是点p的法向量，pi是点p的领域点，θ(·)是高斯函数；步骤3.3，分别计量场景点云和物体点云二值化的SHOT描述子，并通过随机采样一致方法得到正确的一致对应描述子；步骤3.4，根据步骤3.3获得的正确的一致对应描述子，使用霍夫投票算法在场景中识别物体并得出初始变换矩阵；步骤3.5，利用步骤3.4得到的初始变换矩阵，作为ICP算法的输入矩阵，最后得到更加精确的变换矩阵，实现物体识别；步骤4，先根据相机内参加载投影矩阵，再根据步骤2得到的相机外参加载视觉模型矩阵，之后使用OpenGL将虚拟物体在步骤3得到的放置位置中显示出来。本专利技术的基于霍夫投票的增强现实系统物体识别算法，计算法向量时对所有相邻点赋予高斯权重，这样意味着距离当前点较近的点会对法向量估计结果产生相对较大的影响，从而对于复杂的点云场景(遮挡干扰噪声较严重)，由于计算法向量是在散乱的点云中而非面结构，这就需要考虑邻域距离信息，距离近的相应有较大的贡献度，距离远的有较小的贡献度，从而增加法向量计算的精度和物体识别的鲁棒性。另外，使用二值化的SHOT描述子，可以提高物体识别的速度和减少内存，在霍夫投票之后使用ICP提高变换矩阵的精度，可保证增强现实系统的稳定性。本文档来自技高网...

【技术保护点】
1.一种基于霍夫投票的增强现实系统物体识别算法，其特征在于，具体按照以下步骤实施：步骤1，通过相机获取深度图像和彩色图像，并将深度图像和彩色图像转化成点云数据；步骤2，利用步骤1得到的点云数据计算相机外参，建立三维场景地图；步骤3，结合霍夫投票算法在经步骤2建立的三维场景地图中进行物体识别，得到虚拟物体的放置位置；步骤4，先根据相机内参加载投影矩阵，再根据步骤2得到的相机外参加载视觉模型矩阵，之后使用OpenGL将虚拟物体在步骤3得到的放置位置中显示出来。

【技术特征摘要】
1.一种基于霍夫投票的增强现实系统物体识别算法，其特征在于，具体按照以下步骤实施：步骤1，通过相机获取深度图像和彩色图像，并将深度图像和彩色图像转化成点云数据；步骤2，利用步骤1得到的点云数据计算相机外参，建立三维场景地图；步骤3，结合霍夫投票算法在经步骤2建立的三维场景地图中进行物体识别，得到虚拟物体的放置位置；步骤4，先根据相机内参加载投影矩阵，再根据步骤2得到的相机外参加载视觉模型矩阵，之后使用OpenGL将虚拟物体在步骤3得到的放置位置中显示出来。2.根据权利要求1所述的基于霍夫投票的增强现实系统物体识别算法，其特征在于，在步骤1中，所述相机为Kinect摄像机。3.根据权利要求2所述的基于霍夫投票的增强现实系统物体识别算法，其特征在于，在所述步骤1中，通过公式(1)把深度图像和彩色图像转化程点云数据；式(1)中x，y，z是每个点的三维坐标值，u，v是彩色图片的像素值，fx，fy是相机的焦距，cx，cy是相机的光圈中心，s是深度图的放缩因子，d是深度图像的数据...

【专利技术属性】
技术研发人员：汤汶，郜庆洪，朱耀麟，万韬阮，武桐，师乐，曹齐，王丹，周琪，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西,61