基于标志物的摄像头图像处理方法、增强现实设备技术

本发明专利技术涉及基于标志物的摄像头图像处理方法、增强现实设备，该方法包括步骤：选择或提取一幅标志物图像，对标志物图像进行透视变换，获得标志物图像序列；提取标志物图像序列中每一幅序列图像的序列特征点；获取当前摄像头图像，并提取当前摄像头图像的图像特征点，将当前摄像头图像的图像特征点与序列图像的序列特征点进行配对，获取匹配成功的特征点对；根据匹配成功的特征点对，结合摄像头的内参矩阵计算出当前帧摄像头的外参矩阵。本发明专利技术可以有效识别标志物，在大角度下可增加标志物的识别率，同时还可提高标志物图像与摄像头图像特征点匹配过程中的特征点匹配的准确率，且计算量小，适用于移动设备。

Camera image processing method and augmented reality equipment based on markers

【技术实现步骤摘要】
【国外来华专利技术】基于标志物的摄像头图像处理方法、增强现实设备
[0001]本专利技术涉及增强现实
，更具体地说，涉及一种基于标志物的摄像头图像处理方法、增强现实设备。
技术介绍
[0002]现有的增强现实技术（AugmentedReality,简称AR)，一般可通过计算机视觉技术来真实拍摄场景与标记符号之间的相对位置关系，输入实吋拍摄的图像，通过将标志物图像与实吋拍摄的图像进行比对，具体为：在拍摄的图像中搜索识别出标志物的图像所对应的连通区域，该连通区域作为候选对象，得到各连通区域的轮廓线，若能提取出四条相交的直边，则作为可能的标志物；利用四条直角边找到的角特征，进行形变矫正，进而获得标志物图像与拍摄图像之间的对应关系。[0003]但是该种方法所选取的标志物图像是唯一的，当摄像头在拍摄过程中变换角度且移动吋，所得到的图像与标志物图像差距很大，此吋，在进行特征比对吋，需比对的数据量更多、运算速度更慢，且对标志物的识别率及准确率均会变差技术问题[0004]本专利技术要解决的技术问题在于，提供一种有效识别标志物且有效提升特征点匹配过程中的准确率，适于移动设备的基于标志物的摄像头图像处理方法及装置，以及包括该方法的实现增强现实的方法及设备、以及计算机可读存储介质。问题的解决方案技术解决方案[0005]本专利技术解决其技术问题所采用的技术方案是：构造一种基于标志物的摄像头图像处理方法，包括以下步骤：[0006]A:选择或提取一幅标志物图像，对所述标志物图像进行透视变换，获得标志物图像序列；[0007]B:提取所述标志物图像序列中每一幅序列图像的序列特征点；[0008]C:获取当前摄像头图像；[0009]D:提取所述当前摄像头图像的图像特征点，将所述当前摄像头图像的图像特征点与所述序列图像的序列特征点进行配对，获取匹配成功的特征点对；[0010]E:根据所述匹配成功的特征点对，结合摄像头的内参矩阵计算出当前帧摄像头的外参矩阵，所述当前帧摄像头的外参矩阵为标志物图像与摄像头图像匹配成功的特征点的坐标对应关系。[0011]本专利技术还提供一种基于标志物的摄像头图像处理装置，包括：[0012]标志物图像序列获取模块，用于选择或提取一幅标志物图像，对所述标志物图像进行透视变换，获得标志物图像序列；[0013]第一特征点提取模块，用于提取所述标志物图像序列中每一幅序列图像的序列特征点；[0014]当前摄像头图像获取模块，用于获取当前摄像头图像；[0015]特征点配对模块，用于提取所述当前摄像头图像的图像特征点，将所述当前摄像头图像的图像特征点与所述序列图像的序列特征点进行配对，获取匹配成功的特征点对；[0016]外参矩阵计算模块，用于根据所述匹配成功的特征点对，结合摄像头的内参矩阵计算出当前帧摄像头的外参矩阵，所述当前帧摄像头的外参矩阵为标志物图像与摄像头图像匹配成功的特征点的坐标对应关系。。[0017]本专利技术还提供一种实现增强现实的方法，采用上述基于标志物的摄像头图像处理方法获得摄像头的外参矩阵。[0018]本专利技术还提供一种实现增强现实的设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序吋实现如上所述方法的步骤。[0019]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行吋实现如上所述方法的步骤。专利技术的有益效果有益效果[0020]本专利技术可以有效识别标志物，在大角度下可增加标志物的识别率，同吋还可提高标志物图像与摄像头图像特征点匹配过程中的特征点匹配的准确率，且计算量小，适用于移动设备。对附图的简要说明附图说明[0021]下面将结合附图及实施例对本专利技术作进一步说明，附图中：[0022]图1是本专利技术基于标志物的摄像头图像处理方法实施例一流程示意图；[0023]图2是本专利技术基于标志物的摄像头图像处理方法实施例二的流程示意图；[0024]图3-1为标志物图像序列示意图；[0025]图3-2为原始标志物图像示意图；[0026]图3-3为一个标志物图像在每个方向上进行2次透视变换生成的图像示意图；[0027]图4为一幅标志物图像特征点自匹配结果示意图；[0028]图5为感兴趣区域和非感兴趣区域示意图；[0029]图6为典型图像处理示意图；[0030]图7为摄像头外参矩阵误差分析示意图；[0031]图8是本专利技术基于标志物的摄像头函数关系获取装置功能模块示意图。实施该专利技术的最佳实施例本专利技术的最佳实施方式[0032]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。[0033]参阅图1，图1是本专利技术基于标志物的摄像头图像处理方法实施例一流程示意图。本实施例的基于标志物的摄像头图像处理方法可应用于增强现实技术。[0034]如图1所示，本实施例的基于标志物的摄像头图像处理方法包括以下步骤：[0035]步骤A:选择或提取一幅标志物图像，对标志物图像进行透视变换，获得标志物图像序列。[0036]标志物图像序列，可以通过采用预设变换矩阵，对所选择或提取的标志物图像进行姿态变换获得。其中，对所选择或提取的标志物图像所进行的姿态变换包括平移和旋转。[0037]所选择或提取的标志物图像为预先存储在存储器中的标志物图像，其中，标志物图像可以是从图像库中直接调用的图像，也可以是通过现场拍摄得到并保存在存储器中的实拍图像，本专利技术标志物图像的来源不作具体要求。[0038]预设变换矩阵可通过预设标志物图像与常规使用场景下离摄像头的距离计算得到，其所采用的变换可以为透视变换。[0039]进一步地，在步骤A之前，本专利技术的基于标志物的摄像头图像处理方法还包括[0040]步骤A1:获取摄像头的内参矩阵，摄像头的内参矩阵包括摄像头的参数信息。[0041]其中，摄像头的参数信息为摄像头自身的各种参数，例如，摄像头自身的横像素数量、纵像素数量，摄像头的横、纵归一化焦距等。这些参数可通过对摄像头做预先标定得到，也可以通过读取摄像头参数信息（像素、焦距等）直接计算得到，本实施例不做具体要求。[0042]步骤A2:初始化系统环境、配置系统参数。该步骤主要包括搭建系统硬件平台、设置能够支撑二维和三维图形的绘图环境、分配图像缓存空间，识别摄像头等。[0043]步骤B:提取标志物图像序列中每一幅序列图像的序列特征点。[0044]进一步地，本实施例在步骤C之前还包括：[0045]B11:利用特征点提取算法对所述标志物图像序列中的所有序列图像进行特征点提取。例如，可采用surf特征点提取算法、sift特征点提取算法或者ORB特征点提取算法。[0046]本实施例中，本专利技术优选ORB特征点提取算法对每一幅序列图像的序列特征点进行提取。[00本文档来自技高网...

【技术保护点】
权利要求书 /n一种基于标志物的摄像头图像处理方法， 其特征在于， 所述方法包括 以下步骤： /n A: 选择或提取一幅标志物图像， 对所述标志物图像进行透视变换， 获得标志物图像序列； /n B: 提取所述标志物图像序列中每一幅序列图像的序列特征点； C: 获取当前摄像头图像； /n D: 提取所述当前摄像头图像的图像特征点， 将所述当前摄像头图像 的图像特征点与所述序列图像的序列特征点进行配对， 获取匹配成功 的特征点对； /n E: 根据所述匹配成功的特征点对， 结合摄像头的内参矩阵计算出当 前帧摄像头的外参矩阵， 所述当前帧摄像头的外参矩阵为标志物图像 与摄像头图像匹配成功的特征点的坐标对应关系。 /n根据权利要求 1所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 A之前进一步包括步骤： /n A1 : 获取所述摄像头的内参矩阵， 所述摄像头的内参矩阵包括摄像 头的参数信息； /n A2: 初始化系统环境、 配置系统参数。 /n根据权利要求 1所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 A具体包括步骤： /n采用预设变换矩阵， 对所选择或提取的标志物图像进行姿态变换， 生 成所述标志物图像序列。 /n根据权利要求 1所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 C之前进一步包括： /n B11 : 利用特征点提取算法对所述标志物图像序列中的所有序列图像 进行特征点提取。 /n根据权利要求 4所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 B11包括： 利用 ORB特征点提取算法对所述标志物图像序列中的所有序列图像进 行特征点提取。 /n [权利要求 6] 根据权利要求 4所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 C之前进一步包括： /n B12: 对所述步骤 B11中所提取的每一幅序列图像的序列特征点进行 自匹配； /n B13: 刪除自匹配成功的序列特征点， 保留自匹配失败的序列特征点 /n[权利要求 7] 根据权利要求 6所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 D具体包括步骤： /n D11 : 基于预设外参矩阵， 识别出当前摄像头图像中的感兴趣区域， 并去除非感兴趣区域； /n D12: 提取所述当前摄像头图像中的感兴趣区域的感兴趣特征点； D13: 将所述感兴趣区域的感兴趣特征点与所述步骤 B13中保留的序 列特征点进行配对。 /n [权利要求 8] 根据权利要求 7所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 D13具体包括步骤： /n D131 : 根据所述预设外参矩阵， 从所述标志物图像序列中获取典型 图像， 并获取所述典型图像的典型特征点； /n D132: 将所述感兴趣区域的感兴趣特征点与所述典型图像的典型特 征点进行配对。 /n [权利要求 9] 根据权利要求 8所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 D131具体包括步骤： /n D1311 : 获取所述标志物图像序列中所述每一幅序列图像对应的序列 顶点坐标； /n D1312: 基于所述序列顶点坐标计算每一幅序列图像各条边长长度， 依次保存， 获得每一幅序列图像的第一边长长度序列； /n D1313: 对所获得的每一幅序列图像的第一边长长度序列进行归一化 处理； /n D1314: 根据所述预设外参矩阵， 获得所述感兴趣区域的感兴趣顶点 坐标； /n D1315: 基于所获得的感兴趣区域的感兴趣顶点坐标计算所述感兴趣 区域的第二边长长度序列， 并对计算出的感兴趣区域的第二边长长度 序列进行归一化处理； /n D1316: 分别计算所述步骤 D1313中的经归一化处理的所有序列图像 的第一边长长度序列与所述步骤 D1315中的经归一化处理的感兴趣区 域的第二边长长度序列的欧式距离或曼哈顿距离； D1317: 根据所获得的欧式距离或曼哈顿距离进行判断， 获取所述典 型图像。 /n [权利要求 10] 根据权利要求 9所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤 D132具体包括： /n D1321 : 利用阈值法对所述典型图像的典型特征点与所述感兴趣区域 的感兴趣特征点进行配对； /n D1322: 判断所述典型图像的典型特征点与所述感兴趣区域的感兴趣 特征点匹配的配对值是否大于阈值， 若是， 提取该配对值大于阈值的 典型图像的典型特征点； /n D1323: 在匹配结果中， 去除该配对值大于阈值的典型图像的典型特 征点， 获得匹配成功的特征点对。 /n[权利要求 11] 根据权利要求 1所述的基于标志物的摄像头图像处理方法， 其特征在 于， 所述步骤...

【技术特征摘要】
【国外来华专利技术】权利要求书
一种基于标志物的摄像头图像处理方法，其特征在于，所述方法包括以下步骤：
A:选择或提取一幅标志物图像，对所述标志物图像进行透视变换，获得标志物图像序列；
B:提取所述标志物图像序列中每一幅序列图像的序列特征点；C:获取当前摄像头图像；
D:提取所述当前摄像头图像的图像特征点，将所述当前摄像头图像的图像特征点与所述序列图像的序列特征点进行配对，获取匹配成功的特征点对；
E:根据所述匹配成功的特征点对，结合摄像头的内参矩阵计算出当前帧摄像头的外参矩阵，所述当前帧摄像头的外参矩阵为标志物图像与摄像头图像匹配成功的特征点的坐标对应关系。
根据权利要求1所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤A之前进一步包括步骤：
A1:获取所述摄像头的内参矩阵，所述摄像头的内参矩阵包括摄像头的参数信息；
A2:初始化系统环境、配置系统参数。
根据权利要求1所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤A具体包括步骤：
采用预设变换矩阵，对所选择或提取的标志物图像进行姿态变换，生成所述标志物图像序列。
根据权利要求1所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤C之前进一步包括：
B11:利用特征点提取算法对所述标志物图像序列中的所有序列图像进行特征点提取。
根据权利要求4所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤B11包括：
利用ORB特征点提取算法对所述标志物图像序列中的所有序列图像进行特征点提取。
[权利要求6]根据权利要求4所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤C之前进一步包括：
B12:对所述步骤B11中所提取的每一幅序列图像的序列特征点进行自匹配；
B13:刪除自匹配成功的序列特征点，保留自匹配失败的序列特征点
[权利要求7]根据权利要求6所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤D具体包括步骤：
D11:基于预设外参矩阵，识别出当前摄像头图像中的感兴趣区域，并去除非感兴趣区域；
D12:提取所述当前摄像头图像中的感兴趣区域的感兴趣特征点；D13:将所述感兴趣区域的感兴趣特征点与所述步骤B13中保留的序列特征点进行配对。
[权利要求8]根据权利要求7所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤D13具体包括步骤：
D131:根据所述预设外参矩阵，从所述标志物图像序列中获取典型图像，并获取所述典型图像的典型特征点；
D132:将所述感兴趣区域的感兴趣特征点与所述典型图像的典型特征点进行配对。
[权利要求9]根据权利要求8所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤D131具体包括步骤：
D1311:获取所述标志物图像序列中所述每一幅序列图像对应的序列顶点坐标；
D1312:基于所述序列顶点坐标计算每一幅序列图像各条边长长度，依次保存，获得每一幅序列图像的第一边长长度序列；
D1313:对所获得的每一幅序列图像的第一边长长度序列进行归一化
处理；
D1314:根据所述预设外参矩阵，获得所述感兴趣区域的感兴趣顶点坐标；
D1315:基于所获得的感兴趣区域的感兴趣顶点坐标计算所述感兴趣区域的第二边长长度序列，并对计算出的感兴趣区域的第二边长长度序列进行归一化处理；
D1316:分别计算所述步骤D1313中的经归一化处理的所有序列图像的第一边长长度序列与所述步骤D1315中的经归一化处理的感兴趣区域的第二边长长度序列的欧式距离或曼哈顿距离；D1317:根据所获得的欧式距离或曼哈顿距离进行判断，获取所述典型图像。
[权利要求10]根据权利要求9所述的基于标志物的摄像头图像处理方法，其特征在于，所述步骤D132具体包括：
D1321:利用阈值法对所述典型图像的典型特征...

【专利技术属性】
技术研发人员：谢俊，
申请(专利权)人：深圳市柔宇科技有限公司，
类型：发明
国别省市：广东;44