一种获取姿势模型的方法及装置制造方法及图纸

本发明专利技术公开一种获取姿势模型的方法及装置，涉及通信网络技术领域，可以降低错误匹配，降低迭代次数，正确、快速的识别目标实物。本发明专利技术通过确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离以及参考特征点的概率分布；匹配实时图像的实时特征点与参考特征点，确定实时特征点的第一匹配概率和第一实时特征点；根据第一实时特征点与所述参考特征点的概率分布，确定第一实时特征点的第二匹配概率；确定第一实时特征点正确匹配的综合概率；根据综合概率以及第一实时特征点，确定实时图像中目标实物相对摄像头的目标姿势模型。本发明专利技术适于采用增强现实技术获取姿势模型时采用。

【技术实现步骤摘要】

本专利技术涉及通信网络
，尤其涉及一种获取姿势模型的方法及装置。
技术介绍
增强现实(Augmented Reality, AR)是利用虚拟物体对真实场景进行显示增强的技术，通过将原本在现实世界的一定时间、空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。在增强现实中，按照识别、跟踪的对象的不同，可以分为有标记的增强现实(Marker AR)和无标记的增强现实(Mark-less AR)两种。无标记的增强现实系统，识别和跟踪的目标是“自然”的图片或物体。Mark-1ess AR技术需要首先识别目标，然后跟踪目标，以获得目标相对于摄像头的姿势，再根据目标的姿势实现虚拟物体和目标的叠加。通常采用基于局部特征描述符或者局部特征分类器进行目标识别。具体的，获取多幅参考图像，并检测参考图像的局部特征，根据每个参考图像的局部特征计算局部特征描述符，或者采用局部特征分类器对每个参考图像的局部特征进行分类。采用摄像头获取目标实物的实时图像，并检测实时图像的局部特征，根据每个实时图像的局部特征计算局部特征描述符，或者采用局部特征分类器对每个实时图像的局部特征进行分类。将参考图像的局部特征与实时图像的局部特征进行匹配，并采用随机抽样一致性算法(Random Sample Consensus, RANSAC)或进步抽样一致性算法(Progressive Sample Consensus, PR0SAC)对匹配集合进行处理,得到正确的匹配(内点)。采用正确匹配的特征，计算目标实物的姿势模型。其中，局部特 征为图像中的感兴趣区域。当检测出局部特征之后，选取局部特征周围的一个邻域，使用不同的图像处理算法，可以得到不同的处理结果。这些结果就被称为局部特征描述符或特征向量。另外，在选取局部特征的邻域中，采用图像处理算法，提取图像的局部特征向量，并根据局部特征向量确定局部特征块。将图像的局部特征块编号{1，···，η}，作为η个分类。已知某一未知分类的局部特征时，可以使用局部特征分类器将这个未知分类的特征分类到某个分类。然而，由于摄像头和目标实物之间的视角与参考图像的视角的差异等原因，使得基于局部特征进行匹配时，存在错误匹配，使得RANSAC或PROSAC所需要的迭代次数不均匀，从而无法识别目标实物或者降低目标实物的识别速度。
技术实现思路
本专利技术的实施例提供一种获取姿势模型的方法及装置，可以降低错误匹配，降低迭代次数，正确、快速的识别目标实物。第一方面，本专利技术提供一种获取姿势模型的方法，包括根据参考图像以及对所述参考图像进行仿射变换获得的训练图像，确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离，以及根据所述第一欧氏距离确定所述参考特征点的概率分布；根据获取的实时图像，匹配所述实时图像的实时特征点与所述参考特征点，确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点；根据所述第一实时特征点与所述参考特征点的概率分布，确定所述第一实时特征点的第二匹配概率；根据所述第一匹配概率和所述第二匹配概率，确定所述第一实时特征点正确匹配的综合概率；根据确定的所述综合概率以及所述第一实时特征点，确定所述实时图像中目标实物相对摄像头的目标姿势模型。在第一种可能的实施例中，结合第一方面，所述对所述参考图像进行仿射变换获得训练图像，包括在预设参数范围内，确定随机仿射矩阵；根据所述随机仿射矩阵，对所述参考图像进行仿射变换获得至少一幅训练图像。在第二种可能的实施例中，结合第一方面的第一种可能的实施例，所述根据参考图像以及对所述参考图像进行仿射变换获得的训练图像，确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离，包括获取参考图像，并确定所述参考图像的参考特征点，以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符；根据所述至少一幅训练图像以及根据所述参考特征点的邻域，计算所述至少一幅训练图像的参考特征点的SIFT描述符；分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离，获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。在第三种可能的实施例中，结合第一方面的第二种可能的实施例，所述获取参考图像，并确定所述参考图像的参考特征点，包括获取参考图像；根据所述参考图像，获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像，将所述至少一幅参考图像按照分辨率排序，构造为金字塔图像；获取所述金字塔图像的每一层金字塔中的参考特征点。在第四种可能的实施例中，结合第一方面的第二种可能的实施例，在分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离，获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离之后，还包括根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离，确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离，并将不符合所述预设特征的参考特征点删除；其中，所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中，主峰明显，以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2，所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。在第五种可能的实施例中，结合第一方面，所述根据所述第一欧氏距离确定所述参考特征点的概率分布，包括 根据本文档来自技高网...

【技术保护点】
一种获取姿势模型的方法，其特征在于，包括：根据参考图像以及对所述参考图像进行仿射变换获得的训练图像，确定所述参考图像的参考特征点的尺度无关的特征变换SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离，以及根据所述第一欧氏距离确定所述参考特征点的概率分布；根据获取的实时图像，匹配所述实时图像的实时特征点与所述参考特征点，确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点；根据所述第一实时特征点与所述参考特征点的概率分布，确定所述第一实时特征点的第二匹配概率；根据所述第一匹配概率和所述第二匹配概率，确定所述第一实时特征点正确匹配的综合概率；根据确定的所述综合概率以及所述第一实时特征点，确定所述实时图像中目标实物相对摄像头的目标姿势模型。

【技术特征摘要】
1.一种获取姿势模型的方法，其特征在于，包括 根据参考图像以及对所述参考图像进行仿射变换获得的训练图像，确定所述参考图像的参考特征点的尺度无关的特征变换SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离，以及根据所述第一欧氏距离确定所述参考特征点的概率分布； 根据获取的实时图像，匹配所述实时图像的实时特征点与所述参考特征点，确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征占. 根据所述第一实时特征点与所述参考特征点的概率分布，确定所述第一实时特征点的第二匹配概率； 根据所述第一匹配概率和所述第二匹配概率，确定所述第一实时特征点正确匹配的综合概率； 根据确定的所述综合概率以及所述第一实时特征点，确定所述实时图像中目标实物相对摄像头的目标姿势模型。2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行仿射变换获得训练图像，包括 在预设参数范围内，确定随机仿射矩阵； 根据所述随机仿射矩阵，对所述参考图像进行仿射变换获得至少一幅训练图像。3.根据权利要求2所述的方法，其特征在于，所述根据参考图像以及对所述参考图像进行仿射变换获得的训练图像，确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离，包括 获取参考图像，并确定所述参考图像的参考特征点，以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符； 根据所述至少一幅训练图像以及根据所述参考特征点的邻域，计算所述至少一幅训练图像的参考特征点的SIFT描述符； 分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离，获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。4.根据权利要求3所述的方法，其特征在于，所述获取参考图像，并确定所述参考图像的参考特征点，包括 获取参考图像； 根据所述参考图像，获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像，将所述至少一幅参考图像按照分辨率排序，构造为金字塔图像； 获取所述金字塔图像的每一层金字塔中的参考特征点。5.根据权利要求3所述的方法，其特征在于，在分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离，获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离之后，还包括 根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离，确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离，并将不符合所述预设特征的参考特征点删除； 其中，所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中，主峰明显，以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2，所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。6.根据权利要求1所述的方法，其特征在于，所述根据所述第一欧氏距离确定所述参考特征点的概率分布，包括 根据7.根据权利要求6所述的方法，其特征在于，在所述根据所述第一欧氏距离确定所述参考特征点的概率分布之后，还包括 确定由所述目标参考特征点构成的目标对象的目标模型文件，所述目标模型文件包括所述目标参考特征点在世界坐标系的位置坐标以及所述目标参考特征点所属金字塔的层数；以及确定所述参考特征点时采用的局部特征描述符或者局部特征分类器；以及参考特征点的SIFT描述符；以及所述参考特征点的概率分布。8.根据权利要求7所述的方法，其特征在于，所述根据获取的实时图像，匹配所述实时图像的实时特征点与所述参考特征点，确定所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点，包括 获取实时图像，并确定所述实时图像的实时特征点； 根据所述实时图像以及所述实时特征点，采用所述目标模型文件中的所述局部特征描述符或者局部特征分类器，匹配所述实时图像的实时特征点与所述参考特征点，确定所述实时特征点的第一匹配概率； 根据所述第一匹配概率，确定所述第一匹配概率大于第一阈值的第一实时特征点，其中，所述第一阈值为大于O并且小于I的值，所述第一实时特征点为至少一个实时特征点。9.根据权利要求8所述的方法，其特征在于，所述根据所述第一实时特征点与所述参考特征点的概率分布，确定所述第一实时特征点的第二匹配概率，包括 根据所述实时图像，获取所述第一实时特征点的邻域，并根据所述第一实时特征点的邻域计算所述第一实时特征点的SIFT描述符； 获取与所述第一实时特征点匹配的第一参考特征点的SIFT描述符； 计算所述第一实时特征点的SIFT描述符与所述第一参考特征点的SIFT描述符的第二欧氏距离； 根据所述参考特征点的概率分布，确定所述第二欧氏距离对应的第二匹配概率，所述第二匹配概率为所述第二欧式距离对应的所述第一实时特征点的匹配概率。10.根据权利要求9所述的方法，其特征在于，所述根据所述第一匹配概率和所述第二匹配概率，确定所述第一实时特征点正确匹配的综合概率，包括 根据Pi = PliP2i确定所述第一实时特征点正确匹配的综合概率；其中，Pi表示所述第一实时特征点正确匹配的综合概率，Pli表示所述实时特征点的第一匹配概率，P2i表示各个所述第一实时特征点的第二匹配概率。11.根据权利要求10所述的方法，其特征在于，在所述确定所述第一实时特征点正确匹配的综合概率之后，还包括 根据所述综合概率，确定所述综合概率大于第二阈值的第二实时特征点，其中，所述第二阈值为大于O并且小于I的值，所述第二实时特征点为至少一个实时特征点； 根据所述第二实时特征点与所述第一实时特征点确定正确匹配比例。12.根据权利要求11所述的方法，其特征在于，所述根据确定的所述综合概率以及所述第一实时特征点，确定所述实时图像中目标实物相对摄像头的目标姿势模型包括 根据所述综合概率对所述第一实时特征点和所述第一参考特征点进行排序； 确定排序之后的所述第一实时特征点和所述第一参考特征点中几何位置分布最优的K组匹配特征点，所述几何位置分布最优为确定的所述第一实时特征点或者所述第一参考特征点中任意两点之间的距离大于预设最小像素距离，并且任意三点不共线，K为大于等于3的正整数； 根据确定的所述K组匹配特征点，计算所述实时图像中第一目标相对摄像头的姿势模型，并确定符合所述姿势模型的第一匹配特征点的数目，所述第一目标为所述实时图像中任一目标； 当所述第一匹配特征点的数目大于第三...

【专利技术属性】
技术研发人员：陈玮，柳海波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：