本申请涉及一种基于AR的场景导览方法、AR眼镜、电子装置和存储介质，通过获取用户视野所及的空间区域的实时图像；提取实时图像中的展品图像；提取对展品图像中的全局特征描述符和特征点描述符；根据全局特征描述符从待检索图像中初步匹配得到与展品图像匹配的至少一张相似图像；根据特征点描述符精确匹配得到和展品图像最相似的第一相似图像；根据匹配特征点对中的特征点在展品图像上的位置信息确定用户相对于展品图像的空间位姿；根据空间位姿获取对应于第一相似图像的虚拟信息，并将虚拟信息叠加显示于用户视野所及的空间区域，解决了基于AR的场景导览效果差且计算资源开销大的问题，提升了基于AR的场景导览效果且降低了计算资源开销。计算资源开销。计算资源开销。
【技术实现步骤摘要】
基于AR的场景导览方法、AR眼镜、电子装置和存储介质
[0001]本申请涉及AR
，特别是涉及基于AR的场景导览方法、AR眼镜、电子装置和存储介质。
技术介绍
[0002]相关技术基于AR(Augmented Reality，增强现实)的场景导览方法包含以下几个关键步骤：
[0003]步骤1，用AR眼镜拍摄场景图像，提取图像的特征点。采用手工设计的特征来提取特征点。
[0004]步骤2，建立离线词袋模型。在给定的一组图像数据集上利用步骤1中提取的特征点，通过诸如BOW、VLAD的基于特征描述算子的特征编码算法，得到词袋模型。
[0005]步骤3，特征点匹配。采用随机抽样一致算法，获取最优化的匹配点对。
[0006]步骤4，计算位姿。根据步骤3中已获得的匹配点对，通过几何约束计算相应的变换矩阵，得到场景图像的位置。
[0007]步骤5，显示场景图像的位置以进行导览。
[0008]上述方案存在以下缺陷：
[0009](1)即使是在同一场景下拍摄的图像，也会由于环境光照复杂、用户佩戴AR眼镜的角度各异的因素而导致场景图像各有不同，直接通过场景图像的特征点匹配来定位场景的位置会导致定位不准确，而且耗时长。
[0010](2)手工设计的特征点是凭借人们对几何学以及数学上的一些认识，对图像中的某些局部特殊区域进行建模得到描述函数，此类特征点的缺点是只关注到图像的局部特征，对光照、视角变化敏感，泛化能力弱，且速度不稳定；建立离线词袋模型的过程是根据手工设计的局部特征点聚类得到的码本，因此无法描述图像的全局特征，特征表达能力也有较大局限性。
[0011](3)AR眼镜是一种便携式设备，其算力较低，电池容量也受限，因此续航时间较短，相关技术基于AR的场景导览方法无法兼顾计算量和导览效果。
[0012]针对相关技术中基于AR的场景导览效果差且计算资源开销大的问题，目前还没有提出有效的解决方案。
技术实现思路
[0013]在本实施例中提供了一种基于AR的场景导览方法、AR眼镜、电子装置和存储介质，以解决相关技术中基于AR的场景导览效果差且计算资源开销大的问题。
[0014]第一个方面，在本实施例中提供了一种基于AR的场景导览方法，包括：
[0015]获取用户视野所及的空间区域的实时图像，对所述实时图像进行目标识别处理，得到所述实时图像中的展品图像；
[0016]对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征
点描述符；
[0017]获取待检索图像的全局特征描述符，根据所述展品图像和所述待检索图像的全局特征描述符，从所述待检索图像中确定与所述展品图像匹配的至少一张相似图像；获取所述相似图像的特征点描述符，根据所述展品图像和所述待检索图像的特征点描述符，得到匹配特征点对，并从所述相似图像中确定匹配特征点对数目最多的第一相似图像；
[0018]获取所述匹配特征点对中的特征点在所述展品图像上的位置信息，根据所述位置信息，确定用户相对于所述展品图像的空间位姿；根据所述空间位姿获取对应于所述第一相似图像的虚拟信息，并将所述虚拟信息叠加显示于用户视野所及的空间区域。
[0019]在其中的一些实施例中，所述虚拟信息包括用户视野所及的当前展品在展厅中的坐标。
[0020]在其中的一些实施例中，所述虚拟信息包括从当前展品指向下一个展品的预设导览信息。
[0021]在其中的一些实施例中，对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符包括：
[0022]采用预训练的卷积神经网络对所述展品图像进行特征提取处理，其中，所述预训练的卷积神经网络包括第一网络和第二网络，所述第一网络的隐藏层与所述第二网络的输入端连接；
[0023]采用预训练的卷积神经网络对所述展品图像进行特征提取处理包括：
[0024]将所述展品图像输入至所述第一网络进行特征提取处理，输出浅层特征和所述全局特征描述符；
[0025]将所述浅层特征输入至所述第二网络进行特征提取处理，输出所述特征点描述符。
[0026]在其中的一些实施例中，将所述浅层特征输入至所述第二网络进行特征提取处理，输出所述特征点描述符包括：
[0027]将所述浅层特征输入至所述第二网络进行特征提取处理，得到所述第二网络中最后一个卷积层输出的特征图；
[0028]将所述特征图进行归一化处理，得到特征点响应得分图；
[0029]确定所述特征点响应得分图中大于预设阈值的特征点，并输出所述特征点的特征点描述符。
[0030]在其中的一些实施例中，所述浅层特征包括所述展品图像的线条信息和/或边缘信息；所述全局特征描述符包括所述展品图像的整体结构信息；所述特征点描述符包括所述展品图像的局部结构信息。
[0031]在其中的一些实施例中，训练所述卷积神经网络的方法包括：
[0032]训练所述第一网络，得到所述第一网络的网络权重；
[0033]根据所述第一网络的网络权重，训练所述第二网络。
[0034]第二个方面，在本实施例中提供了一种AR眼镜，包括：摄像头、显示屏和处理单元，所述处理单元与所述摄像头、所述显示屏连接；其中，
[0035]所述摄像头用于拍摄实时图像；
[0036]所述处理单元用于执行上述第一个方面所述的基于AR的场景导览方法；
[0037]所述显示屏用于播放所述处理单元生成的虚拟信息。
[0038]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的基于AR的场景导览方法。
[0039]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的基于AR的场景导览方法。
[0040]与相关技术相比，在本实施例中提供的基于AR的场景导览方法、AR眼镜、电子装置和存储介质，解决了相关技术中基于AR的场景导览效果差且计算资源开销大的问题，提升了基于AR的场景导览效果且降低了计算资源开销。
[0041]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0042]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0043]图1是本实施例的基于AR的场景导览方法的终端的硬件结构框图；
[0044]图2是本实施例的基于AR的场景导览方法的流程图；
[0045]图3是本实施例的预训练的卷积神经网络的结构示意图；
[0046]图4是本优选实施例的预训练的卷积神经网络的结构示意图；
[0047]图5是本实施例的AR本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于AR的场景导览方法，其特征在于，包括：获取用户视野所及的空间区域的实时图像，对所述实时图像进行目标识别处理，得到所述实时图像中的展品图像；对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符；获取待检索图像的全局特征描述符，根据所述展品图像和所述待检索图像的全局特征描述符，从所述待检索图像中确定与所述展品图像匹配的至少一张相似图像；获取所述相似图像的特征点描述符，根据所述展品图像和所述待检索图像的特征点描述符，得到匹配特征点对，并从所述相似图像中确定匹配特征点对数目最多的第一相似图像；获取所述匹配特征点对中的特征点在所述展品图像上的位置信息，根据所述位置信息，确定用户相对于所述展品图像的空间位姿；根据所述空间位姿获取对应于所述第一相似图像的虚拟信息，并将所述虚拟信息叠加显示于用户视野所及的空间区域。2.根据权利要求1所述的基于AR的场景导览方法，其特征在于，所述虚拟信息包括用户视野所及的当前展品在展厅中的坐标。3.根据权利要求1或2所述的基于AR的场景导览方法，其特征在于，所述虚拟信息包括从当前展品指向下一个展品的预设导览信息。4.根据权利要求1所述的基于AR的场景导览方法，其特征在于，对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符包括：采用预训练的卷积神经网络对所述展品图像进行特征提取处理，其中，所述预训练的卷积神经网络包括第一网络和第二网络，所述第一网络的隐藏层与所述第二网络的输入端连接；采用预训练的卷积神经网络对所述展品图像进行特征提取处理包括：将所述展品图像输入至所述第一网络进行特征提取处理，输出浅层特征和所述全局特征描述符；将所述浅...
【专利技术属性】
技术研发人员：施展，王森，
申请(专利权)人：杭州灵伴科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。