增强现实处理方法及装置、存储介质和电子设备制造方法及图纸

技术编号:24581017 阅读:36 留言:0更新日期:2020-06-21 01:05
本公开提供了一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备,涉及增强现实技术领域。该增强现实处理方法包括:获取第一设备的当前帧图像的特征向量;利用当前帧图像的特征向量,从预存图像集合中确定出与当前帧图像相似的目标图像;获取目标图像的位姿,并计算当前帧图像与目标图像之间的相对位姿;利用目标图像的位姿以及当前帧图像与目标图像之间的相对位姿,计算当前帧图像的位姿,以便在第一设备上显示虚拟对象。本公开可以在增强现实处理过程中实现精确定位。

Augmented reality processing methods and devices, storage media and electronic equipment

【技术实现步骤摘要】
增强现实处理方法及装置、存储介质和电子设备
本公开涉及增强现实
,具体而言,涉及一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备。
技术介绍
增强现实(AugmentedReality,AR)是一种将虚拟信息与真实世界融合的技术。近年来,增强现实技术的应用已延伸至教育、医疗、游戏、物联网、智能制造、智能驾驶等众多领域。在真实场景中,为了增加趣味性、添加提示信息等目的,可以将虚拟物体配置于场景中,用户可以通过手机等电子设备看到虚拟物体。例如,在大型商场前,当用户通过手机扫描场景时,可以看到虚拟的提示牌,提示牌上显示有该商场的营业时间等,以便用户了解。目前,在增强现实的处理过程中,可能存在定位不精确而导致虚拟物体放置的位置和姿态不准确的问题。
技术实现思路
本公开提供一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的增强现实处理过程中定位不精确的问题。根据本公开的第一方面,提供了一种增强现实处理方法,包括本文档来自技高网...

【技术保护点】
1.一种增强现实处理方法,其特征在于,包括:/n获取第一设备的当前帧图像的特征向量;/n利用所述当前帧图像的特征向量,从预存图像集合中确定出与所述当前帧图像相似的目标图像;/n获取所述目标图像的位姿,并计算所述当前帧图像与所述目标图像之间的相对位姿;/n利用所述目标图像的位姿以及所述当前帧图像与所述目标图像之间的相对位姿,计算所述当前帧图像的位姿,以便在所述第一设备上显示虚拟对象。/n

【技术特征摘要】
1.一种增强现实处理方法,其特征在于,包括:
获取第一设备的当前帧图像的特征向量;
利用所述当前帧图像的特征向量,从预存图像集合中确定出与所述当前帧图像相似的目标图像;
获取所述目标图像的位姿,并计算所述当前帧图像与所述目标图像之间的相对位姿;
利用所述目标图像的位姿以及所述当前帧图像与所述目标图像之间的相对位姿,计算所述当前帧图像的位姿,以便在所述第一设备上显示虚拟对象。


2.根据权利要求1所述的增强现实处理方法,其特征在于,获取第一设备的当前帧图像的特征向量包括:
接收由所述第一设备发送的当前帧图像的特征向量;
其中,所述第一设备对所述当前帧图像进行特征提取,得到所述当前帧图像的特征向量。


3.根据权利要求1所述的增强现实处理方法,其特征在于,获取第一设备的当前帧图像的特征向量包括:
获取由所述第一设备发送的当前帧图像;
对所述当前帧图像进行特征提取,以获取所述当前帧图像的特征向量。


4.根据权利要求3所述的增强现实处理方法,其特征在于,对所述当前帧图像进行特征提取,以获取所述当前帧图像的特征向量,包括:
将所述当前帧图像输入训练后的机器学习模型中,利用所述训练后的机器学习模型对所述当前帧图像进行特征提取,所述机器学习模型的输出为所述当前帧图像的特征向量。


5.根据权利要求4所述的增强现实处理方法,其特征在于,所述增强现实处理方法还包括:
获取训练集,所述训练集包括多组训练图像,每组训练图像包括经过位置标注的第一训练图像和经过位置标注的第二训练图像;
将所述第一训练图像输入至所述机器学习模型,得到第一训练特征向量;
将所述第二训练图像输入至所述机器学习模型,得到第二训练特征向量;
基于所述第一训练图像的位置标注与所述第二训练图像的位置标注是否一致的判断结果来选择机器学习模型的损失函数,利用所述第一训练特征向量和所述第二训练特征向量计算所述损失函数,调节所述机器学习模型的参数,以得到所述训练后的机器学习模型。


6.根据权利要求4所述的增强现实处理方法,其特征在于,所述增强现实处理方法还包括:
预先获取第二设备采集的图像,利用所述第二设备采集的图像构建所述预存图像集合。


7.根据权利要求6所述的增强现实处理方法,其特征在于,利用所述当前帧图像的特征向量,从预存图像集合中确定出与所述当前帧图像相似的目标图像,包括:
获取所述预存图像集合中各预存图像的特征向量;其中,利用所述训练后的机器学习模型确定出各所述预存图像的特征向量;
分别计算所述当前帧图像的特征向量与各所述预存图像的特征向量的相似度,根据计算结果从所述预存图像集合中确定出与所述当前帧图像相似的目标图像。


8.根据权利要求7所述的增强现实处理方法,其特征在于,根据计算结果从所述预存图像集合中确定出与所述当前帧图像相似的目标图像包括:
从计算结果中确定出相似度最大值;
如果所述相似度最大值大于第一相似度阈值,则将与所述相似度最大值对应的预存图像确定为与所述当前帧图像相似的目标图像。


9.根据权利要求6所述的增强现实处理方法,其特征在于,预存图像集合中包括场景图像集合以及与所述场景图像集合中场景图像所处场景对应的预存图像子集合;其中,利用所述当前帧图像的特征向量,从预存图像集合中确定出与所述当前帧图像相似的目标图像,包括:
利用所述当前帧图像的特征向量,从场景图像集合中确定出与所述当前帧图像相似的目标场景图像;
确定所述目标场景图像所处场景对应的预存图像子集合;
利用所述当前帧图像的特征向量,从所述目标场景图像所处场景对应的预存图像子集合中,确定出与所述当前帧图像相似的目标图像。


10.根据权利要求9所述的增强现实处理方法,其特征在于,利用所述当前帧图像的特征向量,从场景图像集合中确定出与所述当前帧图像相似的目标场景图像,包括:
获取所述场景图像集合中场景图像的特征向量;其中,利用所述训练后的机器学习模型确定出所述场景图像的特征向量;
计算所述当前帧图像的特征向量与所述场景图像集合中场景图像的特征向量的相似度,根据计算结果从所述场景图像集合中确定出与所述当前帧图像相似的目标场景图像。


11.根据权利要求10所述的增强现实处理方法,其特征在于,根据计算结果从所述场景图像集合中确定出与当前帧图像相似的目标场景图像包括:
在所...

【专利技术属性】
技术研发人员:彭冬炜
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1