【技术实现步骤摘要】
实现虚实融合的方法、装置、电子设备及存储介质
[0001]本申请涉及增强现实的
,特别是涉及实现虚实融合的方法、装置、电子设备及存储介质。
技术介绍
[0002]增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界进行巧妙融合的技术。其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互以及传感等多种技术手段。增强现实通过将计算机生成的文字、图像、三维模型、音乐以及视频等虚拟信息进行模拟仿真后,应用到真实世界中,使两种信息互为补充,从而实现对真实世界的“增强”。而随着技术的进步,特别是高精度地图技术在AR领域的落地和成熟,数字孪生以及平行世界等各类科幻的概念逐渐地成为可能。
[0003]目前实现虚实融合的方法包括基于图像识别的方法、基于三维物体识别的方法以及SLAM通过局部地图共享的方式来达到共享虚实融合的效果。各种虚实融合的方式包括:图像数据/物体/人脸/人体的虚实融合内容的编辑,都是通过有相对应的实体参考物体来编辑虚拟内容,比如:被跟踪的图像数据、物体,标准人脸以及标准骨架结构等。即使稍微大一些的范围云锚点(cloud anchor),也可以通过在线编辑然后保存。
[0004]而对于实际场景区域上的虚实融合,可能存在对非实体的目标进行虚实融合。因此,如何对场景区域内的非实体目标实现虚实融合成为基于高精度地图的增强现实应用的一个亟需解决的问题。
技术实现思路
[0005]本申请提供一种实现虚实融合的方法、装置、电子设备及存储介质,以解决现有技术中存在的虚 ...
【技术保护点】
【技术特征摘要】
1.一种实现虚实融合的方法,其特征在于,包括:获取到待融合区域的图像数据;对所述图像数据中待融合区域进行划分,得到待融合区域的各目标区域;基于所述图像数据构建所述待融合区域的虚拟模型;确定所述各目标区域在所述虚拟模型中对应的位置信息;基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容,以对所述待融合区域的各目标区域进行虚实融合。2.根据权利要求1所述的实现虚实融合的方法,其特征在于,所述基于所述图像数据构建所述待融合区域的虚拟模型,包括:对所述图像数据进行特征提取,得到待融合区域的虚拟地图;基于所述图像数据和所述虚拟地图对所述待融合区域进行三维重建,得到所述待融合区域的虚拟模型。3.根据权利要求2所述的实现虚实融合的方法,其特征在于,所述对所述图像数据进行特征提取,得到待融合区域的虚拟地图,包括:对多张所述图像数据进行特征提取,得到各图像数据的特征点;对各图像数据的特征点进行特征点匹配,得到各图像数据的特征点之间的对应关系;基于所述各图像数据的位姿以及对所述对应关系对所述特征点进行三角化,以构建所述虚拟地图。4.根据权利要求2所述的实现虚实融合的方法,其特征在于,所述基于所述图像数据和所述虚拟地图对所述待融合区域进行三维重建,得到所述待融合区域的虚拟模型,包括:对所述图像数据和所述虚拟地图进行深度估计,生成图像深度图,并将所述图像深度图融合成点云;基于所述点云生成所述虚拟模型。5.根据权利要求4所述的实现虚实融合的方法,其特征在于,所述图像数据包括至少两个的位姿,所述对所述图像数据和所述虚拟地图进行深度估计,生成图像深度图,并将所述图像深度图融合成点云,包括:分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计,生成至少两个图像深度图,并分别将至少两个图像深度图对应融合成至少两个点云;将至少两个点云进行整合,得到所述待融合区域的稠密点云;所述基于所述点云生成所述虚拟模型,包括:基于所述稠密点云生成包括稠密点云和/或网格的虚拟模型。6.根据权利要求1所述的实现虚实融合的方法,其特征在于,所述对所述图像数据中待融合区域进行划分,得到待融合区域的各目标区域,包括:通过神经网络对所述图像数据中待融合区域进行划分,得到待融合区域的各目标区域及其在所述图像数据上的坐标信息;所述在所述虚拟模型中确定所述各目标区域对应的位置信息,包括:基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息。
7.根据权利要求6所述的实现虚实融合的方法,其特征在于,所述图像数据包括至少两个的位姿,所述基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息,包括:基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系;基于所述匹配关系确定所述各目标区域在所述虚拟模型中对应的三维位置信息;所述基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容,包括:基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容。8.根据权利要求7所述的实现虚实融合的方法,其特征在于,所述基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容...
【专利技术属性】
技术研发人员:简艺,孙红亮,王子彬,李炳泽,
申请(专利权)人:浙江商汤科技开发有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。