实现虚实融合的方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了实现虚实融合的方法、装置、电子设备及存储介质，其中，实现虚实融合的方法包括：获取到待融合区域的图像数据；对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；基于图像数据构建待融合区域的虚拟模型；确定各目标区域在虚拟模型中对应的位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。通过上述方式，本申请能够快速且准确地实现待融合区域内各目标区域的虚实融合。虚实融合。虚实融合。

【技术实现步骤摘要】
实现虚实融合的方法、装置、电子设备及存储介质


[0001]本申请涉及增强现实的
，特别是涉及实现虚实融合的方法、装置、电子设备及存储介质。

技术介绍

[0002]增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界进行巧妙融合的技术。其广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互以及传感等多种技术手段。增强现实通过将计算机生成的文字、图像、三维模型、音乐以及视频等虚拟信息进行模拟仿真后，应用到真实世界中，使两种信息互为补充，从而实现对真实世界的“增强”。而随着技术的进步，特别是高精度地图技术在AR领域的落地和成熟，数字孪生以及平行世界等各类科幻的概念逐渐地成为可能。
[0003]目前实现虚实融合的方法包括基于图像识别的方法、基于三维物体识别的方法以及SLAM通过局部地图共享的方式来达到共享虚实融合的效果。各种虚实融合的方式包括：图像数据/物体/人脸/人体的虚实融合内容的编辑，都是通过有相对应的实体参考物体来编辑虚拟内容，比如：被跟踪的图像数据、物体，标准人脸以及标准骨架结构等。即使稍微大一些的范围云锚点(cloud anchor)，也可以通过在线编辑然后保存。
[0004]而对于实际场景区域上的虚实融合，可能存在对非实体的目标进行虚实融合。因此，如何对场景区域内的非实体目标实现虚实融合成为基于高精度地图的增强现实应用的一个亟需解决的问题。

技术实现思路

[0005]本申请提供一种实现虚实融合的方法、装置、电子设备及存储介质，以解决现有技术中存在的虚实融合技术的应用范围较为局限的问题。
[0006]为解决上述技术问题，本申请第一方面提供一种实现虚实融合的方法，包括：获取到待融合区域的图像数据；对图像数据中待融合区域进行划分，得到待融合区域的各目标区域；基于图像数据构建待融合区域的虚拟模型；确定各目标区域在虚拟模型中对应的位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，以对待融合区域的各目标区域进行虚实融合。
[0007]因此，先确定各目标区域在虚拟模型中对应的位置信息，使得虚拟内容的添加能够基于位置信息准确地放置于对应的区域内，使得虚实融合的结果更加准确，并提高了实现虚实融合的过程的效率。
[0008]其中，基于图像数据构建待融合区域的虚拟模型，包括：对图像数据进行特征提取，得到待融合区域的虚拟地图；基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型。
[0009]因此，基于待融合区域的图像数据构建待融合区域的虚拟模型，从而提高虚拟模型的精度和准确性，且通过先构建虚拟地图再基于虚拟地图和图像数据进行三维重建，能
够更进一步提高虚拟模型构建的效率和精度。
[0010]其中，对图像数据进行特征提取，得到待融合区域的虚拟地图，包括：对多张图像数据进行特征提取，得到各图像数据的特征点；对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；基于各图像数据的位姿以及对应关系对特征点进行三角化，以构建虚拟地图。
[0011]因此，基于各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系，再基于图像数据的位姿和对应关系进行三角化，来构建虚拟地图，能够实现三维虚拟地图的构建，并提高虚拟地图与真实待融合区域之间的相似性，并便于后续虚拟模型的构建。
[0012]其中，基于图像数据和虚拟地图对待融合区域进行三维重建，得到待融合区域的虚拟模型，包括：对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云；基于点云生成虚拟模型。
[0013]因此，通过对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，最后基于点云生成虚拟模型，能够通过点云来提高虚拟模型的精度与立体度，进而使其与真实的待融合区域更加贴近。
[0014]其中，图像数据包括至少两个的位姿，对图像数据和虚拟地图进行深度估计，生成图像深度图，并将图像深度图融合成点云，包括：分别对至少两个位姿的图像数据和虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到待融合区域的稠密点云；基于点云生成虚拟模型，包括：基于稠密点云生成包括稠密点云和网格的虚拟模型。
[0015]因此，通过生成至少两个位姿的点云，并将其进行融合，得到稠密点云，再在稠密点云的基础上生成包括稠密点云和网格的虚拟模型来进一步提高虚拟模型的精度和特征量，从而提高虚拟模型与真实的待融合区域之间的相似度，减少虚实融合不准确的情况发生。
[0016]其中，对图像数据中待融合区域进行划分，得到待融合区域的各目标区域，包括：通过神经网络对图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在图像数据上的坐标信息；在虚拟模型中确定各目标区域对应的位置信息，包括：基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息。
[0017]因此，通过神经网络对图像数据进行划分，得到目标区域及其在图像数据上的坐标信息，再基于坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，从而能够基于准确的坐标信息提高各目标区域在虚拟模型中对应的位置信息的精准度，减少融合错位的现象发生。
[0018]其中，图像数据包括至少两个的位姿，基于各目标区域及其在图像数据上的坐标信息以及图像数据的位姿确定各目标区域在虚拟模型中对应的位置信息，包括：基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息；基于位置信息在虚拟模型内的各目标区域对应添加虚拟内容，包括：基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容。
[0019]因此，基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；再基于匹配关系确定各目标区域在虚拟模型中对应的三维位置信息，从而能够基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容，进而提高虚拟模型上各目标区域的准确划分。
[0020]其中，基于三维位置信息在虚拟模型内的各目标区域对应添加虚拟内容，包括：基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效。
[0021]因此，基于三维位置信息在虚拟模型内的各目标区域对应添加三维虚拟特效，来提高三维虚拟特征对位的精准度。
[0022]其中，获取到待融合区域的图像数据之前，包括：通过训练样本对初始网络进行训练；响应于初始网络对训练样本的各目标区域的划分的准确率满足预设准确率，则停止训练，得到神经网络。
[0023]因此，在进行虚实融合之前，通过训练样本对初始网络进行训练的到神经网络，能够提高神经网络对图像数据中各目标区域进行划分的准确率，并减少人工划分的工作量。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现虚实融合的方法，其特征在于，包括：获取到待融合区域的图像数据；对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域；基于所述图像数据构建所述待融合区域的虚拟模型；确定所述各目标区域在所述虚拟模型中对应的位置信息；基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，以对所述待融合区域的各目标区域进行虚实融合。2.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述基于所述图像数据构建所述待融合区域的虚拟模型，包括：对所述图像数据进行特征提取，得到待融合区域的虚拟地图；基于所述图像数据和所述虚拟地图对所述待融合区域进行三维重建，得到所述待融合区域的虚拟模型。3.根据权利要求2所述的实现虚实融合的方法，其特征在于，所述对所述图像数据进行特征提取，得到待融合区域的虚拟地图，包括：对多张所述图像数据进行特征提取，得到各图像数据的特征点；对各图像数据的特征点进行特征点匹配，得到各图像数据的特征点之间的对应关系；基于所述各图像数据的位姿以及对所述对应关系对所述特征点进行三角化，以构建所述虚拟地图。4.根据权利要求2所述的实现虚实融合的方法，其特征在于，所述基于所述图像数据和所述虚拟地图对所述待融合区域进行三维重建，得到所述待融合区域的虚拟模型，包括：对所述图像数据和所述虚拟地图进行深度估计，生成图像深度图，并将所述图像深度图融合成点云；基于所述点云生成所述虚拟模型。5.根据权利要求4所述的实现虚实融合的方法，其特征在于，所述图像数据包括至少两个的位姿，所述对所述图像数据和所述虚拟地图进行深度估计，生成图像深度图，并将所述图像深度图融合成点云，包括：分别对至少两个位姿的图像数据和所述虚拟地图进行深度估计，生成至少两个图像深度图，并分别将至少两个图像深度图对应融合成至少两个点云；将至少两个点云进行整合，得到所述待融合区域的稠密点云；所述基于所述点云生成所述虚拟模型，包括：基于所述稠密点云生成包括稠密点云和/或网格的虚拟模型。6.根据权利要求1所述的实现虚实融合的方法，其特征在于，所述对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域，包括：通过神经网络对所述图像数据中待融合区域进行划分，得到待融合区域的各目标区域及其在所述图像数据上的坐标信息；所述在所述虚拟模型中确定所述各目标区域对应的位置信息，包括：基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息。
7.根据权利要求6所述的实现虚实融合的方法，其特征在于，所述图像数据包括至少两个的位姿，所述基于各目标区域及其在所述图像数据上的坐标信息以及所述图像数据的位姿确定所述各目标区域在所述虚拟模型中对应的位置信息，包括：基于各目标区域在至少两个位姿对应的图像数据上的坐标信息确定各相同目标区域在至少两个位姿对应的图像数据上的匹配关系；基于所述匹配关系确定所述各目标区域在所述虚拟模型中对应的三维位置信息；所述基于所述位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容，包括：基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容。8.根据权利要求7所述的实现虚实融合的方法，其特征在于，所述基于所述三维位置信息在所述虚拟模型内的各目标区域对应添加虚拟内容...

【专利技术属性】
技术研发人员：简艺，孙红亮，王子彬，李炳泽，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：