稀疏地图优化方法、设备及存储介质技术

本申请公开了一种稀疏地图优化方法、设备及存储介质，该方法包括步骤：在构建场景地图时，获取稀疏地图；基于所述稀疏地图，估计稠密深度；基于所述稠密深度，对所述稀疏地图进行优化，以完善所述稀疏地图中地图点的深度信息。本申请在构建场景地图时，并不构建稠密地图，而是通过稠密深度对稀疏地图进行优化，以完善稀疏地图中地图点的深度信息，从而在未构建稠密地图的情况下，稀疏地图也能够有和稠密地图一样的深度信息，进而在保证场景地图的精度的情况下，降低内存开销。降低内存开销。降低内存开销。

【技术实现步骤摘要】
稀疏地图优化方法、设备及存储介质


[0001]本申请涉及AR/VR领域，尤其涉及一种稀疏地图优化方法、设备及存储介质。

技术介绍

[0002]随着AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)技术的发展，人们对场景地图的构建提出了更高的要求。
[0003]目前，场景地图基于SFM(Structure from motion,运动恢复结构)进行构建，具体地，首先使用SFM构建场景的稀疏地图以及恢复相机的位姿，再将稀疏地图和位姿输入相关处理平台，得到精细化的稠密地图，由此完成对场景地图的构建。然而，由于稠密地图的数据量较大，导致在构建场景地图时，内存开销大。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种稀疏地图优化方法、设备及存储介质，旨在降低在构建场景地图时的内存开销。
[0005]为实现上述目的，本申请提供一种稀疏地图优化方法，所述方法包括：
[0006]在构建场景地图时，获取稀疏地图；
[0007]基于所述稀疏地图，估计稠密深度；
[0008]基于所述稠密深度，对所述稀疏地图进行优化，以完善所述稀疏地图中地图点的深度信息。
[0009]示例性的，所述基于所述稀疏地图，估计稠密深度，包括：
[0010]基于所述稀疏地图，初始化第一构建图像中的像素点对应的切平面，得到初始切平面；所述第一构建图像用于构建所述稀疏地图；
[0011]基于所述初始切平面的聚合代价，确定目标切平面；
[0012]基于所述目标切平面中的第一图像深度，确定稠密深度。
[0013]示例性的，所述基于所述初始切平面的聚合代价，确定目标切平面，包括：
[0014]基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新；
[0015]若迭代更新的次数达到预设次数，则确定迭代后的初始切平面为目标切平面；
[0016]若所述次数未达到预设次数，则返回基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新步骤。
[0017]示例性的，所述基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新，包括：
[0018]获取所述初始切平面对应的像素点的邻域像素点，并获取所述邻域像素点对应的邻域切平面的聚合代价；
[0019]若所述邻域切平面的聚合代价小于所述初始切平面的聚合代价，则替换所述初始切平面为所述邻域切平面；
[0020]在预设范围内，随机生成平面参数调整量，并基于所述平面参数调整量，调整替换
后的初始切平面的平面参数。
[0021]示例性的，所述基于所述目标切平面中的第一图像深度，确定稠密深度，包括：
[0022]融合所述目标切平面中的第一图像深度和相邻帧中的第二图像深度，得到稠密深度；所述相邻帧为图像序列或视频序列中、与所述第一构建图像相邻的帧，所述第二图像深度为所述相邻帧中所述像素点的同名点的图像深度。
[0023]示例性的，所述基于所述稠密深度，对所述稀疏地图进行优化，包括：
[0024]替换所述稀疏地图中地图点的地图点深度为所述稠密深度；
[0025]基于替换后的地图点深度，重新计算所述地图点的位置，得到优化后的稀疏地图。
[0026]示例性的，所述获取稀疏地图，包括：
[0027]获取地图构建数据；
[0028]若未存在初始地图，则基于所述地图构建数据，构建初始地图；
[0029]若存在初始地图，则基于视觉重定位和所述地图构建数据，对所述初始地图进行继续构建，得到更新后的初始地图；并确定是否存在新的地图构建数据；
[0030]若未存在新的地图构建数据，则确定所述更新后的初始地图为稀疏地图；
[0031]若存在新的地图构建数据，则返回所述基于视觉重定位和所述地图构建数据，对所述初始地图进行继续构建，得到更新后的初始地图步骤，直至未存在新的地图构建数据。
[0032]示例性的，所述基于视觉重定位和所述地图构建数据，对所述初始地图进行继续构建，得到更新后的初始地图，包括：
[0033]获取所述地图构建数据中第二构建图像的像素点的全局描述子；
[0034]基于所述全局描述子，从所述初始地图中匹配预设数量的三维图像；
[0035]获取所述第二构建图像的二维特征点的局部描述子，并从所述预设数量的三维图像中匹配三维特征点，得到特征点对；
[0036]基于所述特征点对，计算所述第二构建图像的位姿；
[0037]基于所述位姿和所述地图构建数据，对所述初始地图进行继续构建，得到更新后的初始地图。
[0038]此外，为实现上述目的，本申请还提供一种稀疏地图优化装置，所述装置包括：
[0039]获取模块，用于在构建场景地图时，获取稀疏地图；
[0040]估计模块，用于基于所述稀疏地图，估计稠密深度；
[0041]优化模块，用于基于所述稠密深度，对所述稀疏地图进行优化，以完善所述稀疏地图中地图点的深度信息。
[0042]此外，为实现上述目的，本申请还提供一种稀疏地图优化设备，所述稀疏地图优化设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的稀疏地图优化程序，所述稀疏地图优化程序被所述处理器执行时实现如上所述的稀疏地图优化方法的步骤。
[0043]此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有稀疏地图优化程序，所述稀疏地图优化程序被处理器执行时实现如上所述的稀疏地图优化方法的步骤。
[0044]与现有技术中，由于稠密地图的数据量较大，导致在构建场景地图时，内存开销大相比，本申请在构建场景地图时，获取稀疏地图；基于所述稀疏地图，估计稠密深度；基于所
述稠密深度，对所述稀疏地图进行优化，以完善所述稀疏地图中地图点的深度信息。本申请在构建场景地图时，并不构建稠密地图，而是通过稠密深度对稀疏地图进行优化，以完善稀疏地图中地图点的深度信息，从而在未构建稠密地图的情况下，稀疏地图也能够有和稠密地图一样的深度信息，进而在保证场景地图的精度的情况下，降低内存开销。
附图说明
[0045]图1是本申请稀疏地图优化方法第一实施例的流程示意图；
[0046]图2是本申请稀疏地图优化方法第一实施例涉及的图像中像素点和切平面的示意图；
[0047]图3a是本申请稀疏地图优化方法第一实施例涉及的一优化传播方向的原理示意图；
[0048]图3b是本申请稀疏地图优化方法第一实施例涉及的又一优化传播方向的原理示意图；
[0049]图4是本申请稀疏地图优化方法第一实施例涉及的一地图点的多帧视图示意图；
[0050]图5是本申请稀疏地图优化方法第一实施例涉及的稀疏地图的存储结构示意图；
[0051]图6是本申请稀疏地图优化方法第二实施例的流程示意图；
[0052]图7是本申请稀疏地图优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种稀疏地图优化方法，其特征在于，所述方法包括：在构建场景地图时，获取稀疏地图；基于所述稀疏地图，估计稠密深度；基于所述稠密深度，对所述稀疏地图进行优化，以完善所述稀疏地图中地图点的深度信息。2.如权利要求1所述的方法，其特征在于，所述基于所述稀疏地图，估计稠密深度，包括：基于所述稀疏地图，初始化第一构建图像中的像素点对应的切平面，得到初始切平面；所述第一构建图像用于构建所述稀疏地图；基于所述初始切平面的聚合代价，确定目标切平面；基于所述目标切平面中的第一图像深度，确定稠密深度。3.如权利要求2所述的方法，其特征在于，所述基于所述初始切平面的聚合代价，确定目标切平面，包括：基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新；若迭代更新的次数达到预设次数，则确定迭代后的初始切平面为目标切平面；若所述次数未达到预设次数，则返回基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新步骤。4.如权利要求3所述的方法，其特征在于，所述基于所述初始切平面的聚合代价，对所述初始切平面进行迭代更新，包括：获取所述初始切平面对应的像素点的邻域像素点，并获取所述邻域像素点对应的邻域切平面的聚合代价；若所述邻域切平面的聚合代价小于所述初始切平面的聚合代价，则替换所述初始切平面为所述邻域切平面；在预设范围内，随机生成平面参数调整量，并基于所述平面参数调整量，调整替换后的初始切平面的平面参数。5.如权利要求2所述的方法，其特征在于，所述基于所述目标切平面中的第一图像深度，确定稠密深度，包括：融合所述目标切平面中的第一图像深度和相邻帧中的第二图像深度，得到稠密深度；所述相邻帧为图像序列或视频序列中、与所述第一构建图像相邻的帧，所述第二图像深度为所述相邻帧中所述像素点的同名点的图像深度。6.如权利要求1所述的方法，其特征在于，所述基于所述稠密深度，对...

【专利技术属性】
技术研发人员：洪毅强，罗德海，许江毅，苏宗涛，陈志鹏，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：