三维场景建模方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种三维场景建模方法、装置、电子设备及可读存储介质，所述三维场景建模方法包括：获取目标三维场景的全局三维地图以及至少一张二维场景图；根据全局三维地图对各二维场景图进行重定位，确定各二维场景图中二维特征点与全局三维地图中三维地图点之间的位置映射关系；将各二维场景图转换为图像嵌入向量，依据各图像嵌入向量对各二维场景图进行聚类，构建各二维场景图共同对应的目标图像检索树；依据目标图像检索树和位置映射关系，将全局三维地图划分为各局部三维地图；根据目标图像检索树和各局部三维地图，定位目标三维场景下的二维场景图，以对目标三维场景进行三维场景建模。本申请解决了利用三维场景建模实时性差的技术问题。时性差的技术问题。时性差的技术问题。

【技术实现步骤摘要】
三维场景建模方法、装置、电子设备及可读存储介质


[0001]本申请涉及三维建模
，尤其涉及一种三维场景建模方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前在进行三维场景建模时，通常是先采集离线场景数据，然后依据离线场景数据完成三维场景重建，得到重建模型，而在重建模型中进行位置定位时，需要将当前特征点的描述子与重建模型中所有特征点的描述子进行比对，从而完成特征点的位置定位，但是当实际场景较大时，重建模型中特征点的数量较多，因此使用重建模型进行特征点位置定位所消耗的时间较多，无法满足三维场景建模的实时性要求。

技术实现思路

[0003]本申请的主要目的在于提供一种三维场景建模方法、装置、电子设备及可读存储介质，旨在解决利用三维场景建模实时性差的技术问题。
[0004]为实现上述目的，本申请提供一种三维场景建模方法，所述三维场景建模方法包括：
[0005]获取目标三维场景的全局三维地图以及至少一张二维场景图；
[0006]根据所述全局三维地图对各所述二维场景图进行重定位，确定各所述二维场景图中二维特征点与所述全局三维地图中三维地图点之间的位置映射关系；
[0007]将各所述二维场景图转换为对应的图像嵌入向量，依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树；
[0008]依据所述目标图像检索树和所述位置映射关系，将所述全局三维地图划分为各局部三维地图；
[0009]根据所述目标图像检索树和各所述局部三维地图，定位所述目标三维场景下的二维场景图，以对所述目标三维场景进行三维场景建模。
[0010]可选地，所述目标图像检索树至少包括根节点，所述根节点对应各所述二维场景图，所述依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树的步骤包括：
[0011]依据各所述图像嵌入向量，对所述根节点对应的所有二维场景图进行聚类，得到至少一个第一图像聚类类别；
[0012]根据各所述第一图像聚类类别，分裂所述根节点，得到至少一个子节点，其中，所述子节点与所述第一图像聚类类别相对应；
[0013]依据所述子节点对应的各图像嵌入向量，对所述子节点对应的所有二维场景图进行聚类，得到至少一个第二图像聚类类别；
[0014]根据各所述第二图像聚类类别，判断所述子节点是否满足预设节点分裂条件；
[0015]若所述子节点满足预设节点分裂条件，则继续分裂所述子节点，直至分裂得到的
子节点不满足预设节点分裂条件，得到所述目标图像检索树。
[0016]可选地，所述依据各所述图像嵌入向量，对所述根节点对应的所有二维场景图进行聚类，得到至少一个第一图像聚类类别的步骤包括：
[0017]依据各所述二维场景图的采集时序信息，将各所述二维场景图划分为至少一个图像分类类别；
[0018]依据各所述图像嵌入向量，计算所述图像分类类别对应的图像类别中心；
[0019]根据各所述图像嵌入向量与所述图像类别中心之间的距离，对各所述二维场景图进行聚类，得到至少一个图像聚类类别。
[0020]可选地，所述根据各所述第二图像聚类类别，判断所述子节点是否满足预设节点分裂条件的步骤包括：
[0021]获取所述第二图像聚类类别对应的聚类类别中心，计算所述图像聚类类别对应的各图像嵌入向量至所述聚类类别中心的类内距离；
[0022]若所述子节点对应的二维场景图数量大于预设图像数量阈值或者对应的最大类内距离大于预设类内距离阈值，则判定所述子节点满足预设节点分裂条件；
[0023]若所述子节点对应的二维场景图数量不大于预设图像数量阈值且对应的最大类内距离不大于预设类内距离阈值，则判定所述子节点不满足预设节点分裂条件。
[0024]可选地，在所述将各所述二维场景图转换为对应的图像嵌入向量，依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树的步骤之后，所述三维场景建模方法还包括：
[0025]获取新增二维场景图对应的新增图像嵌入向量，将所述图像检索树的根节点作为所述新增图像嵌入向量的当前对应节点；
[0026]获取所述当前对应节点的各子节点对应的预设聚类类别中心，在各所述预设聚类类别中心中查找与所述新增图像嵌入向量距离最近的目标聚类中心；
[0027]将所述目标聚类中心对应的子节点重新作为所述新增图像嵌入向量的当前对应节点；
[0028]返回执行步骤：获取所述当前对应节点的各子节点对应的预设聚类类别中心，在各所述预设聚类类别中心中查找与所述新增图像嵌入向量距离最近的目标聚类中心，直至检测到所述当前对应节点为所述图像检索树中叶子节点的父节点；
[0029]在所述图像检索树中生成所述新增二维场景图对应的新增叶子节点，所述新增叶子节点为所述当前对应节点的子节点。
[0030]可选地，所述依据所述目标图像检索树和所述位置映射关系，将所述全局三维地图划分为各局部三维地图，包括：
[0031]通过遍历所述目标图像检索树，查询归属于同一预设上层节点的各目标叶子节点；
[0032]获取各所述目标叶子节点对应的目标二维场景图，根据所述位置映射关系，确定各所述目标二维场景图中二维特征点对应的目标三维地图点；
[0033]将各所述目标三维地图点保存为所述局部三维地图。
[0034]可选地，所述三维场景建模方法还包括：
[0035]当新增二维场景图重定位成功后，根据重定位位姿，确定所述新增二维场景图中
二维特征点在所述局部三维地图中的匹配三维地图点，并更新各所述匹配三维地图点的匹配次数；
[0036]在所述新增二维场景图中确定未匹配到所述局部三维地图中三维地图点的未匹配二维特征点；
[0037]在所述局部三维地图中添加所述未匹配二维特征点对应的新增三维地图点，并记录所述新增三维地图点的匹配次数；
[0038]获取所述局部三维地图的当前总访问次数以及当前总地图点数量；
[0039]若所述当前总访问次数和所述当前总地图点数量满足预设动态更新条件，则根据所述局部三维地图中各三维地图点的匹配次数，对所述局部三维地图中各三维地图点进行选择性删减，以动态更新所述局部三维地图。
[0040]本申请还提供一种三维场景建模装置，所述三维场景建模装置包括：
[0041]获取模块，用于获取目标三维场景的全局三维地图以及至少一张二维场景图；
[0042]重定位模块，用于根据所述全局三维地图对各所述二维场景图进行重定位，确定各所述二维场景图中二维特征点与所述全局三维地图中三维地图点之间的位置映射关系；
[0043]检索树构建模块，用于将各所述二维场景图转换为对应的图像嵌入向量，依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景建模方法，其特征在于，所述三维场景建模方法包括：获取目标三维场景的全局三维地图以及至少一张二维场景图；根据所述全局三维地图对各所述二维场景图进行重定位，确定各所述二维场景图中二维特征点与所述全局三维地图中三维地图点之间的位置映射关系；将各所述二维场景图转换为对应的图像嵌入向量，依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树；依据所述目标图像检索树和所述位置映射关系，将所述全局三维地图划分为各局部三维地图；根据所述目标图像检索树和各所述局部三维地图，定位所述目标三维场景下的二维场景图，以对所述目标三维场景进行三维场景建模。2.如权利要求1所述三维场景建模方法，其特征在于，所述目标图像检索树至少包括根节点，所述根节点对应各所述二维场景图，所述依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树的步骤包括：依据各所述图像嵌入向量，对所述根节点对应的所有二维场景图进行聚类，得到至少一个第一图像聚类类别；根据各所述第一图像聚类类别，分裂所述根节点，得到至少一个子节点，其中，所述子节点与所述第一图像聚类类别相对应；依据所述子节点对应的各图像嵌入向量，对所述子节点对应的所有二维场景图进行聚类，得到至少一个第二图像聚类类别；根据各所述第二图像聚类类别，判断所述子节点是否满足预设节点分裂条件；若所述子节点满足预设节点分裂条件，则继续分裂所述子节点，直至分裂得到的子节点不满足预设节点分裂条件，得到所述目标图像检索树。3.如权利要求2所述三维场景建模方法，其特征在于，所述依据各所述图像嵌入向量，对所述根节点对应的所有二维场景图进行聚类，得到至少一个第一图像聚类类别的步骤包括：依据各所述二维场景图的采集时序信息，将各所述二维场景图划分为至少一个图像分类类别；依据各所述图像嵌入向量，计算所述图像分类类别对应的图像类别中心；根据各所述图像嵌入向量与所述图像类别中心之间的距离，对各所述二维场景图进行聚类，得到至少一个图像聚类类别。4.如权利要求2所述三维场景建模方法，其特征在于，所述根据各所述第二图像聚类类别，判断所述子节点是否满足预设节点分裂条件的步骤包括：获取所述第二图像聚类类别对应的聚类类别中心，计算所述图像聚类类别对应的各图像嵌入向量至所述聚类类别中心的类内距离；若所述子节点对应的二维场景图数量大于预设图像数量阈值或者对应的最大类内距离大于预设类内距离阈值，则判定所述子节点满足预设节点分裂条件；若所述子节点对应的二维场景图数量不大于预设图像数量阈值且对应的最大类内距离不大于预设类内距离阈值，则判定所述子节点不满足预设节点分裂条件。5.如权利要求1所述三维场景建模方法，其特征在于，在所述将各所述二维场景图转换
为对应的图像嵌入向量，依据各所述图像嵌入向量对各所述二维场景图进行聚类，构建各所述二维场景图共同对应的目标图像检索树的步骤之后，所述三维场景建模方法还包括：获取新增二维场景图对应的新增图像嵌入向量，将所述图像检索树的根节点作为所述新增图像嵌入向量的当前对应节点；获取所述当前对应节点的各子节点对应的预设聚类类别中心，在各所述预设聚类类别中心中...

【专利技术属性】
技术研发人员：胡良军，罗德海，苏宗涛，王乐，廖智勇，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：