虚拟场景的构建方法技术

本申请属于人工智能技术领域，具体涉及一种虚拟场景的构建方法

【技术实现步骤摘要】
虚拟场景的构建方法、装置、介质及电子设备


[0001]本申请属于人工智能
，具体涉及一种虚拟场景的构建方法
、
虚拟场景的构建装置
、
计算机可读介质
、
电子设备以及计算机程序产品
。

技术介绍

[0002]随着计算机和网络技术的发展，通过虚拟场景构建可以将现实生活中的现实场景内容转移到线上呈现，在三维地图
、
游戏
、
智慧城市建设等各种领域具有极其广泛的应用
。
然而，由于现实场景内容纷繁复杂且数量庞大，虚拟场景构建过程普遍存在计算成本高
、
构建效率低等问题
。

技术实现思路

[0003]本申请提供一种虚拟场景的构建方法
、
虚拟场景的构建装置
、
计算机可读介质
、
电子设备以及计算机程序产品，目的在于降低虚拟场景构建的计算成本
。
[0004]根据本申请实施例的一个方面，提供一种虚拟场景的构建方法，该方法包括：获取由预设的图像采集位点对现实场景进行图像采集得到的场景图像，所述现实场景包括一个或多个实体对象，所述图像采集点位于所述实体对象的上方；对所述场景图像进行特征提取，得到所述场景图像的视觉特征图，并从所述视觉特征图中裁剪得到对应于各个所述实体对象的局部特征图；根据所述局部特征图预测所述实体对象的顶部轮廓以及所述顶部轮廓相对于所述实体对象的底部区域的偏移信息；根据所述顶部轮廓和所述偏移信息生成与所述实体对象相对应的虚拟对象，并根据所述虚拟对象构建与所述现实场景相对应的虚拟场景
。
[0005]根据本申请实施例的一个方面，提供一种虚拟场景的构建装置，该装置包括：获取模块，被配置为获取由预设的图像采集位点对现实场景进行图像采集得到的场景图像，所述现实场景包括一个或多个实体对象，所述图像采集点位于所述实体对象的上方；裁剪模块，被配置为对所述场景图像进行特征提取，得到所述场景图像的视觉特征图，并从所述视觉特征图中裁剪得到对应于各个所述实体对象的局部特征图；预测模块，被配置为根据所述局部特征图预测所述实体对象的顶部轮廓以及所述顶部轮廓相对于所述实体对象的底部区域的偏移信息；构建模块，被配置为根据所述顶部轮廓和所述偏移信息生成与所述实体对象相对应的虚拟对象，并根据所述虚拟对象构建与所述现实场景相对应的虚拟场景
。
[0006]在本申请的一些实施例中，基于以上技术方案，所述裁剪模块进一步包括：特征获取模块，被配置为获取所述视觉特征图中各个图像位点的视觉特征以及与所述视觉特征相对应的位置特征；特征编码模块，被配置为对所述视觉特征和所述位置特征进行编码处理，得到特
征融合后的编码特征；特征解码模块，被配置为根据多个包围盒对所述编码特征进行解码处理，得到各个所述包围盒的位置分布信息，所述位置分布信息用于表示所述包围盒在所述视觉特征图中的分布位置以及被所述包围盒所包围的图像区域的尺寸；特征聚合模块，被配置为在所述视觉特征图中对所述包围盒包围的视觉特征进行特征聚合处理，得到对应于各个所述实体对象的局部特征图
。
[0007]在本申请的一些实施例中，基于以上技术方案，所述特征编码模块进一步被配置为：将所述视觉特征与所述位置特征的融合特征作为查询向量和索引向量输入预先训练的自注意力模块；将所述视觉特征作为值向量输入所述自注意力模块；在所述自注意力模块中对所述查询向量
、
所述索引向量和所述值向量进行编码处理，得到特征融合后的编码特征
。
[0008]在本申请的一些实施例中，基于以上技术方案，所述特征解码模块进一步被配置为：初始化对应于所述多个包围盒的多个查询单词，所述查询单词用于表示所述包围盒的初始位置分布信息；对所述查询单词
、
所述位置特征以及所述编码特征进行解码处理，得到所述包围盒的目标位置分布信息
。
[0009]在本申请的一些实施例中，基于以上技术方案，所述特征解码模块进一步被配置为：根据所述编码特征和所述查询单词调整多个所述包围盒的位置分布关系，得到用于表示多个所述包围盒的全局位置分布信息的中间特征；根据所述编码特征
、
所述位置特征
、
所述查询单词以及所述中间特征调整各个所述包围盒与所述视觉特征的位置分布关系，得到所述包围盒的目标位置分布信息
。
[0010]在本申请的一些实施例中，基于以上技术方案，所述特征解码模块进一步被配置为：将所述查询单词作为查询向量和索引向量输入预先训练的自注意力模块；将所述编码特征作为值向量输入所述自注意力模块；在所述自注意力模块中对所述查询向量
、
所述索引向量和所述值向量进行解码处理，得到用于表示多个所述包围盒的全局位置分布信息的中间特征
。
[0011]在本申请的一些实施例中，基于以上技术方案，所述特征解码模块进一步被配置为：将所述中间特征与所述查询单词的融合特征作为查询向量输入预先训练的交叉注意力模块；将所述编码特征与所述位置特征的融合特征作为索引向量输入所述交叉注意力模块；将所述编码特征作为值向量输入所述交叉注意力模块；在所述交叉注意力模块中对所述查询向量
、
所述索引向量和所述值向量进行解码处理，得到所述包围盒的目标位置分布信息
。
[0012]在本申请的一些实施例中，基于以上技术方案，所述特征解码模块进一步被配置为：对所述场景图像进行内容识别，得到所述实体对象在所述场景图像中的分布区域；根据所述分布区域的尺寸信息以及所述场景图像的尺寸信息预测所述现实场景中分布的实体对象的数量；根据所述现实场景中分布的实体对象的数量确定用于裁剪所述视觉特征图的包围盒的数量，所述包围盒的数量大于所述现实场景中分布的实体对象的数量
。
[0013]在本申请的一些实施例中，基于以上技术方案，所述特征聚合模块进一步被配置为：将所述包围盒映射至所述视觉特征图，得到被所述包围盒所包围的局部区域；按照将所述局部区域划分为多个具有相同尺寸的区域网格；在每个所述区域网格内选取均匀分布的
多个采样点，对每个所述采样点周围的图像位点的特征值进行双线性插值处理，得到所述采样点的特征值；根据所述多个采样点的特征值确定所述区域网格的特征值，并根据看多个所述区域网格的特征值确定对应于所述包围盒的实体对象的局部特征图
。
[0014]在本申请的一些实施例中，基于以上技术方案，所述预测模块进一步被配置为：对所述局部特征图进行特征提取，得到特征深度依次增加的多个浅层特征图；对所述浅层特征图进行特征还原，得到特征深度依次减少的多个深层特征图；对具有相同特征深度的浅层特征图和深层特征图进行拼接处理和特征还原处理，得到所述局部特征图的分割语义特征；根据所述分割语义特征预测所述实体对象的顶部轮廓
。
[0015]在本申请的一些实施例中，基于以上技术方案，所述偏移信息包括偏移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟场景的构建方法，其特征在于，包括：获取由预设的图像采集位点对现实场景进行图像采集得到的场景图像，所述现实场景包括一个或多个实体对象，所述图像采集点位于所述实体对象的上方；对所述场景图像进行特征提取，得到所述场景图像的视觉特征图，并从所述视觉特征图中裁剪得到对应于各个所述实体对象的局部特征图；根据所述局部特征图预测所述实体对象的顶部轮廓以及所述顶部轮廓相对于所述实体对象的底部区域的偏移信息；根据所述顶部轮廓和所述偏移信息生成与所述实体对象相对应的虚拟对象，并根据所述虚拟对象构建与所述现实场景相对应的虚拟场景
。2.
根据权利要求1所述的虚拟场景的构建方法，其特征在于，从所述视觉特征图中裁剪得到对应于各个所述实体对象的局部特征图，包括：获取所述视觉特征图中各个图像位点的视觉特征以及与所述视觉特征相对应的位置特征；对所述视觉特征和所述位置特征进行编码处理，得到特征融合后的编码特征；根据多个包围盒对所述编码特征进行解码处理，得到各个所述包围盒的位置分布信息，所述位置分布信息用于表示所述包围盒在所述视觉特征图中的分布位置以及被所述包围盒所包围的图像区域的尺寸；在所述视觉特征图中对所述包围盒包围的视觉特征进行特征聚合处理，得到对应于各个所述实体对象的局部特征图
。3.
根据权利要求2所述的虚拟场景的构建方法，其特征在于，对所述视觉特征和所述位置特征进行编码处理，得到特征融合后的编码特征，包括：将所述视觉特征与所述位置特征的融合特征作为查询向量和索引向量输入预先训练的自注意力模块；将所述视觉特征作为值向量输入所述自注意力模块；在所述自注意力模块中对所述查询向量
、
所述索引向量和所述值向量进行编码处理，得到特征融合后的编码特征
。4.
根据权利要求2所述的虚拟场景的构建方法，其特征在于，根据多个包围盒对所述编码特征进行解码处理，包括：初始化对应于所述多个包围盒的多个查询单词，所述查询单词用于表示所述包围盒的初始位置分布信息；对所述查询单词
、
所述位置特征以及所述编码特征进行解码处理，得到所述包围盒的目标位置分布信息
。5.
根据权利要求4所述的虚拟场景的构建方法，其特征在于，对所述查询单词
、
所述位置特征以及所述编码特征进行解码处理，包括：根据所述编码特征和所述查询单词调整多个所述包围盒的位置分布关系，得到用于表示多个所述包围盒的全局位置分布信息的中间特征；根据所述编码特征
、
所述位置特征
、
所述查询单词以及所述中间特征调整各个所述包围盒与所述视觉特征的位置分布关系，得到所述包围盒的目标位置分布信息
。6.
根据权利要求5所述的虚拟场景的构建方法，其特征在于，根据所述编码特征和所述
查询单词调整多个所述包围盒的位置分布关系，得到用于表示多个所述包围盒的全局位置分布信息的中间特征，包括：将所述查询单词作为查询向量和索引向量输入预先训练的自注意力模块；将所述编码特征作为值向量输入所述自注意力模块；在所述自注意力模块中对所述查询向量
、
所述索引向量和所述值向量进行解码处理，得到用于表示多个所述包围盒的全局位置分布信息的中间特征
。7.
根据权利要求5所述的虚拟场景的构建方法，其特征在于，根据所述编码特征
、
所述位置特征
、
所述查询单词以及所述中间特征调整各个所述包围盒与所述视觉特征的位置分布关系，得到所述包围盒的目标位置分布信息，包括：将所述中间特征与所述查询单词的融合特征作为查询向量输入预先训练的交叉注意力模块；将所述编码特征与所述位置特征的融合特征作为索引向量输入所述交叉注意力模块；将所述编码特征作为值向量输入所述交叉注意力模块；在所述交叉注意力模块中对所述查询向量
、

【专利技术属性】
技术研发人员：张云东，尚鸿，孙钟前，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：