一种基于语义属性的不可见场景表达方法及系统技术方案

本发明专利技术提出了一种基于语义属性的不可见场景表达方法及系统，涉及计算机视觉技术领域,在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图；本发明专利技术利用语义属性来建立已见场景和不可见场景之间的联系，将神经场景表达由单一的视觉模态扩展为视觉、文本双模态，利用语义信息实现了对不可见场景的表达，将场景表达泛化到没有视图的不可见场景，解决了目前场景表达方法中对视图依赖的问题。中对视图依赖的问题。中对视图依赖的问题。

【技术实现步骤摘要】
一种基于语义属性的不可见场景表达方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种基于语义属性的不可见场景表达方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]近年来，神经场景表达发展越来越快，在计算机视觉和图形学领域中的影响也越来越明显，由于实际的应用场景往往是会改变的，所以跨场景泛化是神经场景表达中的一个重要问题。
[0004]跨场景泛化方法可分为两类：全局泛化方法和局部泛化方法；全局泛化，是通过获取各个场景的全局表达特征并将其作为条件，输入到场景表达模型中进行解码，以实现各个场景的新视点合成，其中获取全局表达特征的方式可分为两种，第一种为平摊推理，如GQN、NeRF
‑
VAE；第二种为自动解码，如SRNs、LFNs。
[0005]第二类跨场景泛化方法是局部泛化，局部泛化是利用场景的局部属性来实现对新场景的表达，但也同样需要场景的部分视图及位姿，而且已有的视图越多，表达效果越好。
[0006]以上提到的跨场景泛化方法，都必须要有新场景在部分视角下的图像和位姿信息，属于可见场景之间的泛化表达，而对于没有任何视图和位姿信息的不可见场景，目前的方法都难以进行泛化表达。
[0007]因此，对不可见场景的精确泛化问题，是一个值得进一步研究的课题。

技术实现思路

[0008]为克服上述现有技术的不足，本专利技术提供了一种基于语义属性的不可见场景表达方法及系统，利用语义属性来建立已见场景和不可见场景之间的联系，将神经场景表达由单一的视觉模态扩展为视觉、文本双模态，利用语义信息实现了对不可见场景的表达，将场景表达泛化到没有视图的不可见场景，解决了目前场景表达方法中对视图依赖的问题。
[0009]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0010]本专利技术第一方面提供了一种基于语义属性的不可见场景表达方法；
[0011]一种基于语义属性的不可见场景表达方法，包括：
[0012]在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；
[0013]对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；
[0014]将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。
[0015]进一步的，所述场景表达网络基础模型，包括2D
‑
3D投影模块、场景表征函数、超网
络、可微分Ray Marching、像素生成器，以目标相机视角的参数和初始深度图为输入，输出场景的视图。
[0016]进一步的，所述语义映射网络,连接场景表达网络基础模型中的超网络,具体方式为：
[0017]将场景的语义描述向量，输入到语义映射网络中，得到场景的隐式编码；
[0018]通过超网络对隐式编码进行解码，得到场景表征函数的权重参数值。
[0019]进一步的，所述语义映射网络，由多层全连接神经网络组成。
[0020]进一步的，所述语义描述向量，包含场景中物体的种类、尺寸、位置、颜色及材质信息。
[0021]进一步的，还包括，在场景表达网络基础模型的像素生成器前，加入组合表达模块。
[0022]进一步的，所述组合表达模块，采用将单个多物体场景表达转化为多个并行单物体场景表达的组合式表达策略，通过输入并行的单物体场景语义描述向量，并获取并行单物体场景的场景表达向量，最后进行加权融合得到该多物体场景的场景表达向量。
[0023]本专利技术第二方面提供了一种基于语义属性的不可见场景表达系统。
[0024]一种基于语义属性的不可见场景表达系统，包括网络构建模块、网络训练模块和视图合成模块：
[0025]网络构建模块,被配置为：在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；
[0026]网络训练模块,被配置为：对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；
[0027]视图合成模块,被配置为：将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。
[0028]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种基于语义属性的不可见场景表达方法中的步骤。
[0029]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种基于语义属性的不可见场景表达方法中的步骤。
[0030]以上一个或多个技术方案存在以下有益效果：
[0031]本专利技术提出了一种基于语义属性的不可见场景表达方法，首次开始解决对完全不可见场景的精确泛化问题；在训练阶段，基于SRNs无监督学习框架，学习语义映射模块，将语义属性嵌入到可见场景对应的隐式场景表达中，建立语义属性空间与隐式场景表达空间之间的关联；在测试阶段，利用两者之间的关联，通过语义属性来实现对未见视图的合成，从而摆脱了对视图的依赖。
[0032]针对包含多个物体的未见场景表达高复杂性问题，本专利技术还提出了一种组合表达策略，将多物体场景的表达转化为多个并行的单物体场景的表达，减少了训练样本数量，提高了训练效率。
[0033]本专利技术利用语义属性来建立已见场景和不可见场景之间的联系，将神经场景表达由单一的视觉模态扩展为视觉、文本双模态，利用语义信息实现了对不可见场景的表达，将
场景表达泛化到没有视图的不可见场景，解决了目前场景表达方法中对视图依赖的问题。
[0034]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0036]图1为语义属性嵌入式场景表达网络结构图。
[0037]图2为第一个实施例的方法流程图。
[0038]图3为语义映射网络的流程示意图。
[0039]图4为组合表达模块的流程示意图。
[0040]图5为第二个实施例的系统结构图。
具体实施方式
[0041]下面结合附图与实施例对本专利技术作进一步说明。
[0042]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明；除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0043]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义属性的不可见场景表达方法，其特征在于，包括：在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。2.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述场景表达网络基础模型，包括2D
‑
3D投影模块、场景表征函数、超网络、可微分Ray Marching、像素生成器，以目标相机视角的参数和初始深度图为输入，输出场景的视图。3.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义映射网络,连接场景表达网络基础模型中的超网络,具体方式为：将场景的语义描述向量，输入到语义映射网络中，得到场景的隐式编码；通过超网络对隐式编码进行解码，得到场景表征函数的权重参数值。4.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义映射网络，由多层全连接神经网络组成。5.如权利要求3所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义描述向量，包含场景中物体的种类、尺寸、位置、颜色及材质信息。6.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，还...

【专利技术属性】
技术研发人员：王海霞，刘强，张华宇，卢晓，宋诗斌，张志伟，祝伟尧，张治国，陈禹沁，聂君，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：