【技术实现步骤摘要】
本专利技术涉及计算机视觉，计算机图形学技术，具体涉及一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法。
技术介绍
1、神经辐射场（neural radiance field，nerf）是一种视图合成技术。目前在神经辐射场基础上延伸出来的研究工作主要分为以下几类：（1）动态场景渲染；（2）遮挡场景渲染；（3）野外大场景渲染；（4）跨场景渲染；（5）稀疏输入场景渲染。然而，目前的这些工作中有些需要大量具有密集相机姿势的视图数据集作为训练集，有些仅仅使用小部分真实场景数据集与大量合成数据集，这些方式在实际应用中存在不足，例如：（1）大型数据集的收集任务是十分耗时和昂贵的；（2）实际应用场景中的视图大部分是无约束的；（3）合成数据集的噪声信息少，不利于模型在真实世界数据集上的纹理细节复现。因此，利用稀疏的视图实现对真实场景的写实渲染，将神经辐射场推广到跨场景应用上的泛化框架渐渐成为主流，以便在实用性方面做出突破。在实际应用中，稀疏视图约束对泛化性神经辐射场提出了新的挑战：一幅或者几幅视图的稀疏输入条件无法满足基础神经辐射场框架的要求，导致模型在稀疏输入的条件下出现过拟合或者产生严重的深度估计偏移问题，影响最终的渲染质量。这种由于稀疏输入导致的3d场景信息匮乏，影响到深度估计精度，进而严重影响着泛化性神经辐射场框架渲染质量的。目前，解决以上问题的方法可以被粗略地分为两类：（a）利用额外的正则化监督；（b）使用预训练的模型。正则化方式无需使用密集的视图输入进行训练，而是通过不断优化各场景，通过微调得到高质量的合成视图，避免过拟合导致的训练
2、近年来，神经辐射场技术在神经渲染领域取得了较大进展，一些研究人员将神经辐射场技术推广到使用稀疏输入的跨场景泛化性神经辐射场，为优化神经辐射场，打破其本身的局限性提供了新的可能，相关的研究论文有：[1]《ibrnet: learningmulti-viewimage-based rendering》，[2]《pixelnerf: neuralradiance fields from one or fewimages》，[3]《contranerf:generalizable neural radiance fields for synthetic-to-real novel view synthesis via contrastive learning》。论文[1]于2021年发表在计算机视觉与模式识别（computer vision and pattern recognition，cvpr）会议上，是一种基于稀疏视图插值的跨场景泛化性神经辐射场方法；论文[2]于2021年发表在计算机视觉与模式识别（computer vision and pattern recognition，cvpr）会议上，是一种基于完全卷积的跨场景泛化性神经辐射场方法；论文[3]于2023年发表在计算机视觉与模式识别（computer vision and pattern recognition，cvpr）会议上，是一种基于几何感知学习的跨场景泛化性神经辐射场方法，主要解决从合成视图到真实世界视图应用时的伪影现象。上述这些泛化性神经辐射场方法的核心思想是，将神经辐射场推广到跨场景应用中，提高训练效率和视图渲染质量。
3、因此，现有的跨场景泛化性神经辐射场方法在现实应用中仍然面临以下挑战：（1）现有的泛化性神经辐射场新视图渲染方法在训练期间，使用的是具有较强一致性约束的密集视图，难以满足元宇宙、数字孪生、文化遗产的数字化保护、虚拟现实和增强现实等领域的应用需求；（2）现基于正则化和预训练方式的泛化性神经辐射场方法，要么需要大量额外的训练资源，要么需要耗费大量训练时间，这与泛化性的轻量性目标以及高效的内涵背道而驰；（3）现有基于泛化性神经辐射场的视图渲染方法过于依赖简单的特征连接或者使用transformer进行无限度的特征增强，而忽略了跨场景交互特征信息的作用，进而难以获得高质量的纹理细节信息。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法。
2、技术方案：本专利技术的一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，包括以下步骤：
3、s1、构建捆绑特征提取模块buf提取视图特征，具体方法为：对于视图数据集的各个视图，先使用轻量级特征金字塔梯度网络（feature pyramid network，fpn）提取原图或者分辨率下的粗粒度全局特征；之后使用二维卷积神经网络（convolutionalneural networks，cnn）提取原图和分辨率下的细粒度局部特征，采用由粗到细的增量化方式分别提取个视图数据集在、和分辨率下的采样卷积特征集合，将简称为；
4、其中，表示视图数据集的视图数量，表示原图像分辨率的比率，表示视图的序号，表示第个视图在分辨率下的卷积特征；此处通过捆绑特征提取模块buf轻量化整个训练模型，使得模型更加高效，减轻了内存占用与计算资源消耗的负担；
5、s2、利用混合交叉感知机制（hybrid cross-perception mechanism，scc）处理视图数据集中的个匹配对，聚合跨视图交互信息，具体过程如下：
6、对依赖于视图的特征和不依赖于单个视图的跨视图交互特征进行聚合处理，得到混合特征；
7、其中，是指经过捆绑特征提取模块后得到的采样卷积特征集合的简称，是指将经过混合交叉感知机制进一步特征增强和处理过后的图像卷积特征数据；
8、由于每个视图与其可能的偏移视图都进行配对，并不指定配对视图，即得到了个视图匹配对和特征向量；和均表示视图的序号，表示视图数据集的视图数量，表示计算各视图之间的余旋相似性所使用的特征向量，为视角方向；
9、s3、构建多维级联混合交叉注意力模块来计算上下文特征信息，在混合交叉感知机制的多维级联过程中进行各级联模块之间的多粒度卷积特征馈送，每个级联模块将自身的粗细粒度采样卷积特征馈送给下一级联，为后期计算高分辨率特征及时补充上下文特征信息；
10、s4、相似性嵌入体渲染，将几何先验条件的余旋相似度作为显示匹配嵌入线索，嵌入到神经辐射场体渲染时使用的5d几何信本文档来自技高网...
【技术保护点】
1.一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于，所述步骤S2对于视图特征集合，在一个特定的视角方向，实行双线性采样，利用混合交叉感知机制SCC处理视图数据集中的个匹配对，聚合跨视图交互信息；
3.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于：所述步骤S3多维级联混合交叉注意力模块的每次级联过程均依次使用两个模块：混合交叉注意力模块CS和交叉注意力模块cross，所述混合交叉注意力模块CS包含自注意力层与交叉注意力层，使用交叉注意力层去平衡自注意力层；所述交叉注意力模块cross配合混合交叉注意力模块CS，更好的学习交互全局特征。
4.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于：所述步骤S4进行相似性嵌入体渲染的具体步骤为：
5.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于：所述步骤S5的详细计算步骤如下：
【技术特征摘要】
1.一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于，所述步骤s2对于视图特征集合，在一个特定的视角方向，实行双线性采样，利用混合交叉感知机制scc处理视图数据集中的个匹配对，聚合跨视图交互信息；
3.根据权利要求1所述的基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于：所述步骤s3多维级联混合交叉注意力模块的每次级联过程均依次使用两个模块：混...
【专利技术属性】
技术研发人员：曹明伟，王凤娜，黄宝龙，曹志伟，赵海峰，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。