【技术实现步骤摘要】
所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利技术的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本专利技术的技术方案，但是，本领域技术人员容易理解的是，本专利技术的保护范围显然不局限于这些具体实施方式。在不偏离本专利技术的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本专利技术的保
技术介绍
1、薄物体或部分、细小物体或部分、位置受限物体或部分（比如在角落、距离相机较远）、视角受限物体或部分（比如相机角度导致某些物体出现位置受限问题）、光照受限物体或部分（因物体受到的光线太弱导致的模糊问题）、叠加受限物体或部分（比如同时细小、在暗处的角落，且距离相机很远）等，这些物体或部分称为弱视对象。在利用神经辐射场进行三维重建或新视角合成时，弱视对象很容易出现渲染问题，比如被忽略、不清晰、丢失、产生错误等，从而无法得到良好的重建或新视图合成效果。
2、弱视对象渲染问题的根本原因是由于神经网络本身处理低频信息比高频信息的收敛速度更快，即便训练数据充足、训练时间充分，亦不能很好的解决这个问题。传统方法或仅改进神经网络的难以兼顾精确性和计算资源的优化。
3、为了解决这一问题，以更少的训练数据和更短的训练时长，更容易的捕获物体的高频信号，提出了一种新型采样策略，并通过神经辐射场和体渲染的方式渲染出来。
技术实现思路
1、为了解决现有技术中的上述问题，即现有技术中弱视对象很容易出现被忽略、不清晰、丢失、产生错误的问题，本专利技术提供了一种基于多种采样策略的神经辐射场渲染方法，所述方法包括：
2、步骤s1，将相机对准目标物体，并获取当前相机方向向量和相机参数；
3、步骤s2，通过相机和基于多种采样策略的神经辐射场渲染网络获取渲染信息，所述渲染信息包括目标物体的有符号距离场信息值、体密度值、颜色值、深度值和法线；
4、步骤s21，通过图像采集设备和采样渲染网络对目标物体以均匀采样的方式进行第一层采样和位置编码，获得第一层采样点集；
5、步骤s22，基于所述第一层采样点集通过特征提取网络计算第一层采样点集的特征图；
6、步骤s23，通过所述第一层采样点集的特征图和所述当前相机方向向量通过多分支渲染信息提取网络获取第一渲染信息，所述第一渲染信息包括第一有符号距离场信息值、第一体密度值、第一颜色值、第一深度值和第一法线；
7、步骤s24，根据所述第一渲染信息设置第二层采样密度，根据第二层采样密度对目标物体进行第二层采样和位置编码，获得第二层采样点集；
8、步骤s25，基于所述第二层采样点集通过特征提取网络计算第二层采样点集的特征图；
9、步骤s26，通过所述第二层采样点集的特征图和所述当前相机方向向量通过多分支渲染信息提取网络获取第二渲染信息，所述第二渲染信息包括第二有符号距离场信息值、第二体密度值、第二颜色值、第二深度值和第二法线；
10、第一渲染信息和第二渲染信息构成所述渲染信息；
11、步骤s3，基于所述渲染信息获取设定视角的高分辨率视图或高分辨率三维重建模型。
12、进一步的，所述基于多种采样策略的神经辐射场渲染网络，具体包括：
13、采样渲染网络、特征提取网络和多分支渲染信息提取网络；
14、所述采样渲染网络，包括采样模块和位置编码单元；
15、所述特征提取网络，基于设置跳跃连接的第一多层感知机构建；
16、所述多分支渲染信息提取网络，为并行的体密度获取支路、颜色获取支路、深度获取支路和法线获取支路；所述体密度获取支路包括第二多层感知机；所述颜色获取支路包括位置编码单元和第三多层感知机；所述深度获取支路包括位置编码单元和第四多层感知机；所述法线获取支路包括位置编码单元和第五多层感知机。
17、本方案通过设置染网络、特征提取网络和多分支渲染信息提取网络能够自动地对目标物体的信息进行分析，且通过不同采样密度的采样模块，对于不同的位置分配了不同的采样精度，在保留了整体精度的同时更好的还原了弱视对象的细节。本方案提出的网络结构通过有符号距离场信息生成体密度，相较于传统的神经辐射场网络提高了体密度值的精度。相较于传统的神经辐射场网络，本方案的网络除了生成颜色值外还同时生成了深度值和发现，以便后续通过损失函数进一步对网络的整体效果进行优化。
18、进一步的，所述第一多层感知机，包括8个隐藏层，每个隐藏层包括256个通道，通过跳跃连接的方式连接第一多层感知机的输入端和第4层隐藏层。
19、本专利技术的第一多层感知机，通过跳跃连接的方式将浅层的采样渲染图像直接送至第一多层感知机的深层隐藏层，解决了多层感知机训练效率低的问题，最终训练好的多层感知机的信息处理能力得到了提高。
20、进一步的，所述步骤s23，包括：
21、步骤s231，将所述第一层采样点集的特征图输入体密度获取支路；
22、将所述第一层采样点集的特征图与所述当前相机方向向量，分别输入并行的颜色获取支路、深度获取支路和法线获取支路；
23、步骤s232，通过位置编码单元将所述当前相机方向向量进行编码获得方向编码向量；
24、步骤s233，基于所述第一层采样点集的特征图，通过第二多层感知机获取第一有符号距离场信息值，进而获取第一体密度值；
25、基于所述第一层采样点集的特征图和所述方向编码向量，分别通过所述第三多层感知机、第四多层感知机和第五多层感知机获取第一颜色值、第一深度值和第一法线。
26、本专利技术通过三个结构相同但参数不同的网络，分别针对要获取的不同信息进行单独的计算，能够对弱视对象和普通对象都获取全面的信息本文档来自技高网...
【技术保护点】
1.一种基于多种采样策略的神经辐射场渲染方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多种采样策略的神经辐射场渲染方法，所述基于多种采样策略的神经辐射场渲染网络，具体包括：
3.根据权利要求2所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述步骤S23，包括：
4.根据权利要求1所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述根据所述第一渲染信息设置第二层采样密度，包括：重要性采样模式和弱视采样模式中的一种或并行的两种。
5.根据权利要求4所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述重要性采样模式具体为：
6.根据权利要求5所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述弱视采样模式具体为，根据第一深度值，对图像采集设备的像素发射射线的像素点设置第二层采样密度，进行弱视采样，获得弱视采样点 ：
7.根据权利要求6所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述基于多种采样策略的神经辐射场渲染网络，其训练方法包括：
8.根
9.根据权利要求7所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述深度损失、法线损失、光滑损失 、光程损失和颜色损失具体为：
10.一种基于多种采样策略的神经辐射场渲染系统，其特征在于，所述系统包括：
11.一种电子设备，其特征在于，包括：
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-9任一项所述的基于多种采样策略的神经辐射场渲染方法。
...【技术特征摘要】
1.一种基于多种采样策略的神经辐射场渲染方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多种采样策略的神经辐射场渲染方法，所述基于多种采样策略的神经辐射场渲染网络，具体包括：
3.根据权利要求2所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述步骤s23，包括：
4.根据权利要求1所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述根据所述第一渲染信息设置第二层采样密度，包括：重要性采样模式和弱视采样模式中的一种或并行的两种。
5.根据权利要求4所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述重要性采样模式具体为：
6.根据权利要求5所述的基于多种采样策略的神经辐射场渲染方法，其特征在于，所述弱视采样模式具体为，根据第一深度值，对图像采集设备的像素发射射线的像素点设置第二层采样...
【专利技术属性】
技术研发人员：方顺，张志恒，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。