一种三维重建和神经渲染网络的改进方法技术

本发明专利技术公开了一种三维重建和神经渲染网络的改进方法，包括二维视图特征提取、特征匹配、模型分解、单视图神经渲染网络、多视图神经渲染网络、商品三维建模方案流程。本发明专利技术的有益效果是：利用FastNeRF与PixelNeRF两者的优点，在NeRF基础上进行深度优化，提出了完整的网络结构，使得此模型实现推理速度快、视图输入数量少、泛化性强的特点；对于NeRF较低的计算效率，FastNeRF能够在终端消费级GPU上渲染200Hz的高保真逼真图像，该方法的速度是原始NeRF算法的3000倍；此外，PixelNeRF目的是在已知极少视角时也能很好地合成新视角，极大的提高了模型的泛化性。高了模型的泛化性。高了模型的泛化性。

【技术实现步骤摘要】
一种三维重建和神经渲染网络的改进方法


[0001]本专利技术涉及一种神经渲染方法，具体为一种三维重建和神经渲染网络的改进方法，属于基于软件
‑
三维建模的神经渲染


技术介绍

[0002]在这个数字与媒体相结合、高新技术日新月异的智能时代，人们的需求也越来越多。近年来三维模型广泛应用于各行各业，例如应用于测绘测量、地理信息系统、教学展示、城市规划、建筑建设、游戏制作、智慧城市、智慧景区、古文物数字化存档保护等。三维建模技术方便了人们的生活，并且让人们有了更好的体验，三维重建应用十分广泛，在影像娱乐方面，可以重建物体，得到三维模型，可以用来3D打印或用人体来驱动做一些有趣的应用；对于虚拟试衣，对人体重建后才能根据不同人体的胖瘦高矮自动适配不同尺码的衣服；在智能家居方面，现在的诸多购物APP，可以用来放置虚拟家具看和自己家里的调性是否匹配，通过实际尺寸确定家具是否放得下；在文物重建、AR旅游方面，目前很多博物馆或旅游景点都已经有了类似的产品，比如AR游西湖等；在自动驾驶方面，可以构建高精地图；对于大场景三维重建，可以做到虚拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建和神经渲染网络的改进方法，其特征在于：包括以下步骤：步骤一、二维视图特征提取，NeRF方法需要已知观察视角的图片作为输入并且需要花费大量的训练时间；PixelNeRF允许网络跨多个场景被训练以学习先前的场景，即获取场景的先验知识，使其能够以前馈的方式从稀疏的视图集执行新的视图合成；PixelNeRF在NeRF网络前添加了一个全卷积的图像编码器，用于将图像按像素编码为沿像素对准的特征网络，其中，NeRF为神经辐射场，是一种生成复杂场景新视图的方法，构造一个隐式的渲染流程；步骤二、特征匹配，在取得所输入视角，这些点所对应的特征后，为了知道世界坐标上点在输入视角上的投影，需要将该点坐标转换至相机空间，根据归一化之后的坐标在特征图采样对应特征；步骤三、模型分解，本质上NeRF是一个将三维的位置p和二维表示的方向d转化为一个三维的颜色c和标量密度σ的方程，在这之中，密度仅取决于位置，而颜色则取决于位置和方向；FastNeRF的基本思想是牺牲一部分缓存来提高计算的效率，减少渲染所需时间；将NeRF分解为两个神经网络：一个产生深度辐射图的位置依赖网络和一个产生权重的方向依赖网络，权重和深辐射图的内积估计了场景中在指定位置和从指定方向看到的颜色；FastNeRF架构可以被高效缓存，在保持NeRF的视觉质量的同时，显著提升了测试时间效率；步骤四、单视图神经渲染网络，模型是将二维输入视角特征和分解网络相结合，模型由两部分构成，第一部分是步骤一和步骤二中的输入图像按像素编码为沿像素对准的特征网络，第二部分则是步骤三中的分解为两个适合缓存的神经网络，用于缓存空间坐标信息和对应的编码特征，输出颜色和密度值；步骤五、多视图神经渲染网络，对于输入多张视图，按单视图渲染方法独立地处理每个视图坐标帧中的坐标和相应的特征，然后通过每张视图所得到的渲染结果求均值的方式聚合，并传递到一个MLP中，得到预测的密度和颜色，最后最小化与真实值之间的均方差；步骤六、商品三维建模方案流程，将改进后的网络结构应用到商品三维建模中，首先进行数据提交，输入3
‑
4张二维商品模型，商品每个角度各一张图片，要求图片背景尽量简洁清晰最好以白底为主；然后将图片进行预处理；将处理好的图片传入模型中进行三维建模和神经渲染；最后将生成的三维商品上传到app中供消费者查看。2.根据权利要求1所述的改进方法，其特征在于：所述步骤一中，PixelNeRF采用预训练ResNet34用于提取特征图片特征，而在最开始的7x7大核卷积层中用3个3x3小卷积核...

【专利技术属性】
技术研发人员：党凤月，任振宁，李会朋，
申请(专利权)人：山东汇川物联科技有限公司，
类型：发明
国别省市：