【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及图像渲染。更特别地，本专利技术涉及用于进行基于神经网络的图像渲染的计算系统。
技术介绍
1、利用诸如神经网络的机器学习模型的图像渲染技术已被开发用于渲染高质量图像。例如，最近开发了基于多层感知器(mlp)的神经辐射场(nerf)技术以从新的视点(即，视角)渲染真实感图像。比如，三维成像空间中身体组织的nerf可以利用含有从多种视点描绘身体组织的医学图像(例如，ct扫描或mri图像)的训练数据集进行训练。一旦nerf被训练，就可以获得新视点的身体组织图像且可以渲染该身体组织图像。总体上，传统的图像渲染方法会有很大的缺点。首先，需要存储被渲染图像的计算资源与图像的分辨率成正比。例如，作为一个经验法则，被渲染图像的分辨率越高，被渲染图像的文件尺寸越大。其次，很多时候，取自患者的医学图像中会嵌入患者的个人识别信息。因此，由于医学图像被显式存储，患者隐私无法得到保护。因此，需要有更好的解决方案。
技术实现思路
1、本专利技术描述一种用于实时渲染二维图像的图像渲染系统。该图像渲染系统可以接收三维图像的隐式表示模型。图像渲染系统可以基于体素坐标构建基于隐式表示模型的三维图像。图像渲染系统可以基于用户输入在计算空间中旋转三维图像到某一方向。图像渲染系统可以基于旋转后的三维图像生成二维图像。
2、某些实施例中，隐式表示模型可以基于神经辐射场编码的神经网络。神经网络可以包括多层感知器。
3、某些实施例中，神经网络可以包括至少十五个神经层。每个神经层可以包括线性
4、某些实施例中，每个神经层可以具有256个神经元或512个神经元中的至少一个神经元。神经网络的第五神经层和第十一神经层可以具有512个神经元。至少两种密集连接可以连接到第五神经层和第十神经层。
5、某些实施例中，图像渲染系统可以基于用户输入生成计算空间中某一方向的三维图像。图像渲染系统可以生成一个或多个旋转矩阵以旋转三维图像。图像渲染系统可以基于一个或多个旋转矩阵在计算空间中旋转三维图像到该方向。
6、某些实施例中，用户输入可以包括用户定义的角度。
7、某些实施例中，二维图像可以近实时地生成。
8、某些实施例中，二维图像可以基于最大强度投影技术生成。
9、某些实施例中，最大强度投影技术可以包括确定与二维图像的像素关联的投影线，沿各投影线的路径确定具有最大强度值的三维图像的体素并利用沿投影线的路径的体素的最大强度值作为二维图像的像素的强度值。
10、某些实施例中，投影线基于二维图像的视点确定，并且其中投影线与三维图像的体素相交。
11、本专利技术公开的装置、系统、方法和非暂态计算机可读介质的这些和其他特征，以及操作方法、结构的相关元件的功能、各部分的组合和制造经济性将在结合附图并考虑到以下描述和所附权利要求时而变得更加明显，所有附图构成本说明书的一部分，其中，相似的标号表示各图中的相应部分。但是，应明确理解的是，附图只是为了图解和说明，并不作为本专利技术范围的界定。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中所述隐式表示模型基于用神经辐射场编码的神经网络，并且其中所述神经网络包括多层感知器。
3.根据权利要求2所述的计算机实现的方法，其中所述神经网络包括至少十五个神经层，其中每个神经层包括线性整流函数层，并且其中所述神经网络包括至少两种将所述神经网络的输入连接到至少两个神经层的密集连接。
4.根据权利要求3所述的计算机实现的方法，其中每个神经层具有256个神经元或512个神经元中的至少一个神经元，其中所述神经网络的第五神经层和第十一神经层具有512个神经元，并且其中所述至少两种密集连接连接到所述第五神经层和第十神经层。
5.根据权利要求1所述的计算机实现的方法，其中在所述计算空间中旋转所述三维图像到所述方向包括：
6.根据权利要求5所述的计算机实现的方法，其中所述用户输入包括用户定义角度。
7.根据权利要求1所述的计算机实现的方法，其中所述二维图像基于最大强度投影技术生成。
8.根据权利要求7所述的计算机实现的方法，其中所
9.根据权利要求8所述的计算机实现的方法，其中所述投影线基于所述二维图像的视点确定，并且其中所述投影线与所述三维图像的体素相交。
10.根据权利要求1所述的计算机实现的方法，其中所述隐式表示模型的尺寸小于所述三维图像的尺寸。
11.一种图像渲染系统，其包括：
12.根据权利要求11所述的图像渲染系统，其中所述隐式表示模型基于用神经辐射场编码的神经网络，并且其中所述神经网络包括多层感知器。
13.根据权利要求12所述的图像渲染系统，其中所述神经网络包括至少十五个神经层，其中每个神经层包括线性整流函数层，并且其中所述神经网络包括至少两种将所述神经网络的输入连接到至少两个神经层的密集连接。
14.根据权利要求13所述的图像渲染系统，其中每个神经层具有256个神经元或512个神经元中的至少一个神经元，其中所述神经网络的第五神经层和第十一神经层具有512个神经元，并且其中所述至少两种密集连接连接到所述第五神经层和第十神经层。
15.根据权利要求11所述的图像渲染系统，其中在所述计算空间中旋转所述三维图像到所述方向包括：
16.根据权利要求15所述的图像渲染系统，其中所述用户输入包括用户定义角度。
17.根据权利要求11所述的图像渲染系统，其中所述二维图像近实时地生成。
18.根据权利要求11所述的图像渲染系统，其中所述二维图像基于最大强度投影技术生成。
19.根据权利要求18所述的图像渲染系统，其中所述最大强度投影技术包括：确定与所述二维图像的像素关联的投影线；
20.根据权利要求19所述的图像渲染系统，其中所述投影线基于所述二维图像的视点确定，并且其中所述投影线与所述三维图像的体素相交。
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中所述隐式表示模型基于用神经辐射场编码的神经网络，并且其中所述神经网络包括多层感知器。
3.根据权利要求2所述的计算机实现的方法，其中所述神经网络包括至少十五个神经层，其中每个神经层包括线性整流函数层，并且其中所述神经网络包括至少两种将所述神经网络的输入连接到至少两个神经层的密集连接。
4.根据权利要求3所述的计算机实现的方法，其中每个神经层具有256个神经元或512个神经元中的至少一个神经元，其中所述神经网络的第五神经层和第十一神经层具有512个神经元，并且其中所述至少两种密集连接连接到所述第五神经层和第十神经层。
5.根据权利要求1所述的计算机实现的方法，其中在所述计算空间中旋转所述三维图像到所述方向包括：
6.根据权利要求5所述的计算机实现的方法，其中所述用户输入包括用户定义角度。
7.根据权利要求1所述的计算机实现的方法，其中所述二维图像基于最大强度投影技术生成。
8.根据权利要求7所述的计算机实现的方法，其中所述最大强度投影技术包括：确定与所述二维图像的像素关联的投影线；
9.根据权利要求8所述的计算机实现的方法，其中所述投影线基于所述二维图像的视点确定，并且其中所述投影线与所述三维图像的体素相交。
10.根据权利要求1所述的计算机实现的方法，其中所述隐式表示模型的尺寸小于所述三维图像的尺...
【专利技术属性】
技术研发人员：虞晶怡，张玉瑶，娄鑫，吴晴，饶朝林，杨佳文，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。