【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及用于图像渲染的计算系统。更具体地，本专利技术涉及一种用于执行基于神经网络的图像渲染的多核计算系统。
技术介绍
1、机器学习模型(诸如神经网络)在推进成像应用方面取得了令人印象深刻的进展。例如，已经开发的各种机器学习模型用来改进图像分类、物体检测/识别、图像分割等。最近，人们开发了基于神经辐射场(nerf)的图像渲染技术，可以从新颖的视点渲染照片般真实的图像。例如，神经辐射场可以被编码到诸如神经网络的机器学习模型中。这个机器学习模型可以用包括图像的训练数据集来训练，编码神经辐射场中点的密度和颜色值。一旦被训练(即，编码)，机器学习模型就可以基于沿着输入到机器学习模型中的相机光线的点的空间坐标来输出点的密度和颜色值。基于密度和颜色值，可以确定像素的颜色值(即，rgb值)，并且可以渲染图像。通常，基于神经辐射场渲染图像在计算上是繁重的。尽管存在专注于加速神经网络计算的硬件加速器或处理器，但是这些解决方案主要用于加速卷积神经网络。因此，这些解决方案不适合于加速用神经辐射场编码的神经网络。因此，当前的硬件解决方案不适合实时或接近实时的基于神经辐射场的图像渲染应用。需要更好的解决方案。
技术实现思路
1、本专利技术描述了一种图像渲染系统，其包括通过数据总线耦合到特征提取单元和颜色渲染单元的预处理单元。预处理单元可产生沿着与待渲染图像的像素相对应的相机光线的采样点的空间坐标的向量表示。特征提取单元可以通过第一机器学习模型基于点的向量表示、颜色值和强度值生成图像的特征图。颜色渲
2、在一些实施例中，特征图的第一信噪比(snr)低于渲染图像的第二信噪比(snr)。
3、在一些实施例中，特征图包括粗糙图像，并且粗糙图像的第一信噪比(snr)低于渲染图像的第二信噪比(snr)。
4、在一些实施例中，渲染图像包括粗糙图像中不存在的高频特征。
5、在一些实施例中，其中，第一机器学习模型为多层感知机。
6、在一些实施例中，第二机器学习模型可以为卷积神经网络。
7、在一些实施例中，特征提取单元可以包括多个第一处理器。
8、在一些实施例中，多个第一处理器中的每一个可以包括耦合到两个存储模块和参数存储模块的第一处理器核。第一处理器核可以执行与第一机器学习模型相关联的矩阵运算。两个存储模块可以存储与第一机器学习模型相关联的输入数据和输出数据。参数存储模块可以存储与第一机器学习模型相关联的参数。
9、在一些实施例中，两个存储模块可以交替存储与第一机器学习模型的层相关联的输入数据和输出数据。
10、在一些实施例中，第一处理器核可以包括乘法阵列、一个或多个累加阵列和本地高速缓存。乘法阵列和一个或多个累加阵列可以执行与第一机器学习模型的层相关联的矩阵乘法运算。本地高速缓存可以存储与矩阵乘法运算相关联的部分和。
11、在一些实施例中，第一处理器核可以为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算单元。
12、在一些实施例中，颜色渲染单元可以包括多个第二处理器。
13、在一些实施例中，多个第二处理器中的每一个可以包括耦合到存储模块和参数存储模块的第二处理器核。第二处理器核可以执行与第二机器学习模型相关联的矩阵运算。存储模块可以存储与第二机器学习模型相关联的输入数据和输出数据。参数存储模块可以存储与第二机器学习模型相关联的参数。
14、在一些实施例中，存储模块可以存储与第二机器学习模型的层相关联的输入数据和输出数据。
15、在一些实施例中，第二处理器核可以包括乘法阵列和一个或多个累加阵列。乘法阵列和一个或多个累加阵列可以执行与第二机器学习模型的层相关联的矩阵乘法运算。与矩阵乘法运算相关联的部分和存储在存储模块中。
16、在一些实施例中，第二主处理器可以为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算单元。
17、在参考附图考虑以下说明书和所附权利要求时，本文公开的装置、系统、方法和非暂时性计算机可读介质的这些和其他特征，以及结构的相关元件的运算方法和功能以及部件的组合和制造的经济性将变得更加明显，所有附图形成本说明书的一部分，其中相同的附图标记表示各个附图中的对应部分。然而，应当清楚地理解，附图仅用于说明和描述目的，并不旨在限定本专利技术的范围。
本文档来自技高网...【技术保护点】
1.一种用于渲染图像的计算系统，其特征在于，包括：
2.根据权利要求1所述的计算系统，其特征在于，所述特征图的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。
3.根据权利要求1所述的计算系统，其特征在于，所述特征图包括粗糙图像，并且所述粗糙图像的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。
4.根据权利要求3所述的计算系统，其特征在于，所述渲染图像包括所述粗糙图像中不存在的高频特征。
5.根据权利要求1所述的计算系统，其特征在于，所述第一机器学习模型为多层感知机。
6.根据权利要求1所述的计算系统，其特征在于，所述第二机器学习模型为卷积神经网络。
7.根据权利要求1所述的计算系统，其特征在于，所述特征提取单元包括多个第一处理器。
8.根据权利要求7所述的计算系统，其特征在于，所述多个第一处理器中的每一个包括：
9.根据权利要求8所述的计算系统，其特征在于，所述两个存储模块交替存储与所述第一机器学习模型的层相关联的输入数据和输出数据。
10.根据
11.根据权利要求8所述的计算系统，其特征在于，所述第一处理器核为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算单元。
12.根据权利要求1所述的计算系统，其特征在于，所述颜色渲染单元包括多个第二处理器。
13.根据权利要求12所述的计算系统，其特征在于，所述多个第二处理器中的每一个包括：
14.根据权利要求13所述的计算系统，其特征在于，所述存储模块存储与所述第二机器学习模型的层相关联的输入数据和输出数据。
15.根据权利要求14所述的计算系统，其特征在于，所述第二处理器核包括乘法阵列和一个或多个累加阵列，其中，所述乘法阵列和所述一个或多个累加阵列执行与所述第二机器学习模型的所述层相关联的矩阵乘法运算；并且其中，与所述矩阵乘法运算相关联的部分和存储在所述存储模块中。
16.根据权利要求13所述的计算系统，其特征在于，所述第二处理器核为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算单元。
17.一种图像渲染系统，其特征在于，包括：
18.根据权利要求17所述的图像渲染系统，其特征在于，所述特征图的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。
19.根据权利要求17所述的图像渲染系统，其特征在于，所述特征图包括粗糙图像，并且所述粗糙图像的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。
20.根据权利要求19所述的图像渲染系统，其特征在于，所述渲染图像包括所述粗糙图像中不存在的高频特征。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于渲染图像的计算系统，其特征在于，包括：
2.根据权利要求1所述的计算系统，其特征在于，所述特征图的第一信噪比(snr)低于所述渲染图像的第二信噪比(snr)。
3.根据权利要求1所述的计算系统，其特征在于，所述特征图包括粗糙图像，并且所述粗糙图像的第一信噪比(snr)低于所述渲染图像的第二信噪比(snr)。
4.根据权利要求3所述的计算系统，其特征在于，所述渲染图像包括所述粗糙图像中不存在的高频特征。
5.根据权利要求1所述的计算系统，其特征在于，所述第一机器学习模型为多层感知机。
6.根据权利要求1所述的计算系统，其特征在于，所述第二机器学习模型为卷积神经网络。
7.根据权利要求1所述的计算系统，其特征在于，所述特征提取单元包括多个第一处理器。
8.根据权利要求7所述的计算系统，其特征在于，所述多个第一处理器中的每一个包括：
9.根据权利要求8所述的计算系统，其特征在于，所述两个存储模块交替存储与所述第一机器学习模型的层相关联的输入数据和输出数据。
10.根据权利要求9所述的计算系统，其特征在于，所述第一处理器核包括乘法阵列、一个或多个累加阵列及本地高速缓存，其中：
11.根据权利要求8所述的计算系统，其特征在于，所述第一处理器核为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算...
【专利技术属性】
技术研发人员：饶朝林，吴旻烨，娄鑫，周平强，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。