用于神经渲染的多核系统技术方案

本发明专利技术描述了一种图像渲染系统，其包括通过数据总线耦合到特征提取单元和颜色渲染单元的预处理单元。预处理单元生成沿着与待渲染图像的像素相对应的相机光线的采样点的空间坐标的向量表示。特征提取单元通过第一机器学习模型基于采样点的向量表示、颜色值和强度值生成图像的特征图。颜色渲染单元通过第二机器学习模型基于特征图来渲染图像。第一机器学习模型不同于第二机器学习模型。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术总体上涉及用于图像渲染的计算系统。更具体地，本专利技术涉及一种用于执行基于神经网络的图像渲染的多核计算系统。

技术介绍

1、机器学习模型(诸如神经网络)在推进成像应用方面取得了令人印象深刻的进展。例如，已经开发的各种机器学习模型用来改进图像分类、物体检测/识别、图像分割等。最近，人们开发了基于神经辐射场(nerf)的图像渲染技术，可以从新颖的视点渲染照片般真实的图像。例如，神经辐射场可以被编码到诸如神经网络的机器学习模型中。这个机器学习模型可以用包括图像的训练数据集来训练，编码神经辐射场中点的密度和颜色值。一旦被训练(即，编码)，机器学习模型就可以基于沿着输入到机器学习模型中的相机光线的点的空间坐标来输出点的密度和颜色值。基于密度和颜色值，可以确定像素的颜色值(即，rgb值)，并且可以渲染图像。通常，基于神经辐射场渲染图像在计算上是繁重的。尽管存在专注于加速神经网络计算的硬件加速器或处理器，但是这些解决方案主要用于加速卷积神经网络。因此，这些解决方案不适合于加速用神经辐射场编码的神经网络。因此，当前的硬件解决方案不适合实时或接近实时的基于神经辐射本文档来自技高网...

【技术保护点】

1.一种用于渲染图像的计算系统，其特征在于，包括：

2.根据权利要求1所述的计算系统，其特征在于，所述特征图的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。

3.根据权利要求1所述的计算系统，其特征在于，所述特征图包括粗糙图像，并且所述粗糙图像的第一信噪比(SNR)低于所述渲染图像的第二信噪比(SNR)。

4.根据权利要求3所述的计算系统，其特征在于，所述渲染图像包括所述粗糙图像中不存在的高频特征。

5.根据权利要求1所述的计算系统，其特征在于，所述第一机器学习模型为多层感知机。

6.根据权利要求1所述的计算系统，...

【技术特征摘要】
【国外来华专利技术】

1.一种用于渲染图像的计算系统，其特征在于，包括：

2.根据权利要求1所述的计算系统，其特征在于，所述特征图的第一信噪比(snr)低于所述渲染图像的第二信噪比(snr)。

3.根据权利要求1所述的计算系统，其特征在于，所述特征图包括粗糙图像，并且所述粗糙图像的第一信噪比(snr)低于所述渲染图像的第二信噪比(snr)。

4.根据权利要求3所述的计算系统，其特征在于，所述渲染图像包括所述粗糙图像中不存在的高频特征。

5.根据权利要求1所述的计算系统，其特征在于，所述第一机器学习模型为多层感知机。

6.根据权利要求1所述的计算系统，其特征在于，所述第二机器学习模型为卷积神经网络。

7.根据权利要求1所述的计算系统，其特征在于，所述特征提取单元包括多个第一处理器。

8.根据权利要求7所述的计算系统，其特征在于，所述多个第一处理器中的每一个包括：

9.根据权利要求8所述的计算系统，其特征在于，所述两个存储模块交替存储与所述第一机器学习模型的层相关联的输入数据和输出数据。

10.根据权利要求9所述的计算系统，其特征在于，所述第一处理器核包括乘法阵列、一个或多个累加阵列及本地高速缓存，其中：

11.根据权利要求8所述的计算系统，其特征在于，所述第一处理器核为与中央处理器、图形处理器或现场可编程门阵列中的至少一个相关联的计算...

【专利技术属性】
技术研发人员：饶朝林，吴旻烨，娄鑫，周平强，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：