图像处理系统以及产生超分辨率影像的方法技术方案

本申请揭露一种图像处理系统。图像处理系统包括第一处理单元和存储器。第一处理单元接收包括多个物体的三维场景、依据物体与视角之间的距离产生深度图、依据深度图绘制从视角观察到的场景的正常分辨率影像，并将深度信息附加到正常分辨率影像以产生正常分辨率影像层。正常分辨率影像层包括三个颜色信道和一个alpha信道，其中，正常分辨率影像的每一像素的多个颜色值是储存在正常分辨率影像层的三个颜色信道中，而且正常分辨率影像各像素的第一深度值是储存在正常分辨率影像层的alpha信道中。存储器用以储存所述正常分辨率影像层。中。存储器用以储存所述正常分辨率影像层。中。存储器用以储存所述正常分辨率影像层。

【技术实现步骤摘要】
图像处理系统以及产生超分辨率影像的方法


[0001]本申请所揭示内容是关于一种图像处理系统，尤其是关于一种产生超分辨率(super
‑
resolution)影像的图像处理系统。

技术介绍

[0002]随着消费者对于电子装置所提供的视觉效果的期望越来越高，电子装置时常需要支持各种图像处理运算，例如三维(3D)场景绘图、超分辨率影像、高动态范围(High dynamic range，HDR)影像等。为提高图像处理的速度，电子产品时常是配备图形处理单元(Graphics processing unit，GPU)或其他类型的图像处理器。当使用GPU进行特定类型的图像处理(如产生超分辨率影像)时，由于GPU可得到更多图形信息(如深度信息)，因此能够输出质量较高的超分辨率影像。然而，在此情况下，由于GPU所输出的影像相当大，因此GPU可能需要长时间占用大量的存储器以便将影像储存在存储器中，从而导致图像处理系统的硬件效率很差。因此，如何在维护影像质量的同时能够更有效率地处理影像，已成为待解决的问题。

技术实现思路

[0003]本申请的一实施例提供一种图像处理系统。图像处理系统包含第一处理单元及存储器。第一处理单元配置成接收包含复数个物体的三维场景、依据所述多个物体与视角之间的距离产生深度图、依据所述深度图绘制(render)从所述视角观察到的所述场景的正常分辨率影像、将深度信息附加到所述正常分辨率影像以产生正常分辨率影像层，并且输出所述正常分辨率影像层。所述正常分辨率影像层包含三个颜色信道和一个alpha信道，所述正常分辨率影像具有复数像素且每一像素的复数个颜色值储存在所述正常分辨率影像层的三个颜色信道中，且所述正常分辨率影像的所述多个像素的复数个第一深度值储存在所述正常分辨率影像层的alpha信道中。存储器配置成储存所述正常分辨率影像层。
[0004]本申请的另一实施例提供一种产生超分辨率影像的方法。所述方法包含由第一处理单元接收包含复数个物体的三维场景，由所述第一处理单元依据所述多个物体与视角之间的距离产生深度图，由所述第一处理单元依据所述深度图绘制从所述视角观察到的所述场景的正常分辨率影像，由所述第一处理单元将深度信息附加到所述正常分辨率影像以产生正常分辨率影像层，由所述第一处理单元输出所述正常分辨率影像层，其中，所述正常分辨率影像层包含三个颜色信道和一个alpha信道，所述正常分辨率影像具有复数个像素且每一像素的复数个颜色值储存在所述正常分辨率影像层的三个颜色信道中，所述正常分辨率影像的所述多个像素的复数个第一深度值储存在所述正常分辨率影像层的alpha信道中；由第二处理单元取出所述正常分辨率影像层，以及由所述第二处理单元依据至少所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值产生超分辨率影像。
[0005]由于本申请的实施例所提供的图像处理系统以及产生超分辨率影像的方法，可使用第一处理单元绘制正常分辨率影像，再将绘制影像过程所使用的深度信息附加到正常分
辨率影像层，因此正常分辨率影像的颜色值和深度值这两者都会供给第二处理单元上运作的类神经网络模型而能产生质量较佳的超分辨率影像。此外，由于深度值附加到影像层中的alpha信道，因此无需额外的数据存取操作，因而也可改善系统的硬件效率。
附图说明
[0006]当结合附图阅读时，从以下实施方式更好理解本揭露的方面。应注意，根据行业中的标准实践，各种结构不按比例绘制。事实上，为清晰论述，各种结构的尺寸可任意增加或减小。
[0007]图1显示依据本申请的一实施例的图像处理系统。
[0008]图2显示产生超分辨率影像的方法的流程图。
[0009]图3显示依据本申请的一实施例的三维(three
‑
dimensional)场景。
[0010]图4显示依据本申请的一实施例的正常分辨率影像层。
[0011]图5显示图1中产生超分辨率影像和超分辨率影像层的第二处理单元。
具体实施方式
[0012]以下的描述是与附图搭配，这些附图并入本说明书中而构成本说明书的一部分，并且例示本申请的实施例，但本申请并不限于这些实施例。此外，以下所述的实施例可经适当整合而成为另一个实施例。
[0013]“一个实施例”、“一实施例”、“示范实施例”、“其他实施例”、“另一个实施例”等所参照的是指该实施例包含特定功能、结构或特性，但是并非每个实施例都需要包含该特定功能、结构或特性。再者，在重复使用“在该实施例内”一词时，指的虽有可能是参考相同实施例，但并非必须是参考相同实施例。
[0014]为了使本申请可被完整地理解，以下说明中将提供详细的步骤和结构。显然，本申请的实施方式并不用以限定专业技术人士已知的特殊细节。另外，本申请对已知的结构和步骤不再做详细说明，以避免造成本申请非必要的限制。本申请的较佳实施例将于下面详细说明。然而，除了详细说明之外，本申请还可在其他实施例中广泛实现。本申请领域并不受限于该等详细说明，而是由权利要求书所定义。
[0015]图1显示依据本申请的一实施例的图像处理系统100。图像处理系统100包括第一处理单元110和第二处理单元120。在本申请实施例中，第一处理单元110可绘制(render)三维场景的影像IMG1，并将绘制过程用到的深度信息附加到影像IMG1以产生影像层LY1，且第二处理单元120随后可依据影像层LY1中所储存的颜色信息和深度信息产生超分辨率影像IMG2。
[0016]再者，在本申请实施例中，第二图像处理单元120所产生的超分辨率影像IMG2的分辨率会高于第一图像处理单元110所产生的影像IMG1的分辨率。因此，在一些实施例中，由第一图像处理单元110所产生的影像IMG1可指称为“正常分辨率影像”(normal
‑
resolution image)，以便使影像IMG1能够与由第二处理单元120所产生的超分辨率影像IMG2相区别。
[0017]由于第二处理单元120可依据正常分辨率影像层LY1中所储存的颜色信息和深度信息产生超分辨率影像IMG2，因此第二处理单元120还能够产生高质量的超分辨率影像IMG2。举例来说，借由深度信息，可更容易地找到影像IMG1所显示的各物体的边界，因此在
放大正常分辨率影像IMG1以形成超分辨率影像IMG2时，第二处理单元120可以达到更好反锯齿(anti
‑
aliasing)效果。然而，本申请所揭示内容不限于此。在一些其他实施例中，第二处理单元120可以包括类神经网络模型，例如人工智能深度学习模型，且正常分辨率影像层LY1中所储存的颜色信息和深度信息可提供做为所述类神经网络模型的输入数据。借由输入不同类型的信息(如所述颜色信息和所述深度信息)，便可使第二处理单元120的类神经网络模型受到较佳的训练而进化得更加完善，从而改良所得到的超分辨率影像的质量。
[0018]再者，在一些实施例中，第一处理单元110可为图形处理单元(GPU)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理系统，其特征在于，包括：第一处理单元，其配置成接收包括多个物体的三维场景、依据所述多个物体与视角之间的距离产生深度图、依据所述深度图绘制从所述视角观察到的所述场景的正常分辨率影像、将深度信息附加到所述正常分辨率影像以产生正常分辨率影像层，并且输出所述正常分辨率影像层，其中，所述正常分辨率影像层包括三个颜色信道和一个alpha信道，所述正常分辨率影像具有多个像素且每一像素的多个颜色值是储存在所述正常分辨率影像层的所述三个颜色信道中，所述正常分辨率影像的所述多个像素的多个第一深度值是储存在所述正常分辨率影像层的所述alpha信道中；及存储器，其配置成储存所述正常分辨率影像层。2.根据权利要求1所述的图像处理系统，其中所述第一处理单元是图形处理单元。3.根据权利要求1所述的图像处理系统，其中，还包括第二处理单元，其配置成从所述存储器读取所述正常分辨率影像层，并且依据至少所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值产生超分辨率影像。4.根据权利要求3所述的图像处理系统，其中在产生所述超分辨率影像之后，所述第二处理单元进一步产生包括三个颜色信道和一个alpha信道的超分辨率影像层，其中，所述超分辨率影像具有多个像素，且每一像素的多个颜色值是由所述第二处理单元储存在所述超分辨率影像层的所述三个颜色信道中，所述第二处理单元还将所述超分辨率影像的所述多个像素各自具有的相同alpha值储存在所述超分辨率影像层的所述alpha信道中。5.根据权利要求3所述的图像处理系统，其中所述第二处理单元是显示处理单元，其另配置成在显示设备显示所述超分辨率影像之前，依据所述显示设备的特性调整所述超分辨率影像的所述多个颜色值。6.根据权利要求3所述的图像处理系统，其中所述第二处理单元是配置成用所述正常分辨率影像层中所储存的所述多...

【专利技术属性】
技术研发人员：姜志伟，
申请(专利权)人：英属维京群岛商烁星有限公司，
类型：发明
国别省市：