图像处理电路制造技术

本发明专利技术提供图像处理电路，包含至少一个处理单元，每一处理单元执行迭代调整图像增强的迭代，且包含：第一像素撷取模块按光栅扫描顺序输入第一图像的像素数据并撷取该第一图像的第一图像区块的像素数据；参考像素撷取模块按光栅扫描顺序输入参考图像的像素数据并撷取参考图像的参考图像区块的像素数据；误差计算模块根据第一图像的像素数据与参考图像的像素数据执行误差计算，产生与第一图像区块的特定像素有关的一个或多个迭代误差项；更新模块基于与特定像素有关的一个或多个迭代误差项更新特定像素，产生用于迭代的第一图像的更新版本。本发明专利技术在区块处理单元内执行迭代调整图像增强而不使用处理单元间的回馈路径，以节省数据访问的带宽需求。

【技术实现步骤摘要】
图像处理电路
本专利技术有关于例如用于退化图像的图像复原(restoration)/增强的图像处理， 且特别有关于用于基于区域的迭代调整的图像增强方法、图像增强装置及图像处理电路。
技术介绍
因为用于退化图像的图像复原/增强问题尚没有平凡(trivial)解，所以例如分辨率增强(也就是，插值)、去模糊(deblur)处理及噪声移除等问题，已成为一个难题。举例来说，假设gv是代表退化图像的退化图像向量而fv是代表原始图像的原始图像向量，通过退化模型，退化图像可描述如下gv = DBfv + η ；其中，B代表模糊矩阵，D代表次抽样矩阵,且Π代表噪声向量，而模糊矩阵B与噪声向量Π未知。
技术实现思路
有鉴于此，本专利技术提供了一种图像处理电路。本专利技术提供了一种图像处理电路，包含至少一个处理单元，处理单元的每一者用于执行迭代调整图像增强的迭代，处理单元的每一者包含第一像素撷取模块，用于按光栅扫描顺序输入第一图像的像素数据以及撷取第一图像的第一图像区块的像素数据；参考像素撷取模块，用于按光栅扫描顺序输入参考图像的像素数据以及撷取参考图像的参考图像区块的像素数据，其中关于参考图像的参考图像区块的相对位置与尺寸，对应于关于第一图像的第一图像区块的相对位置与尺寸；误差计算模块，用于根据第一图像的像素数据与参考图像的像素数据执行误差计算，以产生与第一图像区块的特定像素有关的一个或多个迭代误差项；以及更新模块，用于基于与特定像素有关的一个或多个迭代误差项更新特定像素，以产生用于迭代的第一图像的更新版 本。本专利技术提供的图像处理电路，在区块处理单元内执行迭代调整图像增强而不使用处理单元间的回馈路径，可节省数据访问的带宽需求。附图说明图1是根据本专利技术第一实施方式的用于基于区域的迭代调整的图像增强装置的示意图。图2是根据本专利技术一个实施方式的用于基于区域的迭代调整的图像增强方法的流程图。图3是根据本专利技术一个实施方式的图2所示的方法的实施细节的例子的示意图。图4是根据本专利技术一个实施方式的基于整个帧不分区块的方式进行迭代调整的图像增强装置的示意图。图5是根据图3所示的实施方式的一个变形，图4中所示的处理引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。图6是根据本专利技术第二实施方式的用于基于区域的迭代调整的图像增强装置的示意图。图7是根据本专利技术另一个实施方式的基于帧的用于迭代调整的图像增强装置的示意图。图8是根据图3中所示的实施方式的一个变形，图7中所示的处理引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。图9是根据图3中所示的实施方式的特定情况，图I或图6中所示的区块引擎与 DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。图10是应用于图9中所示的实施方式的多个区域中的一个的细节的示意图。图11是根据图9中所示的实施方式，图I或图6中所示的区块引擎与DRAM之间的某些数据流的序列的例子的示意图。图12是根据本专利技术的第三实施方式的DRAM与多个区块引擎之间的某些数据流的序列的例子的不意图。图13是图12中所示的多个区块引擎的某些操作的示意时序图。图14是根据本专利技术的第四实施方式的DRAM与多个区块引擎之间的某些数据流的序列的例子的不意图。图15是图14中所示的多个区块引擎的某些操作的示意时序图。图16是根据本专利技术一个实施方式的包含至少一个处理单元的图像处理电路的示意图。图17是图16中所示的实施方式中的待更新的特定像素的相对位置的示意图。图18是根据图16中所示的实施方式的特定情况的对称过滤机制的示意图。图19是根据图16中所示的实施方式的一个变形的包含多个处理单元的图像处理电路的不意图。具体实施方式在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属
的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提到的「包含」为开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。请参考图1，图I是根据本专利技术第一实施方式的用于基于区域的迭代调整的图像增强装置100的示意图，其中图像增强装置100包含用于存储图像数据的存储器，图像增强装置100更包含用于执行迭代调整图像增强的一个或多个区域引擎。根据本实施方式，存储器是动态随机访问存储器(dynamic random access memory,以下简称为DRAM)105,并且区域引擎是区块引擎。举例来说，本实施方式的图像增强装置100包含例如区块引擎110 的单个区域引擎。此描述只是用于说明本专利技术原理的目的，并不是作为本专利技术的限制。根CN 102982509 A书明说3/12 页据本实施方式的一个变形，图像增强装置100包含例如多个区块引擎的两个或多个区域引擎。根据本实施方式的另一个变形，存储器(例如DRAM 105)位于图像增强装置100之外。如图I所示，上述例如区块引擎110的区域引擎包含计算逻辑与寄存器单元112 (图中标示为“计算逻辑与寄存器单元”)，且此区域引擎更包含例如两个静态随机访问存储器(static random access memory,以下简称为SRAM)114与SRAM 116的多个区域缓冲器。 根据本实施方式，计算逻辑与寄存器单元112用于执行区域引擎的操作，更确切来说，计算逻辑与寄存器单元112用于执行迭代调整图像增强的操作。两个区域缓冲器SRAM 114与 SRAM 116用于在迭代之前/后存储数据。更确切来说，区域缓冲器包含第一区域缓冲器与第二区域缓冲器，其中第一区域缓冲器用于在迭代之前/后存储数据、第二区域缓冲器则用于同一迭代之后/前存储数据且第一区域缓冲器与第二区域缓冲器在下一迭代过程中交换角色。根据本实施方式，对于特定迭代，SRAM 114在这个迭代之前存储数据且SRAM 116在这个迭代之后存储数据。然后，对于下一迭代，SRAM 116在这个迭代之前存储数据且SRAM 114在这个迭代之后存储数据。更详细的描述请参考图2。图2是根据本专利技术一个实施方式的用于基于区域的迭代调整的图像增强方法的流程图。图2所示的方法可应用于装置100，更确切来说，此方法可应用于上述区域引擎(例如区块引擎110)。此方法描述如下。在步骤910中，对于图像的每一区域，一个或多个区域引擎中的一个区域引擎(例如区块引擎110)用于执行这个区域的最近代表函数(latest representative function) 的目标函数的至少一个梯度计算，且根据梯度计算更新最近代表函数，举例来说，至少一个梯度计算可以是最近代表函数的优化程序。在步骤920中，对于图像的这个区域，当至少一个预定收敛准则(例如单个收敛准则或多个收敛准则)没有被满足时，步骤910中提到的相同区域引擎(例如区块引擎110)用于根据最近代表函数的相同目标函数的至少一个梯度计算，迭代地更新最近代表函数。在步骤930中，对于图像的这个区域，当至本文档来自技高网...

【技术保护点】
一种图像处理电路，包含：至少一个处理单元，每一处理单元用于执行迭代调整图像增强的迭代，且每一处理单元包含：第一像素撷取模块，用于按光栅扫描顺序输入第一图像的像素数据并撷取该第一图像的第一图像区块的像素数据；参考像素撷取模块，用于按该光栅扫描顺序输入参考图像的像素数据并撷取该参考图像的参考图像区块的像素数据，其中关于该参考图像的该参考图像区块的相对位置与尺寸，对应于关于该第一图像的该第一图像区块的相对位置与尺寸；误差计算模块，用于根据该第一图像的像素数据与该参考图像的像素数据执行误差计算，以产生与该第一图像区块的特定像素有关的一个或多个迭代误差项；以及更新模块，用于基于与该特定像素有关的该一个或多个迭代误差项更新该特定像素，以产生用于该迭代的该第一图像的更新版本。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：蔡玉宝，黄毓文，陈颖睿，雷少民，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：