图像处理装置及图像处理方法制造方法及图纸

本发明专利技术提出一种图像处理装置及图像处理方法。图像处理装置包括图像校正模块、物体移动侦测模块以及图像混合模块。图像校正模块估测未选择图像相对于目标图像的区块位移量及全域位移量，并执行位移量校正藉以产生校正后图像。物体移动侦测模块则判断各区块位移量与全域位移量的差值是否大于门限值，藉以产生物体移动指针。图像混合模块依据物体移动指针对目标图像之每一像素点与校正后图像之每一像素点进行算术运算以产生超分辨率图像。本发明专利技术能将单张或是多张低分辨率图像放大产生高分辨率图像。

【技术实现步骤摘要】

本专利技术涉及一种图像处理装置及其图像处理方法，且特别涉及超分辨率(super-resolution)图像放大的一种。
技术介绍
图像放大技术是图像处理中一项重要的研究方向，而图像内插则是一种有关图像放大技术的方法。一般而言，图像内插仅从单一图像放大来完成，常见的单一图像放大方法包括多项式内插法(polynomial interpolation)、沿着边缘方向内插法(edge-directed interpolation)以及以样本为基础的超解析技术(exampled-based forsuper-resolution)。多项式内插法虽然简单且运算速度快，但是常因缺乏图像高频信息而导致放大后 的图像模糊，且会产生区块效应(block effect) 0沿着边缘方向内插法或以样本为基础的超解析技术则需要庞大的运算量。因此，从单一图像放大来完成图像放大的技术，图像质量受到很大的限制。然而，若想利用多张图像序列混合产生放大图像的技术，最常见的副作用就是有鬼影现象。鬼影现象的成因是因为对同一场景进行连续拍摄时，场景中有个别物体在移动，而在混合图像时，是将图像做整体位移(或是相机位移)的校正，并不会对场景中的个别物体做校正，因此图像中若有个别移动的物体，会导致混合后的图像出现鬼影现象。
技术实现思路
有鉴于此，本专利技术提供一种图像处理装置，可将多张低分辨率图像放大产生高分辨率图像，并且先检测图像中是否存在个别物体移动，再混合多张校正后图像以输出超分辨率图像。本专利技术另提供一种图像处理方法，用于处理多张低分辨率图像放大产生高分辨率图像，且可混合多张校正后图像以产生超分辨率图像。本专利技术提出的一种图像处理装置，用以接收依据多个第一分辨率图像进行放大而产生的多个第二分辨率图像，其中，第二分辨率图像其中之一为目标图像，剩余的第二分辨率图像为多个未选择图像。图像处理装置包括图像校正模块、物体移动检测模块以及图像混合模块。其中，图像校正模块估测未选择图像相对于目标图像的多个区块位移量及多个全域位移量，针对未选择图像执行多个位移量校正，藉以产生多个校正后图像。物体移动检测模块耦接至图像校正模块，判断各区块位移量与相对应的全域位移量的差值是否大于门限值，藉以产生多个物体移动指针。图像混合模块耦接至物体移动检测模块，图像混合模块依据物体移动指针对目标图像的每一像素点与校正后图像的每一像素点进行算术运算以产生第三分辨率图像，此第三分辨率图像的分辨率高于第二分辨率图像的分辨率。在本专利技术的一实施例中，所述的图像混合模块依据该些物体移动指针设定多个加权，该算术运算为该图像混合模块利用该些加权对该目标图像的每一像素点与该些校正后图像的每一像素点进行加权和。在本专利技术的一实施例中，所述的图像混合模块针对目标图像的每一像素点与校正后图像的每一像素点执行多个方向梯度运算以产生多个梯度差值。在本专利技术的一实施例中，其中当各区块位移量与相对应的全域位移量的差值大于门限值时，则物体移动检测模块驱动物体移动指针，当各区块位移量与相对应的全域位移量的差值小于门限值时，则物体移动检测模块阻断物体移动指针。在本专利技术的一实施例中，其中当物体移动指针为驱动状态时，则图像混合模块将加权设定为零，当物体移动指针为阻断状态时，则图像混合模块将加权设定为梯度差值。在本专利技术的一实施例中，所述的图像混合模块针对目标图像的每一像素点与校正后图像的每一像素点执行方向梯度运算用以产生多个方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及对角线方向梯度值。在本专利技术的一实施例中，所述的图像混合模块针对目标图像的每一像素点与校正 后图像的每一像素点，选择方向梯度值中的数值最大者作为最大梯度值，及选择方向梯度值中的数值最小者作为最小梯度值，各梯度差值则等于最大梯度值与最小梯度值之差。在本专利技术的一实施例中，所述的图像校正模块包括区块位移量估测单元以及全域位移量估测单元。区块位移量估测单元分割目标图像与未选择图像为多个区块，并且估测未选择图像相对于目标图像的区块位移量。全域位移量估测单元耦接至区块位移量估测单元，依据区块位移量执行多个全域位移量估测，藉以产生全域位移量。在本专利技术的一实施例中，所述的图像校正模块包括位移量校正单元，利用仿射变换矩阵(Affine transformation matrix)执行位移量校正,使未选择图像的起始点位置校正至与目标图像的起始点位置相同。从另一观点来看，本专利技术提出的一种图像处理方法，用于处理依据多个第一分辨率图像进行放大而产生的多个第二分辨率图像，其中，第二分辨率图像其中之一为一目标图像，剩余的第二分辨率图像为多个未选择图像。图像处理方法包括下列步骤估测未选择图像相对于目标图像的多个区块位移量及多个全域位移量，针对未选择图像执行多个位移量校正，藉以产生多个校正后图像。此外，判断各区块位移量与相对应的全域位移量的差值是否大于门限值，藉以产生多个物体移动指针。再者，依据物体移动指针对目标图像的每一像素点与校正后图像的每一像素点进行算术运算以产生第三分辨率图像，此第三分辨率图像的分辨率高于第二分辨率图像的分辨率。基于上述，本专利技术能将单张或是多张低分辨率图像放大产生高分辨率图像，并利用多张图像混合以产生出一张具有高质量且富有丰富细节信息的超分辨率图像，在做图像混合前会先判断图像中是否存在个别物体移动，藉此避免混合后的超分辨率图像产生鬼影现象。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图I是依照本专利技术的一实施例所示的图像处理装置的方框图。图2是依照本专利技术的另一实施例所示的图像处理装置的方框图。图3为本专利技术的实施例的物体移动检测模块200执行物体移动检测的方法流程图。图4为本专利技术的实施例的图像混合模块300针对其中之一像素点执行图像混合的方法流程图。图5是依照本专利技术的一实施例所示的图像处理方法的流程图。附图标记 10:图像处理装置；100:图像校正模块；110 :区块位移量估测单元；120 :全域位移量估测单元；130 :位移量校正单元；200 :物体移动检测模块；300 图像混合模块；Imgl_LR Img4_LR :低分辨率图像；Imgl_HR Img4_HR :高分辨率图像；CorrImg2_HR CorrImg4_HR :校正后图像；Imgl_SR :超分辨率图像；Map2 Map4 :物体移动指针；S310 S370 :物体移动检测方法的步骤；S410 S470 :对每一像素点执行图像混合的步骤；S510 S530 图像处理方法的步骤。具体实施例方式首先请参照图1，图I是依照本专利技术的一实施例所绘示的图像处理装置的方块图。图像处理装置10用以接收依据多个第一分辨率图像进行放大而产生的多个第二分辨率图像，其中，多个第一分辨率图像可由CMOS感应器的数字图像撷取装置例如是数字相机、数字摄像机(Digital Video，DV)等所撷取。CMOS感应器的特点是能高速连拍，因此能对一个场景连续拍摄多个第一分辨率图像。此外，本领域的普通技术人员可视实际需求采用所熟知的图像放大方法来对多个第一分辨率图像进行放大以产生多个第二分辨率图像。图像放大方法包括利用多项式内插方法、沿着边缘方向内插方法或以样本为基础的超本文档来自技高网...

【技术保护点】
一种图像处理装置，用以接收依据多个第一分辨率图像进行放大而产生的多个第二分辨率图像，其中，该些第二分辨率图像其中之一为一目标图像，剩余的该些第二分辨率图像为多个未选择图像，包括：一图像校正模块，估测该些未选择图像相对于该目标图像的多个区块位移量及多个全域位移量，针对该些未选择图像执行多个位移量校正，藉以产生多个校正后图像；一物体移动检测模块，耦接至该图像校正模块，判断各该区块位移量与相对应的该全域位移量的差值是否大于一门限值，藉以产生多个物体移动指针；以及一图像混合模块，耦接至该物体移动检测模块，该图像混合模块依据该些物体移动指针对该目标图像的每一像素点与该些校正后图像的每一像素点进行一算术运算以产生一第三分辨率图像，其中，该第三分辨率图像的分辨率高于该些第二分辨率图像的分辨率。

【技术特征摘要】
1.一种图像处理装置，用以接收依据多个第一分辨率图像进行放大而产生的多个第二分辨率图像，其中，该些第二分辨率图像其中之一为一目标图像，剩余的该些第二分辨率图像为多个未选择图像，包括 一图像校正模块，估测该些未选择图像相对于该目标图像的多个区块位移量及多个全域位移量，针对该些未选择图像执行多个位移量校正，藉以产生多个校正后图像； 一物体移动检测模块，耦接至该图像校正模块，判断各该区块位移量与相对应的该全域位移量的差值是否大于一门限值，藉以产生多个物体移动指针；以及 一图像混合模块，耦接至该物体移动检测模块，该图像混合模块依据该些物体移动指针对该目标图像的每一像素点与该些校正后图像的每一像素点进行一算术运算以产生一第三分辨率图像，其中，该第三分辨率图像的分辨率高于该些第二分辨率图像的分辨率。2.根据权利要求I所述的图像处理装置，其中该图像混合模块依据该些物体移动指针设定多个加权，该算术运算为该图像混合模块利用该些加权对该目标图像的每一像素点与该些校正后图像的每一像素点进行加权和。3.根据权利要求2所述的图像处理装置，其中该图像混合模块针对该目标图像的每一像素点与该些校正后图像的每一像素点执行多个方向梯度运算以产生多个梯度差值。4.根据权利要求3所述的图像处理装置，其中当各该区块位移量与相对应的该全域位移量的差值大于该门限值时，则该物体移动检测模块驱动该些物体移动指针，当各该区块位移量与相对应的该全域位移量的差值小于该门限值时，则该物体移动检测模块阻断该些物体移动指针。5.根据权利要求4所述的图像处理装置，其中当该些物体移动指针为驱动状态时，则该图像混合模块将该些加权设定为零，当该些物体移动指针为阻断状态时，则该图像混合模块将该些加权设定为该些梯度差值。6.根据权利要求3所述的图像处理装置，其中该图像混合模块针对该目标图像的每一像素点与该些校正后图像的每一像素点执行该些方向梯度运算用以产生多个方向梯度值，该些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二对角线方向梯度值。7.根据权利要求6所述的图像处理装置，其中该图像混合模块针对该目标图像的每一像素点与该些校正后图像的每一像素点，选择该些方向梯度值中的数值最大者作为一最大梯度值，及选择该些方向梯度值中的数值最小者作为一最小梯度值，各该梯度差值则等于该最大梯度值与该最小梯度值之差。8.根据权利要求I所述的图像处理装置，其中该图像校正模块包括 一区块位移量估测单元，分割该目标图像与该些未选择图像为多个区块，估测该些未选择图像相对于该目标图像的该些区块位移量；以及 一全域位移量估测单元，耦接至该区块位移量估测单元，依据该些区块位移量执行多个全域位移量估测，藉以产生该些全域位移量。9.根据权利要求I所述的图像处理装置，其中该图像校正模块包括 一位移量校正...

【专利技术属性】
技术研发人员：庄哲纶，吴宗达，周宏隆，
申请(专利权)人：华晶科技股份有限公司，
类型：发明
国别省市：