图像处理设备和图像处理方法技术

本发明专利技术提供一种图像处理设备和图像处理方法。该图像处理方法用于通过迭代反向投影方法进行超分辨率重建，其包括：提取步骤，从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影步骤，针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到奇场图像和偶场图像来获得分别与奇场图像和偶场图像相对应的构造图像；误差计算步骤，针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；和反向投影步骤，通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。

【技术实现步骤摘要】

本专利技术涉及一种，尤其涉及一种用于通过迭代反向投影方法进行超分辨率重建的。
技术介绍
高分辨率图像在计算机视觉、医学、遥感等诸多领域有着广泛的应用。通过提高成像装置的分辨力来提高图像分辨率，将使摄像仪器成本昂贵，并且传统工艺也制约了成像装置分辨力的提高。于是，通过软件途径提高图像分辨率的超分辨率重建技术已成为研究执占。超分辨率重建是用多幅低分辨率图像，诸如视频中的低分辨率帧序列，合成一幅高分辨率图像的技术。当前常用的超分辨率重建方法之一是迭代反向投影(IBP，IterativeBack Projection)方法。例如，在发表于“中国科技论文在线”的郭伟伟、章品正等人的文章“基于IBP算法的超分辨率图像重建”介绍了一种IBP算法。当低分辨率图像序列中的各帧是采取交织模式的交织图像时，直接应用超分辨率技术，诸如迭代反向投影方法，将无法得到期望的结果。
技术实现思路
要解决这一问题，最直接的方法是将η帧交织图像的奇行和偶行拆出来，构成分辨率为WX(H/2)的2n幅图像(即，垂直分辨率降为原来的1/2)，以作为一序列的观测图像，然后进行超分辨率计算。这里，假设低分辨率图像序列中的各帧图像的分辨率为WXH，其中，W和H分别表示图像在水平和竖直方向上每单位长度(英寸)的像素点数。但这样做在低分辨率图像上已经损失了一半的分辨率，使得超分辨率图像的分辨率也降低一半。另一种方法是先对低分辨率图像去交织，由η幅交织图像(分辨率为WXH)恢复出2η幅同样大小(WXH)的图像，再对这2η幅图像应用超分辨率计算。这一方法可以保持低分辨率图像的分辨率，从而得到高分辨率的超分辨率图像。但是去交织只是对未知像素值的估计，估计值和真实值之间的误差经常劣化超分辨率的结果。鉴于现有技术的以上不足，本专利技术旨在提供一种用于通过迭代反向投影方法进行超分辨率重建的，其能够更充分有效地利用交织模式下的序列低分辨率图像的图像信息，来生成更加清晰的超分辨率图像。本专利技术的一个实施例是一种图像处理设备，用于通过迭代反向投影方法进行超分辨率重建。该图像处理设备包括提取单元，被配置为从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影单元，被配置为针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像；误差计算单元，被配置为针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；以及反向投影单元，被配置为通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。进一步地，该图像处理设备还可以包括参考图像生成单元，被配置为根据低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率参考图像；以及运动估计单元，被配置为计算每一奇场图像和偶场图像相对于高分辨率参考图像的运动向量，以获得投影单元的投影和反向投影单元的反向投影所需的运动位移，其中，如果高分辨率参考图像初始生成时所根据的图像与待计算的奇场图像和偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量 进行奇偶校正。进一步地，投影单元的投影/反向投影单元的反向投影可以采用纵向与横向比例为2 I的降/升采样。进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。进一步地，反向投影单元可以进一步被配置为针对每个低分辨率图像，根据已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像获取组合误差图像，以更新高分辨率参考图像。进一步地，反向投影单元可以进一步被配置为通过将已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像上相对应的像素分别相加来获取组合误差图像。本专利技术的另一个实施例是一种图像处理方法，用于通过迭代反向投影方法进行超分辨率重建。图像处理方法包括提取步骤，从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影步骤，针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到奇场图像和偶场图像来获得分别与奇场图像和偶场图像相对应的构造图像；误差计算步骤，针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；和反向投影步骤，通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。利用本专利技术，通过使用迭代反向投影方法，将高分辨率参考图像分别投影到从交织模式的低分辨率图像中提取的奇场图像和偶场图像来获得相应的构造图像，进而求取奇场和偶场误差图像来反向投影到高分辨率参考图像并对其进行更新，充分利用了低分辨率图像的图像信息，并且避免了使用去交织的低分辨率图像所带来的超分辨率图像劣化。附图说明参照下面结合附图对本专利技术实施例的说明，会更加容易地理解本专利技术的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。图I是示出迭代反向投影算法的工作流程的示意图。图2是示出根据本专利技术实施例的用于通过迭代反向投影方法进行超分辨率重建的图像处理设备的示意性结构框图。图3示出从交织模式的低分辨率图像提取相应奇场图像和偶场图像的示意图。图4示出根据本专利技术另一实施例的图像处理设备的结构。图5示出根据本专利技术实施例的参考图像生成单元生成高分辨率参考图像的过程的示意图。图6示出根据本专利技术实施例的通过迭代反向投影方法进行超分辨率重建的图像处理方法的流程图。 图7是示出根据本专利技术实施例的通过迭代反向投影方法进行图像的高分辨率重建的具体应用的流程图。图8是示出在本专利技术具体应用中计算构造图像与观测图像之间的误差图像的方法的流程图。图9是示出实现本专利技术的计算机的示例性结构的框图。具体实施例方式下面参照附图来说明本专利技术的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域技术人员已知的部件和处理的表示和描述。下文中，将按如下顺序对根据本专利技术实施例的进行说明I. IBP算法介绍2.图像处理设备的示例结构2. I奇/偶场图像的提取2. 2投影单元的投影处理2. 3误差计算单元的误差计算2. 4反向投影单元的反向投影处理3.图像处理设备的可选结构3. I高分辨率参考图像的生成3. 2运动估计与奇偶校正4.图像处理方法的示例流程5.图像的高分辨率重建实例L IBP算法介绍图I是示出迭代反向投影算法的工作流程的示意图。迭代反向投影算法的最初输入包括观测到的一系列低分辨率图像，如图I所示的一系列低分辨率观测图像103。一般地，该一系列低分辨率观测图像是对由诸如摄像机等图像采集装置获得的图像序列进行诸如去交织等处理后获得的，是构建超分辨率图像的基础。为了说明方便，将图I中最小的正方形区域视为一个像素，则每个低分辨率观测图像1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.ー种图像处理设备，用于通过迭代反向投影方法进行超分辨率重建，所述图像处理设备包括 提取单元，被配置为从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像； 投影単元，被配置为针对每ー个所提取的奇场图像和偶场图像，通过把高分辨率參考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像； 误差计算单元，被配置为针对每个所述低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；以及 反向投影単元，被配置为通过将所述奇场误差图像和所述偶场误差图像反向投影到所述高分辨率參考图像上，以更新所述高分辨率參考图像。2.根据权利要求I所述的图像处理设备，还包括 參考图像生成単元，被配置为根据所述低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率參考图像；以及 运动估计单元，被配置为计算每一所述奇场图像和偶场图像相对于所述高分辨率參考图像的运动向量，以获得所述投影単元的投影和所述反向投影単元的反向投影所需的运动位移，其中，如果所述高分辨率參考图像初始生成时所根据的图像与待计算的所述奇场图像或偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量进行奇偶校正。3.根据权利要求I或2所述的图像处理设备，其中，所述投影単元的投影/所述反向投影単元的反向投影采用纵向与横向比例为2 I的降/升采样。4.根据权利要求3所述的图像处理设备，其中，所述投影単元和/或所述反向投影单元进ー步被配置为，采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2 I的椭圆低通滤波器进行低通滤波。5.根据权利要求I或2所述的图像处理设备，其中，所述投影単元和/或所述反向投影单元进ー步被配置为，采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。6.根据权利要求I或2所述的图像处理设备，其中，所述反向投影単元进ー步被配置为针对每个所述低分辨率图像，根据已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像获取组合误差图像，以更新所述高分辨率參考图像。7.根据权利要求6所述的图像处理设备，其中，所述反向投影単元进ー步被配置为通过将所述已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像上相...

【专利技术属性】
技术研发人员：刘玉宇，
申请(专利权)人：索尼公司，
类型：发明
国别省市：