从低清晰度视频产生高清晰度视频的系统与方法技术方案

提供了一种从低清晰度视频产生高清晰度视频的系统与方法。根据一个或多个实施例，所述方法只关于低清晰度视频的先前帧的特征区域像素（不同于先前帧的所有像素）执行轨迹估计和匹配操作，从而降低计算量以提高存储器的效率，实时产生高清晰度视频，并产生关于特征区域的更精确的高清晰度视频。

【技术实现步骤摘要】
本申请要求于2009年9月22日在韩国知识产权局提交的10-2009-0089503号韩 国专利申请的优先权，该申请全部公开于此以资参考。
一个或多个实施例涉及一种， 更具体地说，涉及一种利用轨迹估计和插值来产生高清晰度视频的系统与方法。
技术介绍
从低清晰度视频到高清晰度视频的图像放大可能是图像设备的重要功能，也可 以是在日常生活用品(如可携式摄像机)中或在专业领域(如天文学、保健等)中广泛应 用的同样重要的元素。最近，应用图像放大的实例的数量已经增加，如当将从数码相机 或可携式摄像机中获得的低清晰度视频变换为高清晰度视频时，在高清晰度显示装置中 再产生低清晰度视频内容，或将高清晰度视频压缩为低清晰度视频，再将已压缩的低清 晰度视频还原成高清晰度视频。因此，对从低清晰度视频获得高清晰度视频的图像放大 的期望正在增大。作为一个示例，可使用镜头组合来执行图像放大。然而，当使用这样的光学倍 率方案来实施高放大倍率的放大时，这使得在体积、重量、成本等上有明显增加。为克 服这些问题，可使用利用数字图像处理的图像放大方案。当使用这样的数字图像处理 时，可使用半导体芯片来满意地执行图像放大，从而与光学放大倍率方案相比，表现出 相对较低的成本。另外，当结合现有的光学倍率方案来使用图像放大时，可获得以高 放大倍率而更有效地放大的图像。此外，在信号处理方面，利用与彼此不同数量级的 图像，图像放大方案可被用于维持系统之间的兼容性，以及用于增加图像的分辨率或大 小。图像放大方案可被用于减少与图像压缩关联的表达图像所需的数据量。在信号处理或图像处理方面，图像放大方案可有若干种方法。在一种方法中， 利用信号插值的图像放大方案可易被执行且实用。图像的插值可以是可扩大原始图像的 离散像素之间的间隔，估计被扩大的间隔之间的值并将估计值插入被扩大的间隔中，以 获得放大图像的效果的方案。在这种情况下，根据估计被扩大的间隔之间的值的方式， 可确定图像放大方法，并根据已确定的图像放大方法，可改变放大的图像。例如，图14示出传统的图像处理系统，其中，将视频序列的多个帧输入到多帧 存储器，更具体地说，每一帧都需要单独的帧存储器，例如，当基于从10个先前帧的运 动估计对当前帧内的像素进行插值时，在多帧存储器中就需要10个单独的帧存储器。多 帧运动估计单元12对当前帧的每个像素或块相对于从所有先前帧的对应的像素或块的运 动进行估计。例如，每个像素的运动估计可基于至少10个先前帧，需要10次基于每个 先前帧的每个像素或块的单独的运动估计。通过检查所有先前帧的每个像素或块，可对 每个像素或块进行运动估计，使得高分辨率插值单元14可执行对当前帧的像素或块的插 值。然而，这样的方法也需要大量的存储器和处理资源，从而引起增加的成本、延 迟以及对在更大量的存储器和处理环境中完成图像转换的限制。正如，每个先前帧都需 要单独的帧存储器，并且先前帧的每个像素或块都被存储在每个单独的帧存储器中。此 外，由于依赖每个先前帧的运动估计的当前帧的每个像素或块都需要运动估计，所以需 要大量的处理，也需要大量的时间。所以，由于这样的缺陷，一般不能在更多紧凑移 动设备中实现这样的图像转换方法，并且一般也不能以实时方式执行这样的图像转换方 法。因此，用于图像放大的当前图像处理方法存在大量缺陷。
技术实现思路
根据一个或多个实施例，提供了一种图像处理方法，包括对当前帧的像素或 块(包括与当前帧的特征区域对应的像素或块)执行轨迹估计，当先前帧的轨迹信息可用 时，识别轨迹估计的像素；将轨迹估计的像素或块划分到特征区域并且根据每个当前帧 的除轨迹估计的像素或块以外的像素或块的各自的空间谱，将当前帧的除轨迹估计的像 素或块以外的像素或块逐一分别划分到特征区域和统一区域之一；将特征区域的特征区 域像素或块与至少一个先前帧的特征区域像素或块进行匹配；将至少一个先前帧的匹配 的特征区域像素或块和对应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高 清晰度帧；基于匹配的特征区域像素或块和对应的轨迹估计的像素或块，以及基于统一 区域的像素或块，对高清晰度帧的除投射的匹配的特征区域像素或块和对应的轨迹估计 的像素或块以外的像素进行插值。根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像 处理方法，所述方法包括根据每个像素或块的各自的空间谱，将低清晰度视频的当前 帧的像素或块逐一划分到特征区域和统一区域，被划分到特征区域的像素或块分别是特 征区域像素或块；基于关于特征区域的低清晰度视频的多个帧以及基于从至少一个先前 帧到当前帧的像素值信息来产生与特征区域对应的高清晰度视频；使用至少在被划分为 统一区域的当前帧的像素或块之间的插值来产生与统一区域对应的高清晰度视频。根据一个或多个实施例，提供了一种从低清晰度视频产生高清晰度视频的图像 处理方法，所述方法包括通过对低清晰度视频的第i-Ι帧的特征区域像素执行各自的轨 迹估计来确定低清晰度视频的第i帧的特征区域像素；通过将第i帧的特征区域像素和与 第i帧的特征区域像素对应的至少一个先前帧的特征区域像素进行匹配来确定与第i帧对 应的高清晰度视频的帧的像素的像素值；使用插值，确定与第i帧对应的高清晰度视频的 帧的通过匹配没被确定的像素值，其中，将第i帧的特征区域像素与至少一个先前帧的特 征区域像素进行匹配的步骤包括将第i帧的特征区域像素仅与至少一个先前帧的特征区 域像素进行匹配，至少一个先前帧包括除特征区域像素以外的像素。根据一个或多个实施例，提供了一种图像处理方法，包括接收所接收图像的 图像信息和轨迹信息；根据每个像素或块的各自的空间谱，将接收的图像的像素或块 逐一划分到特征区域和统一区域，被划分到特征区域的像素或块分别是特征区域像素或 块；通过基于接收的轨迹信息，至少在统一区域内的像素或块之间进行插值以及至少在 与特征区域像素对应的像素或块之间进行插值来产生高清晰度图像。根据一个或多个实施例，提供了一种图像处理方法，包括根据每个像素或块的各自的空间谱，将第一帧的像素或块逐一分别划分到第一帧的特征区域和统一区域 之一，并且将被划分到第一帧的特征区域的像素或块的像素值和位置存储到注册存储器 (registration memory)中，作为第一帧的特征区域像素或块；继第一帧后，对第二帧的像 素或块执行轨迹估计的步骤包括从注册存储器中获得第一帧的特征区域像素或块的像 素值和位置；基于获得的第一帧的特征区域像素或块来识别第二帧的轨迹估计的像素或 块；将第二帧的轨迹估计的像素或块的像素值和位置存储在注册存储器中；将第二帧的 轨迹估计的像素或块划分到特征区域并且根据每个像素或块的各自的空间谱，将第二帧 的除第二帧的轨迹估计的像素或块以外的像素或块逐一分别划分到第二帧的特征区域和 统一区域之一；将第二帧的特征区域的特征区域像素或块与第一帧的特征区域像素或块 进行匹配，并且将匹配的第一帧的特征区域像素或块和对应的第二帧的轨迹估计的像素 或块投射到比第二帧具有更高清晰度的高清晰度帧上；基于第一帧的匹配的特征区域像 素或块和对应的第二帧的轨迹估计的像素或块，对高清晰度帧的除投射的匹配的第一帧 的特征区域像素或块和对应的第二帧的轨迹估计的像素或块以外的像本文档来自技高网...

【技术保护点】
一种图像处理方法，所述方法包括：　　当先前帧的轨迹信息可用时，对当前帧的像素或块执行轨迹估计，以识别轨迹估计的像素，所述当前帧的像素或块包括与当前帧的特征区域对应的像素或块；　　将轨迹估计的像素或块划分到特征区域，并且根据每个像素或块的各自的空间谱，逐个将当前帧中除包括轨迹估计的像素或块之外的像素或块分别划分到特征区域和统一区域之一；　　将特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配，并且将至少一个先前帧的匹配的特征区域像素或块和相应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧；　　基于匹配的特征区域像素或块和相应的轨迹估计像素或块并且基于统一区域的像素或块来对高清晰度帧的除投射的匹配的特征区域像素或块和相应的轨迹估计的像素或块以外的像素进行插值。

【技术特征摘要】
KR 2009-9-22 10-2009-00895031.一种图像处理方法，所述方法包括当先前帧的轨迹信息可用时，对当前帧的像素或块执行轨迹估计，以识别轨迹估计 的像素，所述当前帧的像素或块包括与当前帧的特征区域对应的像素或块；将轨迹估计的像素或块划分到特征区域，并且根据每个像素或块的各自的空间谱， 逐个将当前帧中除包括轨迹估计的像素或块之外的像素或块分别划分到特征区域和统一 区域之一；将特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配， 并且将至少一个先前帧的匹配的特征区域像素或块和相应的轨迹估计的像素或块投射到 比当前帧具有更高清晰度的高清晰度帧；基于匹配的特征区域像素或块和相应的轨迹估计像素或块并且基于统一区域的像素 或块来对高清晰度帧的除投射的匹配的特征区域像素或块和相应的轨迹估计的像素或块 以外的像素进行插值。2.一种从低清晰度视频产生高清晰度视频的方法，所述方法包括根据每个像素或块的各自的空间谱，将低清晰度视频的当前帧的像素或块逐个划分 到特征区域和统一区域，被划分特征区域的像素或块分别为特征区域像素或块；基于低清晰度视频的关于特征区域的多个帧并且基于至少一个帧到当前帧的像素值 信息来产生与特征区域对应的高清晰度视频，并使用至少在被划分到统一区域的当前帧 的像素或块之间的插值来产生与统一区域对应的高清晰度视频。3.如权利要求2所述的方法，其中，产生与特征区域对应的高清晰度视频的步骤包 括通过将当前帧的特征区域像素和确定为与当前帧的特征区域像素对应的至少一个先 前帧的特征区域像素进行匹配，来确定与特征区域对应的高清晰度视频的帧的像素的像 素值。4.如权利要求3所述的方法，其中确定像素值的步骤是基于当前帧的特征区域像素和至少一个先前帧的相应的特征区 域像素之间的确定的像素值差等于或小于参考值，对至少一个先前帧的特征区域像素进 行匹配，其中，根据当前帧的特征区域像素是否被确定包括在纹理或边缘区域来改变参 考值。5.如权利要求2所述的方法，其中，分类的步骤包括将已执行从先前帧的特征区 域的特征区域像素的轨迹估计的当前帧的像素划分为特征区域像素。6.如权利要求2所述的方法，其中，控制将当前帧的像素或块分别划分到特征区域和 统一区域之一的分类以保持组成特征区域像素之间的最小距离。7.如权利要求6所述的方法，其中，当当前帧的像素中的第一像素被划分为特征区域 像素时，所述分类步骤包括根据每个第二像素的空间谱，将与第一像素相距至少最小距 离的当前帧的第二像素划分到特征区域和统一区域。8.如权利要求7所述的方法，其中，所述分类步骤还包括不将与第一像素相距不到至 少最小距离的第二像素划分到特征区域或统一区域。9.如权利要求2所述的方法，还包括将当前帧分成NXM个块；对于每个NXM个块，将在每个各自的NXM个块的像素中具有最大梯度值并且其最大梯度值等于或大于参考值的像素确定为特征区域像素。10.如权利要求2所述的方法，其中，将当前帧的像素的多个像素或多个块分别划分 到特征区域和统一区域的步骤包括将具有相对较高的空间谱的当前帧的多个像素的一 个像素或一个块划分到特征区域，并且将具有比高空间谱相对低的空间谱的当前帧的多 个像素的一个像素或一个块划分为统一区域。11.如权利要求2所述的方法，其中，将当前帧的像素的多个像素或多个块划分到特 征区域和统一区域的步骤包括当当前帧的像素和当前帧的相邻像素的像素值差大于或 等于参考值时，将当前帧的像素划分到特征区域；并且当像素值差小于参考值时，将当 前帧的像素划分到统一区域。12.—种从低清晰度视产生高清晰度视频的方法，所述方法包括通过在低清晰度视频的第i_l帧的特征区域像素上执行各自的轨迹估计来确定低清晰 度视频的第i帧的特征区域像素；通过将第i帧的特征区域像素和与第i帧的特征区域像素对应的至少一个先前帧的特 征区域像素进行匹配来确定与第i帧对应的高清晰度视频的帧的像素的像素值；使用插值，确定高清晰度视频的与第i帧对应的帧中通过匹配没被确定的像素值，其中，将第i帧的特征区域像素与至少一个先前帧的特征区域像素进行匹配的步骤包 括将第i帧的特征区域像素仅与至少一个先前帧的特征区域像素进行匹配，至少一个先 前帧包括除特征区域像素外的像素。13.如权利要求12所述的方法，其中，第i_l帧的特征区域像素是从低清晰度视频的 第i_2帧的特征区域像素执行轨迹估计的像素，或是具有相对较高的空间谱的第i_l帧的 像素。14.如权利要求13所述的方法，其中，具有相对较高的空间谱的像素是具有等于或大 于参考值的像素的各自的梯度值的像素。15.如权利要求13所述的方法，其中，每个第i_l帧的特征区域像素相距至少最小距罔。16.如权利要求13所述的方法，其中，所述方法还包括将第i_l帧分成NXM个块；对于每个NXM个块，将在每个各自的NXM个块的复数个块中具有最大空间谱并且 其空间谱等于或大于参考值的像素确定为第i_l帧的特征区域像素中的一个。17.如权利要求16所述的方法，其中，当在各自的NXM个块的复数个块中具有最大 空间谱的像素的空间谱小于参考值时，将该像素排除出(i-i)帧的特征区域像素。18.如权利要求12所述的方法，其中，所述方法还包括将第i帧分成NXM个块；对于每个NXM个块，将在每个各自的NXM个块的复数个块中具有最大空间谱并且 其空间谱等于或大于参考值的像素确定为第i帧的特征区域像素中的一个。19.如权利要求18所述的方法，其中，当在各自的NXM个块的复数个像素中具有最 大空间谱的像素的空间谱小于参考值时，这各自的NXM个块的所有像素被排除在第i帧 的特征区域像素之外。20.如权利要求12所述的方法，还包括存储第i-ι帧的特征区域像素的像素值和位置；存储与第i_l帧的特征区域像素邻近的像素的像素值以及邻近像素的位置。21.如权利要求12所述的方法，其中，确定第i帧的特征区域像素的步骤包括通过 第i帧的子像素单元对第i_l帧的特征区域像素执行轨迹估计。22.—种图像处理方法，所述方法包括接收所接收图像的图像信息和轨迹信息；根据每个像素或块的各自的空间谱，将接收的图像的像素或块逐个划分到特征区域 和统一区域，被划分到特征区域的像素或块分别为特征区域像素或块；通过基于接收的轨迹信息至少在统一区域中的像素或块之间进行插值并且至少在与 特征区域像素对应的像素或块之间进行插值，来产生高清晰度图像。23.如权利要求21所述的方法，其中，接收的图像的轨迹信息是用于来自包括接收的 图像的图像序列中的另一图像的轨迹估计的像素的...

【专利技术属性】
技术研发人员：赵良镐，朴斗植，李皓荣，黄圭荣，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR[韩国]