【技术实现步骤摘要】
本专利技术通常涉及图像处理设备、图像处理方法和程序。更具体地，本发 明涉及这样的图像处理设备、图像处理方法和程序，以便当根据图像信号的 运动矢量来内插图像信号时改进内插的图像信号的图像质量。
技术介绍
图1示意性地示出了普通的图像处理设备1的典型结构。在图1中，图像处理设备1由以下部分构成帧速率转换部分ll、面板 驱动部分12和显示面板13。在操作时，为了显示目的，图像处理设备1增 强作为代表从外部输入的按时间顺序排列的逐帧图像的具体像素数字信号的 图像信号的帧速率。如果给定了从外部输入的图像信号，帧速率转换部分11进行帧速率增强 处理，以便提高所接收的图像信号的帧速率(即循环)。更具体地，帧速率转换 部分11首先对外部提供的图像信号进行图像内插处理。将由内插得到的图像 信号输出到面板驱动部分12,作为按时间顺序内插在外部输入的图像信号之 间的图像信号。这个处理使得给面板驱动部分12的输入信号的帧速率高于进 入帧速率转换部分11的信号的帧速率。面板驱动部分12对由帧速率转换部分11提供的图像信号进行D/A(数字 /模拟)转换和其它的处理。面板驱动部分12使用所得到的模拟信号来驱动 如液晶显示面板(LCD)的显示面板13,从而显示逐帧图像。由图1中的帧速率转换部分ll进行的帧速率增强处理对于改进按时间顺 序排列的图像信号的图像质量是必不可少的。这样的处理也同样适用于在补 偿这样按时间顺序排列的图像信号的运动的处理中使用的帧内插。实行帧内插处理的一个方法包括首先，从按时间顺序输入的图像信号 检测运动矢量；然后，用检测到的运动矢量在按时间顺序排列的图像信号之 ...
【技术保护点】
一种图像处理设备，包括： 检测单元，被配置用于从用作按时间顺序输入的像素的每个像素的图像信号的输入图像信号来检测运动矢量； 确定单元，被配置用于确定所述输入图像信号在级别方面是否满足预定条件； 内插单元，被配置以便：如果发现所述输入图像信号不满足所述预定条件，则所述内插单元根据所述运动矢量，内插并输出在所述输入图像信号和位于所述输入图像信号之前的先前输入图像信号之间的预定时间点插入的输入图像信号中间信号，且如果发现所述输入图像信号满足所述预定条件，则所述内插单元允许将所述输入图像信号不加改变地输出作为所述输入图像信号中间信号。
【技术特征摘要】
JP 2007-4-13 105541/07优选 实施例的描述基本上提供了支持所申请的权利要求的具体例子。如果下述的 作为优选实施例的本发明的任何例子没有严格对应的权利要求，这并不表示 所讨论的例子与权利要求无关。相反地，如果以下所描述的实施例的任何例 子具有具体对应的权利要求，这也并不表示所讨论的例子限于该权利要求或 与其它的权利要求无关。本发明的一个实施例是一种图像处理设备(例如图2中的接收设备30)， 包括检测部分(例如图5中的检测部分92),被配置用于从用作按时间顺序 输入的像素的每个像素的图像信号的输入图像信号来检测运动矢量；确定部 分(例如图4中的确定部分82)， -波配置用于确定所述输入图像信号在其级别 方面是否满足预定条件；以及内插部分(例如图5中的混合部分95)，被配置 以便如果发现所述输入图像信号不满足所述预定条件，则所述内插部分根 据所述运动矢量，内插并输出在所述输入图像信号和位于所述输入图像信号 之前的先前输入图像信号之间的预定时间点插入的输入图像信号中间信号， 且如果发现所述输入图像信号满足所述预定条件，则所述内插部分允许将所 述输入图像信号不加改变地输出作为所述输入图像信号中间信号。本发明的另 一个实施例是一种用于内插用作按时间顺序输入的像素的每 个像素的图像信号的输入图像信号的图像处理设备(例如图2中的接收设备30)的图像处理方法，该图像处理方法包括如下步骤从所述输入图像信号检测 (例如图11中的步骤S84)运动矢量；确定(例如图11中的步骤S86)所述输入 图像信号在其级别方面是否满足预定条件；如果发现所述输入图像信号不满 足所述预定条件，则根据所述运动矢量，内插并输出(例如图11中的步骤S89) 在所述输入图像信号和位于所述输入图像信号之前的先前输入图像信号之间 的预定时间点插入的输入图像信号中间信号；如果发现所述输入图像信号满 足所述预定条件，则允许(例如图11中的步骤S91)将所述输入图像信号不加 改变地输出作为所述输入图像信号中间信号。下面将参照附图来详细说明本发明的某些优选实施例。 图2示意性地示出了作为本发明的一个实施例而实行的接收设备30的典 型结构。在图2中，接收设备30包括MPU (微处理器)31、调谐器32、解码 处理部分33、与显示部分35和扬声器36相连的信号处理部分34、输入部分 38、通信部分39、记录部分40和驱动器41，所有这些都通过总线37相互连 接。在运行时，接收设备30接收表示TV节目的按时间顺序排列的逐帧图像 的像素的且如果需要时经受淡入或淡出效果的数字信号以及伴随图像的声音 的数字信号的无线电波，并输出所接收的TV节目的图像和声音(以下可以将 这些数字信号称为节目信号)。响应于通过输入部分38输入的命令，MPU 31通过执行被安装在如图所 示的记录部分40中的程序来执行各种处理。例如，在给定了显示用户指定的 TV频道的节目的命令时，MPU 31控制调谐器32、解码处理部分33和信号 处理部分34,以便在显示部分35上显示节目的图像并从扬声器36输出节目 的声音。如果需要的话，MPU 31将通过通信部分39下载的程序或被保存在可拆 卸介质42上的程序安装到记录介质40中，在此所述可拆卸介质诸如磁盘、 光盘、磁光盘或半导体存储器。为了装载程序，将一块可拆卸介质42附于驱 动器41上并由该驱动器41驱动。在MPU31的控制下，调谐器32接收并解调带有用户指定的TV频道的 节目信号并通过广播站(未示出)发出的无线电波。在解调之后，调谐器32将 所得到的节目信号提供给解码处理部分33。在MPU 31的控制下，解码处理部分33根据例如MPEG-2 (活动图像专家组-阶段2)的合适的标准，来解码来自调谐器32的、编码了的节目信号。 将解码了的节目信号转发给信号处理部分34。信号处理部分34是由图像处理部分51和音频处理部分52组成。图像处 理部分51对来源于由解码处理部分33提供的节目信号的图像信号进行诸如 内插和D/A转换之类的处理。该内插包括在两个连续的图像信号之间按时间 顺序插入图像信号。图像处理部分51向显示部分35提供作为从先前的处理 得到的模拟信号的图像信号。显示部分35根据接收到的图像信号来依次显示 图像。音频处理部分52对来源于由解码处理部分33提供的节目信号的音频信 号进行D/A转换。将所得到的模拟形式的音频信号馈送到扬声器36用于向 外输出音频。如图所示，输入部分38是由按钮、键盘、鼠标、开关以及接收从远程控 制器发送来的命令的接收单元(未示出)组成的。响应于用户的操作，输入部分 38通过总线37向MPU31发送各种各样的命令。例如，在给出显示用户指定 的频道的TV节目的用户操作时，输入部分38给MPU31提供命令，以便显 示此节目。通信部分39在诸如因特网之类的网络(未示出)上发送和接收各种各样的 数据。如图所示，通信部分39通过网络从服务器(未示出)下载合适的节目， 并将下载的节目馈送给MPU31。记录部分40根据需要记录要由MPU31来 执行和/或操作的节目和/或数据。如果需要的话，将一块可拆卸介质42装载入驱动器41。驱动器41驱动 所装载的介质，并从所驱动的介质上检索节目或数据，然后通过总线37将检 索到的节目或数据发送给MPU 31 。图3示出了图2中的接收设备30的图像处理部分51和显示部分35的详 细结构。如图3所示，图4象处理部分51由检测部分61与帧速率转换部分62构成， 显示部分35是由面板驱动部分12和显示面板13构成的。在图3所用的附图 标记之中，那些已在图1中用过的附图标记表示相同的或相应的部件，在此 不再对它们加以i兌明。将从解码处理部分33提供的节目信号的图像信号作为输入图像信号发 送给图像处理部分51中的检测部分61与帧速率转换部分62。根据输入图像信号的级别，检测部分61检测输入图像信号是否满足淡入或淡出操作的条件。这是说，检测部分61检查输入图像信号的级别，以确定输入图像信号是否经受淡入或淡出。如果发现输入图像信号要经受淡入或淡出，则检测部分61将淡入或淡出 信号提供给帧速率转换部分62,在此，淡入或淡出信号表明所讨论的输入图 像信号经受淡入或淡出。下面将参照图4更详细地讨论;险测部分61。响应于来自检测部分61的淡入或淡出信号，帧速率转换部分62内插输 入图像信号，以便转换它的帧速率。由帧速率转换部分62将内插的输入图像 信号发送给显示部分35的面板驱动部分12,从而在显示面板13上显示逐帧 图像。下面将参照图5更详细地说明帧速率转换部分62。图4示出了图3中的检测部分61的详细结构。在图4中，检测部分61由帧存储器81和确定部分82构成。将解码处理 部分33 (图2)提供给检测部分61的输入图像信号转发给帧存储器81和确定 部分82两者。帧存储器81存储来自解码处理部分33的输入图像信号。确定部分82 读取被保留在帧存储器81中的输入图像信号。使用检索到的输入图像信号和 来自解码处理部分33的输入图像信号，确定部分82检测表示输入图像信号 的最大级别、输入图像信号位于零级的像素数以及在不同时间点的输入图像 信号的级别总和的因素的随时间改变的变化。根据检测的结果，确定部分82确定输入图像信号是否经受淡入或淡出。 如果发现输入图像信号经受淡入或淡出，则确定部分82向帧速率转换部分 62输出淡入或淡出信号。图5示出了图3中的帧速率转换部分62的详细结构。在图5中，帧速率转换部分62是由帧存储器91、检测部分92、运动部 分93、确定部分94、混合部分95和选择部分96组成的。将由图2中的解码处理部分33提供的输入图像信号发送给帧存储器91、 才企测部分92、混合部分95和选择部分96。将由图4中的4全测部分61的确定 部分82提供的淡入或淡出信号转发给确定部分94。帧存储器91逐帧存储来自解码处理部分33的输入图像信号。在操作中， 帧存储器91读取以前存储的输入图像信号，即比来自解码处理部分33的输 入图像信号提前一个帧间隔的输入图像信号。将检索到的输入图像信号提供给才企测部分92、运动部分93和混合部分95。检测部分92将来自解码处理部分33的输入图像信号视为要内插的目标 输入图像信号(以下称为内插目标信号)。检测部分92继续从该内插目标信号 和比由帧存储器91提供的内插目标信号提前一个帧间隔的输入图像信号(以 下称其为先前内插目标信号)来检测运动矢量。如图所示，使用块匹配方法，检测部分92通过将被设置用于内插目标信 号的基块集(base block set)和尺寸与基块相同并且4t设置用于先前内插目标 信号的参照块相匹配来^f全测逐块的运动矢量。4企测部分92将所;险测的逐块运 动矢量馈送到运动部分93和确定部分94。运动部分93通过使用由检测部分92提供的逐块运动矢量来逐块地运动 来自帧存储器91的先前内插目标信号。如此运动的先前内插目标信号被发送 给混合部分95。确定部分94根据由4全测部分92给出的逐块运动矢量值来确定逐块运动 矢量的可靠度。替换地，不根据逐块运动矢量值而是根据用于计算运动矢量 的基块和参照块中相应像素之间的差值的逐块积分来确定逐块运动矢量的可 靠度。如果从图4的确定部分82中输入内插目标信号的淡入/淡出信号，确定 部分94将表示将不进行混合的不混合(no-mix)信息提供给混合部分95。如果 没有输入内插目标信号的淡入/淡出信号，确定部分94根据逐块可靠度，逐 块地确定将此内插目标信号与先前内插目标信号相互混合的比率(以下将此 比率称为混合比)。随后，确定部分94把逐块混合比提供给混合部分95。根据来自确定部分94的混合比，混合部分95将由解码处理部分33提供 的内插目标信号与由运动部分93给出的运动过的先前内插目标信号相混合。 混合部分95继续向选择部分96提供混合图像信号，作为内插在内插目标信 号和先前内插目标信号之间按时间顺序插入的图像信号的内插信号。如上所述，当用确定部分94来确定混合比时，混合部分95#^居所确定 的混合比通过混合内插目标信号和由运动部分93使用运动矢量运动过的先 前内插目标信号来提供内插。这是说，在不输入淡入/淡出信号的情况下， 帧速率转换部分62进行包括使用运动矢量内插图像信号在内的常规内插处 理。如果给出来自确定部分94的不混合信息，混合部分95允许将来自帧存储器91的先前内插目标信号不加改变地输出作为去往选择部分96的内插信 号。这是说，在输入淡入/淡出信号的情况下，帧速率转换部分62进行初始 的内插处理，使先前内插目标信号未经修改地用作内插信号。如上所述，在由于内插目标信号经受淡入或淡出而很可能错误地检测运 动矢量的情况下，帧速率转换部分62不根据运动矢量来进行内插。在此情况 下，将先前内插目标信号不加改变地用作内插信号。这可能防止生成不正确 的内插信号和改进内插图像信号的图像质量。选择部分96选择由解码处理部分33提供的内插目标信号或来自混合部 分95的内插信号，并以适合时控方式，将所选择的信号作为内插图像信号输 出。更具体地，在内插目标信号和其后的另一个目标输入图像信号之间，选 择部分96使用这两个信号来创建内插信号，并将所创建的信号作为内插图像 信号输出。结果，由选择部分96输出的内插图像信号的帧速率变成输入图像 信号的帧速率的两倍。下面将参照图6A到6C来详细说明帧速率转换部分62如何进行初始的 和常规的内插处理。如图6A所示，假设用连续输入到帧速率转换部分62的输入图像信号a、 b、 c来代表三个连续帧。在通常的内插中，如果将输入图像信号b看作为内插目标信号，则使用 与输入图像信号b的运动矢量相应的混合比来将作为内插目标信号的输入图 像信号b与作为随每个运动矢量而运动的先前内插目标信号的输入图像信号 a相混合。这样得到了在输入图像信号a和输入图像信号b之间按时间顺序插 入的内插信号ab,如图6B所示。同样地，如果将输入图像信号c也看作内插 目标信号，则用与输入图像信号c的运动矢量相应的混合比来得到在输入图 像信号b和输入图像信号c之间按时间顺序插入的内插信号bc，如图6B所 示。另一方面，在初始的内插中，如果将输入图像信号b看作内插目标信号， 则如图6C所示，允许作为先前内插目标信号的输入图像信号a不加改变地变 成内插信号。同样地，如果将输入图像信号c也看作为是内插目标信号，则 如图6C所示，将作为先前内插目标信号的输入图像信号b不加改变地用作内 插信号。下面将参照图7来说明由图2中的接收设备30进行的图像处理。如图所示，当从解码处理部分33接收输入图像信号时开始图像处理。在步骤Sll中，图像处理部分51的检测部分61通过^r验来自解码处理部分33的输入图像信号的级别来进行检测处理，以确定输入图像信号是否经受淡入或淡出。下面将参照图8来更详细地讨^仑该4佥测处理。在步骤S12中，帧速率转换部分62进行包括转换输入图像信号的帧速率的帧速率转换处理。下面将参照图11来详细说明帧速率转换处理。在步骤S13中，面板驱动部分12对由帧速率转换部分62提供的内插图像信号进行D/A转换。面板驱动部分12使用从D/A转换得到的模拟信号来驱动显示面板13。如此驱动的显示面板13显示逐帧图像。这结束了该图像处理。下面将参照图8更详细地说明在图7的步骤Sll中的检测处理。在步骤S21中，检测部分61的帧存储器81存储由解码处理部分33提供 的输入图像信号。并将该输入图像信号馈送给确定部分87用于检验，以确定 所讨论的输入图像信号是否经受淡入或淡出。在随后的说明中，将以检测为 目标的输入图像信号称为检测目标信号。在步骤S22中，确定部分94从帧存储器81中读取比检测目标信号提前 一个帧间隔的输入图像信号(以下将把这个早先的信号称为先前检测目标信 号)。在步骤S23中，确定部分94^r验以确定先前4全测目标信号位于零级的 像素数Yn(称为先前检测目标信号的零级像素计数)是否大于预定阈值G。阈值G是两个连续帧中的第一个帧的逐帧图像信号位于零级的最小像素 数。在图像信号经受淡入的情况下，帧越新近，相应的图像信号的级别越高。 这是说，帧在时间上越提前，帧中的零级像素的数量越小。由于这个缘故， 在两个连续帧之间的零级像素计数减少之前，将阈值G设置来代表零级像素 的最小值量。如果在步骤S23中发现先前检测目标信号的零级像素计数Yn大于阈值 G,即，如果先前检测目标信号的零级像素计数Yn表明检测目标信号有经受 淡入的可能性，则到达步骤S24。在步骤S24中，确定部分82进行淡入检测 处理，其包括检验以确定检测目标信号是否实际上经受淡入。下面将参照图 9来更详细地讨论淡入斥全测处理。从步骤24,控制返回到图7中的步骤Sll。如果在步骤S23中发现先前检测目标信号的零级像素计数Yn不大于阈值 G，即，如果先前检测目标信号的零级像素计数Yn表示检测目标信号几乎没有经受淡入的可能性，则进入到步骤S25。在步骤S25中，确定部分94 4企-睑以确定纟企测目标信号位于零级的像素数 Y^(称为检测目标信号的零级像素计数)是否大于预定阂值J。阈值J是两个连续帧中第二帧的逐帧图像信号位于零级的最小像素数。 在图像信号经受淡出的情况下，帧越新近，相应的图像信号的级别越低。这 是说，帧在时间上越提前，帧中的零级像素的数量越大。因此，在两个连续 帧之间的零级像素计数增加之后，设置阈值J以表示零级像素的最小值。如果在步骤S25中发现检测目标信号的零级像素数Yn+1大于阈值J,即， 如果检测目标信号的零级像素计数Y^表示检测目标信号有经受淡出的可能 性，则进入到步骤S26。在步骤S26中，确定部分82进^f亍淡出4全测处理，其 包括检验以确定检测目标信号是否实际上经受淡出。下面将参照图IO来更详 细讨论淡出检测处理。从步骤S26,控制回到图7中的步骤Sll。在步骤S25中，如果发现检测目标信号的零级像素计数Yn+1不大于阈值 J,即，如果先前检测目标信号的零级像素计数Yn和检测目标信号的零级像 素计数Ynw表示检测目标信号不可能经受淡入或淡出，则确定部分82确定检 测目标信号没有经受淡入或淡出。从步骤S25,控制返回到图7中的步骤Sll。现在参照图9来详细说明图8的S24中的淡入检测处理。在步骤S41中，确定部分82将计数值N设置为零。在淡入或淡出检测 处理中，确定部分82将检测目标信号当成以确定为目标的输入图像信号(称 为确定目标信号)。在步骤S42中，确定部分82 ^r验以确定该确定目标信号的最大级别值 Xn+N减去比确定目标信号提前一个帧间隔的输入图像信号(称为先前确定目 标信号)的最大级别值Xn+飼是否大于预定阈值D。如图所示，...
【专利技术属性】
技术研发人员：末松政之，大江崇之，薄木雅人，山本真也，小林贤吉，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。