图像处理装置和方法以及图像显示装置和方法制造方法及图纸

本发明专利技术提供一种图像处理装置和方法以及图像显示装置和方法，即使在图像被插值帧的前后帧的一方遮挡的情况下，也能够通过较少的运算量正确地进行插值。测试插值部（4）将第2延迟帧（F2）的数据、当前帧（F0）的数据和它们的平均作为测试插值数据（TD）并与第1延迟帧（F1）的数据进行比较，通过测试插值部（4）求出第2延迟帧（F2）和当前帧（F0）与第1延迟帧（F1）之间的运动矢量（MV1、MV2），将这些运动矢量转换成第1延迟帧（F1）和当前帧（F0）与插值帧（IF）之间的运动矢量（MV3、MV4）。

【技术实现步骤摘要】

本专利技术涉及。本专利技术特别涉及向图像的帧之间插入新的插值帧的帧插值处理。
技术介绍
液晶显示器等维持型显示器在I帧期间内持续显示相同图像，在图像中的物体运动的情况下，人眼对于运动物体的追踪是连续移动的，与此相对，由于物体的移动表现为以I帧为单位的不连续移动，因此，存在边缘部分看起来模糊的问题。与此相对，可考虑通过对帧进行插值而增多显示帧数，使物体的移动变得顺畅。并且，关于将电影等的胶片视频转换成电视信号的素材，由于两者(胶片视频与电视信号)的帧频的差异，成为由同一帧制作出2帧或3帧的图像信号，如果直接进行显示，则存在运动模糊或者产生运动不平滑(jerky)这样的抖动(judder)的问题。并且，同样地，关于将进行计算机处理后的视频转换成电视信号的素材，也成为由同一帧制作出2帧的图像信号，如果直接进行显示，则同样存在产生抖动的问题。作为现有的图像处理装置和方法，已知有利用与前一帧的帧相同的图像对插值帧进行插值的零阶保持法、利用前一帧的图像与后一帧的图像的平均图像对插值帧进行插值的平均值插值法等，但是，关于零阶保持法，对于在一定方向上运动的图像，不进行平滑的移动，因此，依然没有解决维持型显示器的模糊问题。并且，平均值插值法存在运动的图像成为重影图像的问题。作为其改善策略，根据 相对于插值帧的插值像素处于点对称位置的时间上靠前的帧上的像素与时间上靠后的帧上的像素的像素之间相关性最大的像素，生成插值帧的插值像素(例如参照专利文献I)。在该方法中，由于进行像素单位的相关性检测，因此，有时虽然图像内容不同，但是也检测为像素之间的相关性较大，有时无法正确生成插值帧。专利文献I日本特开2006-129181号公报(第8页、第3图)现有的帧插值处理如上所述那样构成，存在运动模糊或者产生运动不平滑这样的抖动的问题。并且，在检测像素单位的相关性的方法中，由于无法正确进行相关性检测而无法正确生成插值帧，特别是在进行插值的帧前后物体时隐时现的情况下，存在插值帧显著紊乱这样的问题、以及帧插值处理的运算量较多(在硬件上，电路规模较大)这样的问题。
技术实现思路
本专利技术的图像处理装置在输入图像的当前帧与所述当前帧前一帧的帧即第I延迟帧之间插入插值帧，其特征在于，该图像处理装置具有:运动矢量检测部，其参照所述第I延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第I延迟帧的第I运动矢量，参照所述当前帧的数据和所述第I延迟帧的数据，计算从所述当前帧到所述第I延迟帧的第2运动矢量；运动矢量转换部，其将所述第I运动矢量转换成从所述第I延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成部，其根据所述第3运动矢量、所述第4运动矢量、所述第I延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第I延迟帧的数据之间后的图像数据，所述运动矢量检测部设定与所述插值帧的插值对象块对应的、所述第I延迟帧内的块，作为处理对象块，生成多个测试插值数据，该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据，所述运动矢量检测部对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第I运动矢量和第2运动矢量中的至少一方，所述第I组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的，所述第2组测试插值数据是根据所述当前帧的多个块而得到的，所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。根据本专利技术，设时间上连续的3个帧的中心帧为最准确的帧，对从时间上靠前的帧和靠后的帧到中心帧的运动矢量进行评价，由此，能够计算高精度的运动矢量，因此，能够内插插值帧而不会导致图像紊乱。进而，在进行插值的帧前后物体时隐时现的情况下，也能够内插插值帧而不会导致图像紊乱。附图说明图1是示出本专利技术的实施方式I的图像显示装置的结构的框图。图2是示出图1的运动矢量检测部12内的测试插值部4的具体例的框图。图3是示出图1的运动矢量2内的插值数据评价部5和运动矢量决定部6的具体例的框图。图4是用于说明图1的运动矢量检测部12的动作的图。图5是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图6是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图7是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图8是示出当前帧、第I延迟帧和第2延迟帧的每个帧中的图像的例子的图。图9是示出缩小图8所示的输入图像后的图像数据的具体例的图。图10是示出位于以第I缩小延迟帧SFl上的处理对象块为中心而点对称的位置的第2缩小延迟帧SF2和当前缩小帧SR)中的2对块的图。图11是示出基于图10的2对块中的一对数据的测试插值数据的生成的图。图12是示出基于图10的2对块中的另一对数据的测试插值数据的生成的图。图13是示出基于当前缩小帧SR)上的一个块的数据的测试插值数据的生成的图。图14是示出基于当前缩小帧SR)上的另一个块的数据的测试插值数据的生成的图。图15是示出基于第2缩小延迟帧SF2上的一个块的数据的测试插值数据的生成的图。图16是示出基于第2缩小延迟帧SF2上的另一个块的数据的测试插值数据的生成的图。图17是用于说明图1的运动矢量放大部7的动作的具体例的图。图18的(a)和(b)是用于说明图1的运动矢量转换部13的动作的具体例的图。图19是用于说明图1的插值帧生成部14的动作的具体例的图。图20是示出在通过软件实现本专利技术的图像处理的情况下利用的由计算机系统构成的图像处理装置的框图。图21是示出本实施方式的图像显示装置的处理工序的流程图。标号说明2:图像缩小部；3:块切出部；4:测试插值部；5:插值数据评价部；6:运动矢量决定部；7:运动矢量放大部；10:图像处理装置；11:帧存储器；12:运动矢量检测部；13:运动矢量转换部；14:插值帧生成部；15:图像显示部；21:当前帧图像缩小部；22:第I延迟帧图像缩小部；23:第2延迟帧图像缩小部；31:当前帧块切出部；32 第2延迟帧块切出部；33:第I延迟帧块切出部。具体实施例方式下面，根据附图对本专利技术的实施方式进行说明。本专利技术的图像处理装置通过插值而在构成输入动态图像的帧列中的当前帧与当前帧前一帧的帧之间生成新的插值帧，本专利技术的图像显示装置具有显示从 上述图像处理装置输出的图像数据的图像显示部。实施方式I图1是示出本专利技术的实施方式I的图像显示装置的结构的图。实施方式I的图像显示装置具有图像处理装置10和图像显示部15，图像处理装置10具有帧存储器11、运动矢量检测部12、运动矢量转换部13、插值帧生成部14和图像显示部15。该图像处理装置例如能够构成广播接收装置、图像记录再现装置或个人计算机(PC)等的一部分。并且，图像显示装置5例如能够构成电视、视频投影仪或PC等的一部本文档来自技高网...

【技术保护点】
一种图像处理装置，该图像处理装置在输入图像的当前帧与所述当前帧前一帧的帧即第1延迟帧之间插入插值帧，其特征在于，该图像处理装置具有：运动矢量检测部，其参照所述第1延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第1延迟帧的第1运动矢量，参照所述当前帧的数据和所述第1延迟帧的数据，计算从所述当前帧到所述第1延迟帧的第2运动矢量；运动矢量转换部，其将所述第1运动矢量转换成从所述第1延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成部，其根据所述第3运动矢量、所述第4运动矢量、所述第1延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第1延迟帧的数据之间后的图像数据，所述运动矢量检测部设定与所述插值帧的插值对象块对应的、所述第1延迟帧内的块，作为处理对象块，生成多个测试插值数据，该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第1组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据，所述运动矢量检测部对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第1运动矢量和第2运动矢量中的至少一方，所述第1组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的，所述第2组测试插值数据是根据所述当前帧的多个块而得到的，所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。...

【技术特征摘要】
2011.11.07 JP 2011-2431981.一种图像处理装置，该图像处理装置在输入图像的当前帧与所述当前帧前一帧的帧即第I延迟帧之间插入插值帧，其特征在于，该图像处理装置具有: 运动矢量检测部，其参照所述第I延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第I延迟帧的第I运动矢量，参照所述当前帧的数据和所述第I延迟帧的数据，计算从所述当前帧到所述第I延迟帧的第2运动矢量；运动矢量转换部，其将所述第I运动矢量转换成从所述第I延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成部，其根据所述第3运动矢量、所述第4运动矢量、所述第I延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第I延迟帧的数据之间后的图像数据， 所述运动矢量检测部设定与所述插值帧的插值对象块对应的、所述第I延迟帧内的块,作为处理对象块,生成多个测试插值数据,该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据， 所述运动矢量检测部对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第I运动矢量和第2运动矢量中的至少一方， 所述第I组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的， 所述第2组测试插值数据是根据所述当前帧的多个块而得到的， 所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。2.根据权利要求1所述的图像处理装置，其特征在于， 所述运动矢量检测部具有: 测试插值部，其输出所述多个测试插值数据；插值数据评价部，其对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据；以及运动矢量决定部，其输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I运动矢量和第2运动矢量中的至少一方。3.根据权利要求2所述的图像处理装置，其特征在于， 所述测试插值部依次选择分别由所述第I延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2延迟帧内的块和所述当前帧内的块，求出提取出的所述第2延迟帧的块的数据和提取出的所述当前帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2延迟帧内的所述块的数据作为所述第3组测试插值数据。4.根据权利要求3所述的图像处理装置， 其特征在于， 所述测试插值部具有多个测试插值数据生成部，该多个测试插值数据生成部分别计算按照每个像素对所述当前帧内的位置相互不同的块的数据和所述第2延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。5.根据权利要求1所述的图像处理装置，其特征在于， 所述运动矢量检测部对所述当前帧、所述第I延迟帧和所述第2延迟帧的输入图像进行缩小后，生成所述第1组测试插值数据、所述第2组测试插值数据和所述第3组测试插值数据，生成与相关性最强的所述测试插值数据对应的运动矢量，作为缩小图像基准的第I缩小运动矢量和第2缩小运动矢量中的至少一方，通过对生成的所述第I缩小运动矢量和所述第2缩小运动矢量进行放大，生成输入图像基准的所述第I运动矢量和所述第2运动矢量中的至少一方。6.根据权利要求5所述的图像处理装置，其特征在于， 所述运动矢量检测部具有: 图像缩小部，其缩小所述当前帧并输出当前缩小帧，缩小所述第I延迟帧并输出第I缩小延迟帧，缩小所述第2延迟帧并输出第2缩小延迟帧； 测试插值部，其设定与所述插值帧的插值对象块对应的、所述第I缩小延迟帧内的块，作为所述处理对象块，输出所述多个测试插值数据，该多个测试插值数据包含由构成所述第2缩小延迟帧的一部分的块的数据和构成所述当前缩小帧的一部分的块的数据的每个像素的平均值构成的所述第1组测试插值数据、由构成所述当前缩小帧的一部分的块的数据构成的所述第2组测试插值数据、由所述第2缩小延迟帧的块数据构成的所述第3组测试插值数据； 插值数据评价部，其对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据； 运动矢量决定部，其输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I缩小运动矢量和第2缩小运动矢量中的至少一方；以及 运动矢量放大部，其对所述第I缩小运动矢量和第2缩小运动矢量中的至少一方进行放大，作为所述第I运动矢量和第2运动矢量中的至少一方进行输出。7.根据权利要求6所述的图像处理装置，其特征在于， 所述测试插值部依次选择分别由所述第I缩小延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2缩小延迟帧内的块和所述当前缩小帧内的块，求出提取出的所述第2缩小延迟帧的块的数据和提取出的所述当前缩小帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前缩小帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2缩小延迟帧内的所述块的数据作为所述第3组测试插值数据。8.根据权利要求7所述的图像处理装置，其特征在于， 所述测试插值部具有多个测试插值数据生成部， 该多个测试插值数据生成部分别计算按照每个像素对所述当前缩小帧内的位置相互不同的块的数据和所述第2缩小延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。9.根据权利要求1 8中的任意一项所述的图像处理装置，其特征在于， 所述插值数据评价部计算表示从所述测试插值部输出的所述多个测试插值数据中的各个测试插值数据与所述处理对象块的数据之间的相关性的相关值，根据分别针对该多个测试插值数据求出的多个相关值，生成所述多个评价数据。10.根据权利要求1 8中的任意一项所述的图像处理装置，其特征在于， 所述插值数据评价部计算从所述测试插值部输出的所述多个测试插值数据与所述处理对象块的数据之间的差分的绝对值的总和即差分绝对值和作为所述相关值。11.根据权利要求10所述的图像处理装置，其特征在于， 所述插值数据评价部具有多个相关值计算部，该多个相关值计算部计算所述处理对象块的数据与所述多个测试插值数据的差分绝对值和。12.一种图像显示装置，其特征在于，该图像显示装置具有: 权利要求1 8中的任意一项所述的图像处理装置；以及 图像显示部，其显示基于从所述插值帧生成部输出的图像数据的图像。13.一种图像处理方法，该图像处理方法在...

【专利技术属性】
技术研发人员：久保俊明，那须督，藤山直之，堀部知笃，小野良树，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：