图像处理装置、图像处理方法、动图像文件的数据结构、数据压缩装置、数据解码装置、数据压缩方法、数据解码方法及压缩动图像文件的数据结构制造方法及图纸

动图像的数据采用在图中自上而下的z轴方向上由第0阶层（30）、第1阶层（32）、第2阶层（34）及第3阶层（36）构成的阶层构造。各阶层由将以不同的分辨率表示一个动图像的动图像数据、即多个图像帧按照时序顺序排列的数据构成。动图像显示时的视点坐标及与其对应的显示区域由表示图像的左右方向的x轴、表示上下方向的y轴、表示分辨率的z轴所构成的虚拟三维空间而定。通过预先对z轴设置阶层的切换边界，来根据帧坐标的z的值，切换用于帧描绘的动图像数据的阶层。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及显示动图像的图像处理装置及图像处理方法、对动图像等三维数据进行编码、解码的信息处理装置及信息处理方法。
技术介绍
已提出有不仅执行游戏程序，还能够再现动图像的家庭用娱乐系统。在该家庭用娱乐系统中，GPU生成使用了多面体的三维图像(例如參照专利文献I)。无论是动图像还是静止图像，如何高效地显示图像一直都是重要的问题。因此，在图像数据的压缩技术、传输技木、图像处理技术、显示技术等多方面都正在开发并实用化各种技术，已逐渐能够在各种场合近身欣赏高精细的图像了。〔在先技术文献〕〔专利文献〕〔专利文献I〕美国专利第6563999号公报
技术实现思路
〔专利技术所要解决的课题〕〔0005〕想按照用户的要求响应性好地显示高精细图像这样的需求一直存在。例如为响应性良好地实现将所显示的整体图像中的想要关注的区域放大显示或移动至其它区域这样的针对用户视点有自由度的图像显示，既要短时间内处理尺寸大的图像数据，又必须使得能够随机存取，需要技术更加进步。〔0006〕本专利技术是鉴于这样的课题而研发的，其目的在于提供一种能够针对用户对显示区域的操作输入，响应性好地显示高精细动图像的图像处理技术。此外，其另ー个目的在于提供ー种能够针对各种要求响应性好地输出动图像等三维数据的信息处理技木。〔用于解决课题的手段〕本专利技术的一个方案涉及图像处理装置。该图像处理装置的特征在于，包括:动图像数据存储部，存储将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，该多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧；输入信息取得部，依次取得用户对显示区域的操作输入信息；以及显示图像处理部，根据输入信息取得部所取得的操作输入信息，一边使动图像中要显示的区域变化，一边使用阶层动图像数据来生成要显示于显示装置的动图像；其中，显示图像处理部根据由操作输入信息決定的分辨率的变化，来切换阶层动图像数据中的用于动图像的生成的阶层。本专利技术的另一方案涉及图像处理方法。该图像处理方法的特征在于，包括:从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的步骤，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧；取得用户对显示区域的操作输入信息的步骤；以及根据操作输入信息，使动图像中要显示的区域变化的步骤；其中，使动图像中要显示的区域变化的步骤包括根据由操作输入信息決定的分辨率的变化，来切换阶层动图像数据中的用于动图像的生成的阶层的步骤。本专利技术另一方案涉及动图像文件的数据结构。该数据结构的特征在于，是用于显示于显示装作的动图像文件的数据结构，将由用户对显示区域的操作输入決定的分辨率与以不同的分辨率表示构成ー个动图像的图像帧的多个图像帧串建立了对应，所述多个图像帧串是根据分辨率而被切換使用的图像帧串。本专利技术的另一方案涉及数据压缩装置。该数据压缩装置包括:数据分割部，将压缩对象的三维參数空间中的数据串在该三维方向上分割，形成编码单位；以及压缩编码部，生成调色板和索引作为压缩数据，所述调色板针对数据分割部所形成的各编码单位，分别将数据中的2个值作为代表值而保持，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码単位的原来的数据。本专利技术的另ー个方案涉及数据解码装置。该动图像数据解码装置包括:压缩数据读出部，从存储装置读出压缩数据，该压缩数据是将调色板与索引建立了对应，其中所述调色板针对将三维參数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码単位的原来的数据；解码部，对调色板所保持的代表值线性插值而生成中间值，并按照索引所保持的信息，将各编码单位所包含的数据决定为代表值及中间值中的一者后，基于编码単位的排列，重构并生成原来的数据串；以及输出部，输出所生成的数据串。本专利技术的另ー个方案涉及压缩方法。数据压缩方法包括:从存储装置读出压缩对象的三维參数空间中的数据串的步骤；将数据串在该三维方向上分割而形成编码单位的步骤；以及生成调色板和索引，作为压缩数据存储于存储装置的步骤，其中所述调色板针对各编码单位分别保持数据中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码単位的原来的数据。本专利技术的另一方案涉及数据解码方法。该数据解码方法包含:从存储装置读出压缩数据的步骤，该压缩数据中将调色板与索引建立了对应，所述调色板针对将三维參数空间中的数据串在该三维方向上分割而形成的各编码单位，分别保持像素值中的2个值作为代表值，所述索引保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息，来代替该编码単位的原来的数据；对调色板所保持的代表值线性插值而生成中间值，按照索引所保持的信息，将各编码单位所包含的数据决定为代表值及中间值中的一者后，基于编码単位的排列，重构并生成原来的数据串的步骤；以及将所生成的数据串输出到输出装置的步骤。本专利技术的另ー个方案涉及压缩动图像文件的数据结构。该数据结构使调色板与索引建立对应，并与图像帧的图像区域对应地排列，其中所述调色板是针对将与构成动图像的图像帧串对应、以亮度Y为像素值的Y图像串、以色差Cb为像素值的Cb图像串、以色差Cr为像素值的Cr图像串分别时空间分割而形成的各编码单位所分别生成的，保持像素值中的2个值作为代表值，所述索引针对各像素分别保持用于指定对该代表值线性插值而定的多个中间值及代表值中的一者的信息。此外，将以上构成要素的任意组合、本专利技术的表现形式在方法、装置、系统、计算机程序等间变换后的实施方式，作为本专利技术的方案也是有效的。〔专利技术效果〕通过本专利技术，能够实现能平滑地响应用户的操作输入的动图像显示。进而，能够可随机存取地进行处理量(Throughput)高的三维数据输出。附图说明图1是表示能够适用于本实施方式的图像处理系统的使用环境的图。图2是表示能够适用于图1的图像处理系统的输入装置的外观构成例的图。图3是概念性地表示在本实施方式中作为处理对象的动图像的阶层数据的图。图4是表示本实施方式中的图像处理装置的构成的图。图5是详细地表示在本实施方式中，使用具有阶层构造的动图像数据来显示动图像的功能的控制部的构成的图。图6是表示在本实施方式中成为处理对象的动图像数据的构造例的图。图7是表示在本实施方式中成为处理对象的动图像数据的构造例的图。图8是表示在本实施方式中成为处理对象的动图像数据的构造例的图。图9是表示在本实施方式中成为处理对象的动图像数据的构造例的图。图10是示意性地表示在本实施方式中以其它阶层的动图像流代替一部分阶层的动图像流时的动图像的数据结构的图。图11是详细地表示在本实施方式中具有动图像数据压缩功能的控制部及硬盘驱动器的构成的图。图12是示意性地表示包含图11所示的控制部的图像处理装置所实施的动图像流的压缩步骤的图。图13是示意性地表示在本实施方式中从Y图像串的编码单位生成调色板(pallet)及索引的数据的方法的图。图14是示意性地表示在本实施方式中从CbCr图像串的编码单位生成调色板及索引的数据的方法的图。图15是表示在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.13 JP 2010-204805;2010.09.13 JP 2010-204801.一种图像处理装置，其特征在于，包括: 动图像数据存储部，存储将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，该多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧， 输入信息取得部，依次取得用户对显示区域的操作输入信息，以及显示图像处理部，根据上述输入信息取得部所取得的上述操作输入信息，ー边使上述动图像中要显示的区域变化，一边使用上述阶层动图像数据来生成要显示于显示装置的动图像； 其中，上述显示图像处理部根据由上述操作输入信息決定的分辨率的变化，来切換上述阶层动图像数据中的用于动图像的生成的阶层。2.按权利要求1所述的图像处理装置，其特征在干， 构成上述阶层动图像数据的各阶层的图像帧串由将图像平面划分为预定尺寸而成的平铺图像単位的动图像流构成； 上述显示图像处理部根据上述操作输入信息，从上述动图像数据存储部读出与要显示的区域对应的动图像流的数据，生成动图像。3.按权利要求1所述的图像处理装置，其特征在干， 构成上述阶层动图像数据的各阶层的图像帧串由针对将图像平面划分为预定尺寸而成的各平铺图像、各预定帧数分别被压缩编码了的动图像流构成； 上述显示图像处理部根据上述操作输入信息及时间的经过，从上述动图像数据存储部读出对应的动图像流的数据，生成动图像。4.按权利要求2或3所述的图像处理装置，其特征在干， 上述阶层动图像数据包含从构成中除去与上述构成ー个动图像的图像帧的一部分区域对应的上述动图像流后的阶层； 上述显示图像处理部通过使其它阶层的动图像流的放缩率变化来代替在用于动图像的生成的阶层中所除去的动图像流，生成动图像。5.按权利要求2或3所述的图像处理装置，其特征在干， 上述阶层动图像数据包含与上述构成ー个动图像的图像帧的一部分区域对应的上述动图像流的帧率不同干与其它区域对应的上述动图像流的帧率的阶层。6.按权利要求1至5的任意ー项所述的图像处理装置，其特征在干， 上述动图像数据存储部存储针对将上述一个动图像时间分割而成的多个动图像块所分别生成的多个上述阶层动图像数据； 上述显示图像处理部根据时间的经过而从上述动图像数据存储部依次读出上述阶层动图像数据，生成动图像。7.一种图像处理方法，其特征在于，包括: 从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的步骤，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧， 取得用户对显示区域的操作输入信息的步骤，以及 根据上述操作输入信息，使上述动图像中要显示的区域变化的步骤； 其中，上述使动图像中要显示的区域变化的步骤包括根据由上述操作输入信息決定的分辨率的变化，来切換上述阶层动图像数据中的用于动图像的生成的阶层的步骤。8.一种使计算机实现如下功能的计算机程序，其特征在干， 从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的功能，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧， 取得用户对显示区域的操作输入信息的功能，以及 根据上述操作输入信息，使上述动图像中要显示的区域变化的功能； 其中，上述使动图像中要显示的区域变化的功能包括根据由上述操作输入信息決定的分辨率的变化，来切換上述阶层动图像数据中的用于动图像的生成的阶层的功能。9.一种记录有计算机程序的记录介质,其特征在于， 所述计算机程序使计算机实现如下功能: 从存储装置读出将多个图像帧串按照分辨率顺序阶层化而成的阶层动图像数据，并使用它生成要显示于显示装置的动图像的功能，所述多个图像帧串以不同的分辨率来表现构成一个动图像的图像帧， 取得用户对显示区域的操作输入信息的功能，以及 根据上述操作输入信息，使上述动图像中要显示的区域变化的功能； 其中，上述使动图像中要显示的区域变化的功能包括根据由上述操作输入信息決定的分辨率的变化，来切換上述阶层动图 像数据中的用于动图像的生成的阶层的功能。10.一种用于显示于显示装置的动图像文件的数据结构，其特征在干， 将由用户对显示区域的操作输入決定的分辨率与以不同的分辨率表示构成ー个动图像的图像帧的多个图像帧串建立了对应，所述多个图像帧串是根据上述分辨率而被切換使用的图像巾贞串。11.按权利要求10所述的动图像文件的数据结构，其特征在干， 上述多个图像帧串分别由将图像平面划分为预定尺寸而成的平铺图像単位的动图像流构成。12.一种记录介质,其特征在于， 记录有具有权利要求10或权利要求11所述的数据结构的动图像文件。13.一种数据压缩装置，其特征在于，包括: 数据分割部，将压缩对象的三维參数空间中的数据串在该三维方向上分割，形成编码単位，以及 压缩编码部，生成调色板和索引作为压缩数据，所述调色板针对上述数据分割部所形成的各编码单位，分别将数据中的2个值作为代表值而保持，所述索引保持用于指定对该代表值线性插值而定的多个中间值及上述代表值中的一者的信息，来代替该编码単位的原来的数据。14.按权利要求13所述的数据压缩装置，其特征在于，还包括: YCbCr变换部,作为上述数据串，生成将以亮度Y为像素值的Y图像、以色差Cb为像素值的Cb图像、以及以色差Cr为像素值的Cr图像按照时序顺序排列而成的Y图像串、Cb图像串及Cr图像串，其中所述Y图像、Cb图像及Cr图像是通过将具有针对图像帧平面及时间轴的像素值的动图像数据的各图像帧中的像素值变换为亮度Y及2个色差Cb、Cr，而针对各上述图像帧分别生成的； 上述数据分割部将上述YCbCr变换部所生成的Y图像串、Cb图像串及Cr图像串分别进行时空间分割而形成编码单位。15.按权利要求13或14所述的数据压缩装置，其特征在干， 上述数据分割部通过按预先准备的多个分割模式进行上述数据串的分割，来形成多个编码单位的模式，使上述压缩编码部以各模式进行数据压缩，选择误差最少的分割模式。16.按权利要求13至15的任意一项所述的数据压缩装置，其特征在干， 上述数据分割部针对上述三维參数空间的各预定单位的区域分别选择分割模式，生成使所选择的分割模式的标识信息与上述预定单位的区域建立了对应的分割模式图； 上述压缩编码部在针对由所选择的分割模式形成的各编码单位分别生成上述调色板和上述索引后，使上述分割模式图包含于上述压缩数据。17.按权利要求14所述的数据压缩装置，其特征在干， 上述压缩编码部按Y图像串的各编码单位分别生成针对亮度Y的调色板及索引，并按Cb图像串及Cr图像串的各编码单位分别生成针对要素中包含(色差Cb，色差Cr)的參数的调色板及索引。18.按权利要求14或17所述的数据压缩装置，其特征在干， 上述数据分割部在进行分割前将上述Cb图像及Cr图像在图像平面方向上以预定倍率縮小，并进行时空间分割，使得 上述编码单位所包含的像素数在上述Y图像串、Cb图像串、Cr图像串中相等。19.按权利要求13至18的任意一项所述的数据压缩装置，其特征在干， 上述压缩...

【专利技术属性】
技术研发人员：稻田彻悟，大场章男，势川博之，
申请(专利权)人：索尼电脑娱乐公司，
类型：
国别省市：