视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构技术

本发明专利技术的一个目的是使视频图像帧成为利用多个分辨率表示的分层结构。利用第零分层（30）、第一分层（32）、第二分层（34）和第三分层（36），按照分辨率增加的顺序，表示时刻（t1）的帧的分层数据将第零分层（30）和第二分层（34）视为基本图像分层，并且将第一分层（32）和第三分层（36）视为差分图像分层。在这种情况下，当利用第三分层（36）的分辨率显示区域（124a）时，将第二分层（34）保留的对应区域（126a）的图像放大到第三分层（36）的分辨率，并且将每个像素值添加到第三分层（36）保留的区域（124a）的差分图像。随着时间的推移切换被视为差分图像分层的分层（t2、t3……）。

【技术实现步骤摘要】
【国外来华专利技术】视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构
本专利技术涉及一种生成关于移动图像的数据的移动图像数据生成设备，一种显示移动图像的移动图像显示设备，以及由这些设备实现的移动图像数据生成方法和移动图像显示方法。
技术介绍
家庭娱乐系统被提出为能够回放移动图像以及运行游戏程序。在家庭娱乐系统中，GPU使用多边形生成三维图像(例如，参见专利文献1)。无论图像是移动图像还是静止图像，改善显示图像的效率是一个重要和持续的挑战。因此，已开发各种技术并以多种方式投入实际使用，诸如图像数据的压缩技术、传输技术、图像处理技术和显示技术，它允许以熟悉的方式在各个场景享用高清晰度的图像。[相关领域列表][专利文献][专利文献1]美国专利6563999
技术实现思路
[本专利技术要解决的问题]总是存在根据用户请求显示具有良好的响应性的高清晰度图像的需求。例如，为了实现具有良好的响应性地相对于用户的视点提供自由度的图像显示，诸如放大正在显示的整个图像中用户感兴趣的区域或移动该区域到另一个区域，有必要在短时间周期内在处理大尺寸图像数据的同时允许随机访问。因此，需要进一步发展技术。在此背景下，本专利技术的一个目的是提供一种图像处理技术，能够在限制数据尺寸的同时，相对于用户对显示区域的操作输入来具有良好的响应性地显示高清晰度移动图像。[解决该问题的手段]本专利技术的一个实施例涉及一种移动图像数据生成设备。该移动图像数据生成设备生成通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据，以便在将要被使用的分层切换到另一分层的同时按照显示图像的图像处理设备所需的分辨率来生成显示图像。移动图像数据生成设备包括：配置为通过将每个图像帧分割成多个尺寸来为每个图像帧生成相应分层的图像数据的分层数据生成单元，其被配置为在至少一个分层的图像数据中包括，有关表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，以便生成分层的移动图像数据；以及压缩数据生成单元，被配置为压缩和编码由分层数据生成单元生成的分层移动图像数据，并将经压缩和经编码的分层移动图像数据存储在存储设备中。本专利技术的另一实施例涉及一种移动图像显示设备。该移动图像显示设备包括：移动图像数据存储单元，被配置为存储通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据；输入信息获取单元，被配置为获取请求移动正在显示的移动图像中的显示区域的信号；显示图像处理单元，被配置为根据每个图像帧的请求移动的信号来生成显示图像，同时按照由所述请求移动的信号所确定的所需的分辨率将要被使用的分层切换到另一分层，所述分层包含在所述分层移动图像数据中，其中构成分层移动图像数据的各分层中至少一个分层的图像数据包括表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，并且其中，如果要被用于显示的数据是差分图像的数据，所述显示图像处理单元通过放大和添加所述不同的分层上的图像来恢复图像。本专利技术的又一实施例涉及一种移动图像数据生成方法。该移动图像数据生成方法生成通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据，以便在将要被使用的分层切换到另一分层的同时按照显示图像的图像处理设备所需的分辨率来生成显示图像。移动图像数据生成方法包括：从存储设备读取包括利用一种分辨率描绘的一系列图像帧的移动图像数据；通过将每个图像帧缩小成多个尺寸来为每个图像帧生成相应分层的图像数据；在至少一个分层的图像数据中包括，表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，以便生成分层的移动图像数据；以及压缩和编码分层移动图像数据，并将经压缩经编码的分层移动图像数据存储在存储设备中。本专利技术的再一实施例涉及一种移动图像显示方法。该移动图像显示方法包括：从存储设备读取通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据的至少一部分，以及通过使用所述分层的移动数据的至少一部分来在显示设备上开始显示移动图像；获取请求移动正在显示的移动图像中的显示区域的信号；根据每个图像帧的请求移动的信号来生成显示图像，同时按照由所述请求移动的信号所确定的所需的分辨率将要被使用的分层切换到另一分层，所述分层包含在所述分层移动图像数据中；以及在显示设备上显示所生成的显示图像，其中构成分层移动图像数据的各分层中至少一个分层的图像数据包括表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，并且其中，如果要被用于显示的数据是差分图像的数据，所述生成显示图像包括通过放大和添加所述不同分层上的图像来恢复图像。本专利技术再一实施例涉及一种要在显示设备上显示的移动图像文件的数据结构。在该数据结构中，a)由用户关于显示区域的操作输入所确定的分辨率的范围，以及b)分层移动数据彼此相关联，所述分层移动数据通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来生成，并且由切换分层按照所述分辨率的范围来使用，其中至少一个分层的图像数据包括有关表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，并且其中，当显示图像时放大和添加所述不同分层上的图像以恢复图像。上述构成要素的任选组合，以及以方法、装置、系统、计算机程序等的形式的本专利技术中的实现方式也可以被实践为本专利技术的附加模式。[本专利技术的有益效果]根据本专利技术，可以实现相对于用户关于显示区域的操作输入，具有平滑的响应性地显示移动图像。附图说明图1是示出一种环境的图，其中图像处理系统可被用于本实施例；图2示出可用于图1的图像处理系统的输入设备的外部配置的示例；图3概念性地示出了根据本实施例的要被处理的移动图像的分层数据；图4示出根据本实施例的图像处理设备的配置；图5详细示出了根据本实施例的具有使用具有分层结构的移动图像数据来显示移动图像的功能的控制单元的配置；图6示意性示出根据本实施例的由差分图像表示具有分层结构的移动图像数据的某些分层的状态；图7显示了用于示出根据本实施例的在一些分配模式之间切换分配原始图像分层和差分图像分层的示例性实施例的图；图8示出根据本实施例的用于分配原始图像分层和差分图像分层的时间表的示例；图9示出根据本实施例的用于分配原始图像分层和差分图像分层的时间表的示例；图10示出根据本实施例的用于分配原始图像分层和差分图像分层的时间表的另一示例；图11示出根据本实施例的用于分配原始图像分层和差分图像分层的时间表的又一示例；图12示出根据本实施例的不改变地采用移动图像帧的顺序作为移动图像流的数据顺序的情况下的移动图像流的配置；图13示出根据本实施例的在相同类型的帧本文档来自技高网...

【技术保护点】
一种移动图像数据生成设备，生成通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据，以便按照显示图像的图像处理设备所需的分辨率在将要被使用的分层切换到另一分层的同时生成显示图像，包括：分层数据生成单元，配置为通过将每个图像帧缩小到多个尺寸来为每个图像帧生成相应分层的图像数据，其被配置为在至少一个分层的图像数据中包括，有关表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，以便生成分层的移动图像数据；以及压缩数据生成单元，被配置为压缩和编码由分层数据生成单元生成的分层移动图像数据，并将经压缩和经编码的分层移动图像数据存储在存储设备中。

【技术特征摘要】
【国外来华专利技术】2011.08.01 JP 2011-1687851.一种移动图像数据生成设备，生成通过按照分辨率的顺序将表示以不同的分辨率构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据，以便按照显示图像的图像处理设备所需的分辨率在将要被使用的分层切换到另一分层的同时生成显示图像，包括：分层数据生成单元，配置为通过将每个图像帧缩小到多个尺寸来为每个图像帧生成相应分层的图像数据，其被配置为在至少一个分层的图像数据中包括，有关表示从不同分层上的图像的放大的图像上相减的差分图像的数据，该不同分层上的图像表示具有低于所述一个分层的分辨率的分辨率的相同的图像帧，以便生成分层的移动图像数据；以及压缩数据生成单元，被配置为压缩和编码由分层数据生成单元生成的分层移动图像数据，并将经压缩和经编码的分层移动图像数据存储在存储设备中，所述移动图像数据生成设备进一步包括安排单元，被配置为确定切换安排时间表，以便随着时间的推移，将分层移动图像数据中包含差分图像的数据的分层切换到另一分层，其中，所述分层数据生成单元根据安排单元所确定的切换安排时间表指定要被设置为每个图像帧的差分图像的分层和区域，并且生成分层移动图像数据。2.根据权利要求1所述的移动图像数据生成设备，其中，所述安排单元对是否要为每个分层保留差分图像的数据进行切换，并且在对于除了在构成分层移动图像数据的分层之中具有最低分辨率的分层之外的所有分层共用的时间点，将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合。3.根据权利要求1所述的移动图像数据生成设备，其中，所述安排单元对是否要为每个分层保留差分图像的数据进行切换，并且在对于通过分割除了具有最低分辨率的分层之外的构成分层移动图像数据的多个分层而生成的多个分组中的每一个所共用的时间点，将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合。4.根据权利要求1所述的移动图像数据生成设备，其中，所述安排单元在是否要为至少在分层之一中的每个区域保留差分图像的数据进行切换，并且在对于表示多个分层上的相同地点的区域所共用的时间点，将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合，其中为所述多个分层的每个区域做出切换。5.根据权利要求1至4中任一项所述的移动图像数据生成设备，其中，所述安排单元为每预定数量的图像帧将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合。6.根据权利要求1至4中任一项所述的移动图像数据生成设备，其中，所述安排单元获取有关移动图像中场景变化的时机的信息，并在该场景变化的时机将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合。7.根据权利要求1至4中任一项所述的移动图像数据生成设备，其中，当每单位区域中切换单元的数据尺寸的累积量达到预定阈值时所述安排单元将保留差分图像的数据的分层和除此之外的分层的组合切换到另一组合。8.根据权利要求1至7中任一项所述的移动图像数据生成设备，其中所述压缩数据生成单元：基于数据是否是关于差分图像，对于通过按预定尺寸划分通过分层数据生成单元生成的分层移动图像数据中每个分层上的图像而生成的并列显示图像的按时间顺序的数据进行分类；通过按照预定规则为每组分类组合分类按时间顺序的数据而生成新的按时间顺序的数据；以及以数据的顺序来压缩和编码新的按时间顺序的数据。9.根据权利要求1至7中任一项所述的移动图像数据生成设备，其中无论数据是否是关于差分图像，所述压缩数据生成单元都为通过按预定尺寸划分每个分层上的图像而生成的并列显示图像的相应的按时间顺序的数据来压缩和编码由分层数据生成单元生成的分层移动图像数据。10.根据权利要求8或9所述的移动图像数据生成设备，其中，所述压缩数据生成单元至少将切换至差分图像/从差分图像切换之后的第一并列显示图像的数据设置为可被独立地解码的内部帧，第一并列显示图像的数据包含在要被压缩的按时间顺序的数据中。11.根据权利要求1至7中任一项所述的移动图像数据生成设备，其中所述压缩数据生成单元为多个分层上的图像上的每个相同区域组合和压缩并列显示图像的按时间顺序的数据以形成一个压缩数据单元，其中所述并列显示图像通过按预定尺寸划分由分层数据生成单元生成的分层移动图像数据中每个分层上的图像而生成，并且其中，配置一个压缩数据单元使得包含在该单元中的多个分层之中的顶层保留为了恢复另一分层保留的差分图像所需的原始图像的数据。12.一种移动图像显示设备，包括：移动图像数据存储单元，被配置为存储通过按照分辨率的顺序将以不同的分辨率表示构成一个移动图像的各图像帧的多个图像系列按层排列来配置的分层的移动数据；输入信息获取单元，被配置为获取请求移动正在显示的移动图像中的显示区域的信号；显示图像处理单元，被配置为对每个图像帧生成根据请求移动的信号的显示图像，同时按照由输入信息获取单元获取的所述请求移动的信号所确定的所需的分辨率将要被使用的分层切换到另一分层，所述分层包含在所述分层...

【专利技术属性】
技术研发人员：稻田彻悟，大场章男，势川博之，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP