公开了一种能够以低延迟重放高图像质量立体图像的信息处理设备和信息处理方法。内插数据积累单元（112）积累作为内插数据的、接收到的L图像数据和R图像数据。基于行的多数据链路管理单元（105）对管理表格进行管理，在管理表格中针对每个行块单元登记L图像数据和R图像数据的分组错误数目等。当接收到的数据中包含的L图像数据和R图像数据的分组错误数目两者均小于阈值时，图像数据输入切换单元（106）输出接收到的数据，并且当任一个错误数目不小于阈值时，图像数据输入切换单元（106）输出内插数据积累单元（112）中积累的并且具有小于阈值的错误数目的内插数据。该技术可以应用于接收立体图像数据的中继设备。
【技术实现步骤摘要】
【国外来华专利技术】
本技术涉及一种，更具体地，涉及一种被设计成以低延迟再现高质量立体图像的。
技术介绍
现今，应用和服务正被广泛地用于经由诸如互联网和局域网(LAN)的各种网络传输图像数据(尤其是移动图像数据)。在经由网络传输图像数据的情况下，通常在传送到网 络之前通过传送侧的编码(压缩)操作来减少图像数据量。在接收侧，编码图像数据被解码(解压缩)以再现图像数据。最公知的图像压缩技术是移动图片专家组(MPEG)。在MPEG被用作图像数据传输时的图像压缩技术的情况下，所生成的符合MPEG的MPEG流根据互联网协议(IP)被存储到IP分组中，并且经由网络传输。随后通过使用诸如个人计算机(PC)、个人数字助理(PDA)或者便携式电话设备的通信终端接收MPEG流，并且将与MPEG流对应的图像显示在通信终端的屏幕上。同时，对于主要设计用于图像数据分送的实时通信，诸如视频点播或实况视频流式传输、视频会议或者视频电话通信，存在如下环境由于网络中的不稳定性，并非来自传送侧的所有图像数据都到达接收侧，或者存在如下环境通过具有不同能力的终端接收图像数据。具体地，存在如下情况其中从传送源传送的图像数据由具有低分辨率显示器和低性能中央处理单元(CPU)的诸如便携式电话设备的接收终端接收并且显示在该接收终端上，并且同时，该图像数据还由具有高分辨率显示器和高性能CPU的诸如桌面型个人计算机的接收终端接收并且显示在该接收终端上。当可能存在如下环境时其中图像数据由具有不同能力的终端接收，例如，使用被称为分级编码的技术用于以分级方式对要传送和接收的图像数据执行编码。在图像数据经历分级编码并且随后被传送的情况下，用于具有高分辨率显示器的接收终端的编码数据和用于具有低分辨率显示器的接收终端的编码数据彼此分离地存储在接收侧，并且图像尺寸和图像质量可以适当地改变。能够分级编码的压缩/解压缩技术的示例包括MPEG4和联合照相专家组2000(JPEG2000)。目前，细粒度可扩展(FGS)作为标准将被并入到MPEG4并被规范，并且得到的技术将实现低比特率和高比特率两者下的可扩展的分送。在主要牵涉小波变换的JPEG2000中，可以通过利用小波变换的特性基于空间分辨率分级地生成分组，或者可以基于图像质量分级地生成分组。再者，在JPEG2000中，分级数据可以通过不仅与静态图像兼容而且与移动图像兼容的Motion JPEG2000 (Part3)被存储为文件。此外，作为分级编码技术，已建议主要牵涉离散余弦变换(DCT)的技术。通过该技术，图像数据等通过DCT处理被分成高分量和低分量，并且通过使用所划分的高分量和低分量作为分级来生成分组。在许多情况下，在主要用于图像数据分送的通信中需要实时性质。因此，为了保证实时性质，用户数据报协议(UDP)被用作基于IP的通信协议，并且实时传送协议(RTP)被用在UDP之上的层中。每个RTP分组中存储的数据格式符合针对每个应用或每个编码技术定义的各个格式。作为通信网络，可以使用无线或有线LAN，或者光通信、xDSL、电力线通信、同轴线缆网络等。这些通信网络正在逐年变得越来越快。然而，在目前的环境下，在实时性质方面趋向于重视较大的显示图像或者较高质量的显示图像，并且待传送的图像数据量正在变得越来越大。因此，在使用MPEG或JPEG2000的典型的当前主流系统中，例如，译码延迟(编码延迟+解码延迟)等同于两个图片或更多，并且实时性质远不足以执行图像数据分送。有鉴于此，近来已提出了一种图像压缩技术，用于将图片分成行块，这些行块由N个行的集合(N是I或更大)形成，并且压缩每个行块的图像，以缩短延迟时间(以下将该技术称为基于行的编解码器)。基于行的编解码器的优点在于延迟时间是短的，并且由于在图像压缩的每一个单位中处理的信息量是小的，因此可以实现高速操作和硬件尺寸减小。 在例如专利文献I至4中公开了基于行的编解码器。具体地，专利文献I公开了一种对基于行的编解码器压缩的通信数据的每个行块适当地执行数据间隙内插操作的通信装置。专利文献2公开了一种在基于行的编解码器被用作压缩技术的情况下具有较低延迟和较高处理效率的通信装置。此外，专利文献3公开了一种使用小波变换通过传送由基于行的编解码器压缩的图像数据的低频分量来遏制图像质量的劣化的传送装置。专利文献4公开了一种稳定地实现由基于行的编解码器压缩的图像数据的通信中的同步的传送装置。再者，通过使用基于行的编解码器，可以以低延迟传送高质量图像数据。因此，预期基于行的编解码器在未来将被应用于实况广播的相机系统。本申请人已在专利文献5中建议一种通过使用数字调制器实现较高传送效率的相机系统。同时，典型的立体图像编码技术是多视点编码(MVC)。通过MVC，左眼用图像和右眼用图像被视为彼此无关的图像，并且被编码。另一立体图像编码技术是帧连续技术，通过该技术，左眼用图像和右眼用图像被交替地编码为帧图像。这里，为了易于解释，立体图像由具有两个视点的图像形成左眼用图像和右眼用图像。然而，立体图像可以由两个或更多个视点的图像形成。参照图1，描述了对编码为MPEG4或JPEG2000的接收数据执行内插操作的传统的通信终端装置10的示例结构。在附图中，带虚线的箭头指示控制信号流，并且带实线的箭头指示数据流。图像应用管理单元11从诸如图像源的应用接收传送请求，并且向传送数据压缩单元12提供待传送的图像数据等。根据来自应用的传送请求，图像应用管理单元11还执行路径控制和利用服务质量(QoS)的对无线线路的控制。此外，图像应用管理单元11将从接收数据解码单元25提供的图像数据等存储到存储器(未示出)中，并且向预定应用通知该接收。图像应用管理单元11还可以控制诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像输入设备。传送数据压缩单元12按MPEG4或JPEG2000压缩从图像应用管理单元11提供的图像数据，以减少图像数据的数据量。传送数据压缩单元12随后将经压缩的图像数据输出到传送存储器13。传送存储器13存储从传送数据压缩单元12输入的图像数据。传送存储器13还存储从接收数据划分单元21提供的并且将被传输到另一终端的传输数据。传送存储器13还可以存储不会被传输到另一终端的数据。传送存储器13还向传送/接收控制单元14通知数据存储状态。根据从传送存储器13提供的存储状态，传送/接收控制单元14请求传送数据生成单元15开始操作。传送/接收控制单元14还根据诸如时分多址(TDMA)或载波侦听多址(CSMA)的媒体接入控制(MAC)协议来控制物理层控制单元16。传送/接收控制单元14可以执行被称为前导侦听多址(PSMA)的媒体接入控制，PSMA与CSMA相似并且被设计为通过前导而非载波之间的相关性来识别分组。基于从接收数据划分单元21提供的信息，传送/接收控制单元14控制物理层控制单元16。根据来自传送/接收控制单元14的请求，传送数据生成单元15使传送存储器13中存储的图像数据和传输数据变成分组，并且开始生成传送分组的操作。传送数据生成单元15将所生成的传送分组提供给物理层Txl7。传送数据生成单元15还在需要的情况下控 制物理层控制单元16。在传送/接收控制单元14或传送数据生成单元15的控制下，物理本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.06.24 JP 2010-1434011.一种信息处理装置，包括 接收单元，被配置成以行块为单位接收多视点图像数据，所述多视点图像数据由基于行的编解码器编码并且形成立体图像数据； 存储单元，被配置成存储内插数据，所述内插数据是所述接收单元接收到的所述多视点图像数据；以及 图像输出单元，被配置成当所述接收单元接收到的预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于第一阈值时，输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据中的错误数目小于第二阈值。2.根据权利要求I所述的信息处理装置，进一步包括 管理单元，被配置成管理表格，在所述表格中登记每个视点的预定量的图像数据中的错误数目， 其中，基于所述表格，所述图像输出单元输出所述内插数据。3.根据权利要求I所述的信息处理装置，其中，当所述接收单元接收到的所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值时，所述图像输出单元输出所述预定量的多视点图像数据。4.根据权利要求I所述的信息处理装置，其中，当所述预定量的多视点图像数据中的至少一个视点的图像数据中的错误数目等于或大于所述第一阈值时，或者当到达时间值等于或大于第三阈值时，所述图像输出单元输出与所述预定量的多视点图像数据对应的预定量的内插数据，所述预定量的内插数据存储在所述存储单元中，所述预定量的内插数据具有比所述第二阈值小的错误数目并且具有比第四阈值小的到达时间值。5.根据权利要求4所述的信息处理装置，其中，当所述预定量的多视点图像数据中的所有错误数目小于所述第一阈值并且图像数据的所有到达时间值小于所述第三阈值时，所述图像输出单元输出所述预定量的多视点图像数据。6.根据权利要求I所述的信息处理装置，进一步包括 插入单元，当在所述接收单元接收到的所述多视点图像数据中的至少一个视点的图像数据中存在错误时，将伪数据插入到所述多视点图像数据的一部分中，所述部分对应于具有错误的部分， 其中，当所有错误数目小于所述第一阈值时，所述图像输出单元输出具有由所述插入单元插入到其中的所述伪数据的、所述预定量的多视点图像数据。7.根据权利要求I所述的信息处理装置，其中所述存储单元存储...
【专利技术属性】
技术研发人员：石见英辉，板仓英三郎，椿聪史，柿谷慧，高桥宏彰，
申请(专利权)人：索尼公司，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。