编码装置、解码装置和传输控制方法制造方法及图纸

本发明专利技术可以容易地实现在用于解码视频的编码信息已经丢失或不存在的情况下恢复适当解码的视频的机制。本发明专利技术提供一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制编码流向解码视频的解码装置的传输。设置部被配置为针对部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且传输控制部被配置为在解码装置处检测到编码信息的丢失或不存在时限制传输，使得仅传输对应于部分区域内的瓦片的编码流。

【技术实现步骤摘要】
【国外来华专利技术】编码装置、解码装置和传输控制方法
本公开涉及编码装置、解码装置和传输控制方法。
技术介绍
高端终端的传播以及有线和无线网络的扩展已经越来越多地增加了通过网络传输或观看视频的机会。当使用有限的网络带宽实时或至少以低延迟传输视频时，视频通常以压缩编码和速率控制编码，以便在传输之前与带宽匹配。这种视频传输的预期目的包括例如视频会议、视频聊天、通过安全摄像头的监视和实时视频的分发(用于体育、音乐会等)。诸如MPEG-2和H.264/AVC之类的传统压缩编码技术除了帧内的预测(帧内预测)之外还提供了基于帧间的预测(帧间预测)的运动补偿的支持，从而实现高编码效率。然而，在传输的编码信息由于诸如分组丢失之类的任何原因变得不可用的情况下，帧间预测将不能很好工作，并且内容的解码将失败。在这样的故障的情况下，可以通过传输至少一个仅使用帧内预测编码的图像(这里称为I(Intra)图像))来恢复内容的正常解码/再现。这种类型的传输被称为“刷新”。然而，由于与其他类型的图像(例如，可用于运动补偿的P图像或B图像)相比，I图像的代码量通常显著较大，所以在恢复期间可能发生传输延迟或另一解码失败。专利文献1公开了一种技术，其通过在部分区域的多个帧上以分布式方式执行刷新来抑制上述刷新期间的代码量的增加。专利文献2公开了一种动态地控制运动补偿的搜索区域的技术，使得未对在多个帧上执行分布式刷新时尚未恢复的区域进行帧间参考。H.265/HEVC(以下称为HEVC)是H.264/AVC之后的压缩编码技术，其由作为ITU-T和ISO/IEC的联合标准组的联合协作小组-视频编码(JCTVC)标准化(参见非专利文献1)。参考列表专利文献专利文献1：JPH7-95564A专利文献2：JPH7-95588A非专利文献非专利文献1：ITU-T,"H.265:Highefficiencyvideocoding",RecommendationITU-TH.265，2014年10月。
技术实现思路
技术问题正如在专利文献2中所描述的，由于在多个帧上的常规分布式刷新需要复杂的帧间参考控制，因此难以实现简单的设备实现。因此，仍然需要可以提供更简单实现的技术。待解决的问题根据本公开，提供了一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制编码流向解码视频的解码装置的传输。设置部被配置为针对部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且传输控制部被配置为在解码装置处检测到编码信息的丢失或不存在时限制传输，使得仅传输对应于部分区域内的瓦片的编码流。此外，根据本公开，提供了一种在编码装置中控制视频到解码装置的传输的传输控制方法，方法包括：将包括在要编码的视频中的每个图像分割成多个瓦片；针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；以每个瓦片为基础对每个图像进行编码以生成编码流；以及控制编码流向解码视频的解码装置的传输。针对部分区域内的瓦片的运动补偿的瓦片外参考被设置为禁止，并且在解码装置处检测到编码信息的丢失或不存在时，传输被限制，使得仅传输对应于部分区域内的瓦片的编码流。另外，根据本公开，提供了一种解码装置，包括：传输控制部，被配置为向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，编码装置是视频的传输源；以及解码部分，被配置为解码从编码装置接收的视频的编码流以获得视频。在正常操作中，接收与多个瓦片中的全部瓦片相对应的编码流，并且在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。另外，根据本公开，提供了一种在解码装置中控制来自编码装置的视频的传输的传输控制方法，方法包括：向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，编码装置是视频的传输源；以及从编码装置接收视频的编码流；以及解码所接收的编码流以获得视频。在正常操作中，接收与多个瓦片中的全部瓦片相对应的编码流，并且在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。本专利技术的有益效果如下：根据本公开的技术使得可以以简单的方式实现在用于解码视频的编码信息已经丢失或已经不存在的情况下获得适当解码的视频的机制。注意，上述效果不一定是限制性的。利用或取代上述效果，可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其它效果。附图说明[图1A]图1A是用于描述使用片分割的分布式刷新的说明图。[图1B]图1B是用于描述使用片分割的分布式刷新中的帧间参考的控制的说明图。[图2A]图2A是对比地示出片段分割和瓦片分割的说明图。[图2B]图2B是用于描述在HEVC中禁止瓦片外参考的设置的说明图。[图3]图3是示出根据实施例的视频传输系统的配置的示例的框图。[图4]图4是表示编码装置的结构例的框图。[图5]图5是用于描述恢复用传输区域的基本思想的说明图。[图6A]图6A是用于描述确定恢复用传输区域的技术的第一示例的说明图。[图6B]图6B是用于描述确定恢复用传输区域的技术的第二示例的说明图。[图6C]图6C是用于描述确定恢复用传输区域的技术的第三示例的说明图。[图7]图7是用于描述区域内恢复的示例的说明图。[图8]图8是用于说明扩展传输区域的第一示例的说明图。[图9]图9是用于说明扩展传输区域的第二示例的说明图。[图10]图10是用于描述切入再现时的恢复的示例的说明图。[图11]图11是用于描述场景变化时的恢复的示例的说明图。[图12]图12是示出根据实施例的在编码侧的传输控制处理的流程的示例的流程图。[图13A]图13A是示出图12所示的区域设置处理的详细流程的第一示例的流程图。[图13B]图13B是表示图12所示的区域设置处理的详细流程的第二示例的流程图。[图14]图14是示出图12所示的区域刷新处理的详细流程的示例的流程图。[图15]图15是表示图12所示的瓦片刷新处理的详细流程的示例的流程图。[图16A]图16A是示出图12所示的区域扩展处理的详细流程的第一示例的流程图。[图16B]图16B是示出图12所示的区域扩展处理的详细流程的第二示例的流程图。[图17]图17是表示解码装置的配置的示例的框图。[图18]图18是用于描述缩放部分图像的示例的说明图。[图19]图19是用于描述部分图像的矩形显示的示例的说明图。[图20]图20是表示实施方式的解码侧的传输控制处理的流程的示例的流程图。[图21]图21是表示装置的硬件结构的示例的框图。[图22]图22是表示电视机的概略结构的示例的框图。[图23]图23是表示移动电话的概略结构的示例的框图。[图24]图24是示出记录/再现装置的示意性配置的示例的框图。[图25]图25是示出成像装置的示意性配置的示例的框图。具体实施方式在下文中，将参考附图详细描述本公开的优选实施例。在本说明书和本文档来自技高网...

【技术保护点】
一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制所述编码流向解码所述视频的解码装置的传输，其中所述设置部被配置为针对所述部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且所述传输控制部被配置为在所述解码装置处检测到编码信息的丢失或不存在时限制所述传输，使得仅传输对应于所述部分区域内的瓦片的编码流。

【技术特征摘要】
【国外来华专利技术】2015.06.24 JP 2015-1264861.一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制所述编码流向解码所述视频的解码装置的传输，其中所述设置部被配置为针对所述部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且所述传输控制部被配置为在所述解码装置处检测到编码信息的丢失或不存在时限制所述传输，使得仅传输对应于所述部分区域内的瓦片的编码流。2.根据权利要求1所述的编码装置，其中所述编码部被配置为将所述部分区域内由于编码信息的所述丢失或所述不存在而变得不可解码的瓦片编码为内部瓦片，以及在所述传输受限于所述传输控制部的时间期间，与所述内部瓦片相对应的编码流被传输到所述解码装置。3.根据权利要求1所述的编码装置，其中所述设置部被配置为在所述传输受限于所述传输控制部的时间期间一个瓦片一个瓦片地逐渐地扩展所述部分区域，并且所述编码部被配置为将对应于所述部分区域的新扩展部分的瓦片编码为内部瓦片。4.根据权利要求3所述的编码装置，其中，通过所述部分区域的所述逐渐扩展，所述部分区域之外的由于编码信息的丢失或不存在而变得不可解码的瓦片变得可解码。5.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所有瓦片通过所述部分区域的所述逐渐扩展变得可解码之后重新设置所述部分区域。6.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所述传输受限于所述传输控制部的时间期间，以基于传输带宽的可用性而动态地确定的时间扩展所述部分区域。7.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所述部分区域不是矩形的情况下，将每个瓦片设置为要显示或不要显示，使得由所述解码装置解码的图像被矩形地显示。8.根据权利要求1所述的编码装置，其中，所述设置部被配置为基于预定义的区域信息或由用户输入的区域信息或者基于所述视频的分析来对所述图像设置所述部分区域。9.根据权利要求1所述的编码装置，其中，所述设置部被配置为基于从所述解码装置接收到的区域信息对所述图像设置所述部分区域。10.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为在传输到所述解码装置的分组已经丢失的情况下检测所需编码信息的所述丢失。11.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为在已经请求所述视频的切入再现的情况下检测所需编码信息的所述不存在。12.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为还在基于所述视频的分析确定已经发生了场景变化的情况下，限制所述传输，使得仅对应于所述部分区域内的瓦片的编码流被传输。13.根据权利要求1所述的编码装置，其中，所述设置部被配置为针对所述图像设置第...

【专利技术属性】
技术研发人员：藤本勇司，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP