用于高分辨率影像流的影像比特流生成方法和设备技术

公开了一种生成用于高分辨率影像流的影像比特流的方法和设备。本申请实施方式的主要目的是提供用于通过根据区域对不同的影像质量的一幅影像进行编码来生成影像流的方法和设备，用以高效地发送大量高分辨率影像内容。

Image Bit Stream Generation Method and Equipment for High Resolution Image Stream

A method and apparatus for generating image bit streams for high resolution image streams are disclosed. The main purpose of the embodiment of the present application is to provide a method and device for generating an image stream by encoding an image of different image quality according to the region, so as to efficiently transmit a large number of high resolution image contents.

【技术实现步骤摘要】
【国外来华专利技术】用于高分辨率影像流的影像比特流生成方法和设备
在一些实施方式中，本公开涉及一种用于通过针对每个影像区域以不同比特率压缩影像来生成影像比特流以便高效地流式传输大量高分辨率影像内容的方法和设备。
技术介绍
本部分中的陈述仅提供与本公开有关的背景信息，而并不一定构成现有技术。在传统影像内容流技术的自适应比特率流(ABS)中，编码器编码并发送影像内容，以对应于每个服务向内容递送网络(CDN)的流服务器请求的比特率。在以不同比特率对每个影像内容进行编码之后，流服务器准备具有不同质量的多个编码文件，以便将影像内容适当地分发给用户终端设备和网络环境。流服务器以固定的时间间隔向用户终端设备流式传输所请求的根据可变的用户环境而变化的比特率的文件。例如，用户终端设备可以以一秒为单位从高分辨率(HD)类别中的以2Mbps编码的比特流、标准清晰度(SD)类别中的以1Mbps编码的比特流以及低清晰度(LD)类别中的以0.5Mbps编码的比特流当中接收并重建适合于用户环境的比特流。需要高影像质量的像虚拟现实(VR)内容一样的内容占用了大量数据，并且最终需要许多硬件资源。当以不同质量编码相同内容时，借助于传统技术来流式传输这些大量内容会导致数据量进一步增加。这在流服务器中占用了非常高容量的存储空间。因此，高效地流式传输大量影像内容需要一种减少数据量的方法。
技术实现思路
技术问题为了高效地传送大量高清影像内容，在一些实施方式中，本公开试图提供一种用于通过针对影像内容的每个影像区域对具有不同影像质量的影像内容进行编码来生成影像比特流的方法和设备。技术方案根据本公开的一些实施方式，一种用于高分辨率影像流的影像提取和合并设备包括编码数据接收单元和影像生成单元。所述编码数据接收单元被配置为接收针对输入影像的分别以不同比特率编码的多个编码比特流。所述影像生成单元被配置为基于所述输入影像的多个区域的重要性对所述多个区域进行分类，针对所述多个区域中的每一个区域，从以与所述区域的重要性对应的比特率编码的编码比特流中提取与所述区域对应的数据，合并所提取的分别与所述多个区域对应的所述数据，以生成混合影像流。根据本公开的一些实施方式，一种用于高分辨率影像流的影像流设备包括多信道流接收单元、比特流选择单元和终端请求接收单元。所述多信道流接收单元被配置为接收包括编码比特流的多个混合影像流，所述编码比特流是根据输入影像的多个构成区域的重要性而针对所述多个构成区域中的每一个区域分别以不同比特率编码的。所述比特流选择单元被配置为获得所述输入影像的高重要性位置信息，从所述多个混合影像流当中选择与所述高重要性位置信息匹配的混合影像流，并发送所选择的所述混合影像流。所述终端请求接收单元被配置为从用户终端设备接收所述高重要性位置信息。根据本公开的一些实施方式，一种生成用于高分辨率影像流的影像比特流的方法包括以下步骤：接收针对输入影像的分别以不同比特率编码的多个编码比特流；基于所述输入影像的多个区域中的每一个区域的重要性对所述多个区域进行分类；针对多个区域中的每一个区域，从所述多个编码比特流当中的以与所述区域的重要性对应的比特率编码的编码比特流中提取与所述区域对应的数据；以及合并所提取的分别与所述多个区域对应的编码数据，以生成混合影像流。根据本公开的一些实施方式，一种生成用于高分辨率影像流的影像比特流的方法包括以下步骤：获得包括编码比特流的多个混合影像流，所述编码比特流是根据输入影像的多个构成区域的重要性而针对所述多个构成区域中的每一个区域分别以不同比特率编码的；获得所述输入影像的高重要性位置信息；以及从所述多个混合影像流当中选择与所述高重要性位置信息匹配的混合影像流，并且发送所选择的所述混合影像流。有益效果如上所述，在一些实施方式中，本公开提供了用于生成影像比特流的方法和设备，其通过针对每个影像区域对具有不同影像质量的每个影像进行编码来高效地传送大量高清晰度影像内容。根据本公开的一些实施方式，利用在用户的观看区域(视场内)与用户的非观看区域(视野外)之间应用可区分的比特率并基于用户在用户终端设备(例如，VR)的视角发送诸如4K超高清晰度(4KUHD)和8KUHD的超高分辨率的影像内容，从而节省了要再现为背景的影像区域的数据量，这致使缓冲效果最小化。根据本公开的一些实施方式，当发送诸如VR内容的高分辨率私有影像内容时，随着用户的观看区域(或视角)的变化而提供将与用户的视野对应的影像区域快速地从低质量影像切换到高质量影像。根据本公开的一些实施方式，较少量的硬件资源用于渲染影像内容，这具有用于提供诸如VR内容的超高清晰度影像内容的硬件所需的性能级别较低(或规范不太严格)的效果。附图说明图1是根据本公开的一些实施方式的影像比特流生成系统的配置的示意图。图2a是示出影像或图像中的图块(tile)经历可以参考同一图像中的其它图块的帧间预测的情况的示图。图2b是示出图块经历可以专门参考同一图块所属的特定区域内的同一图像上的其它图块的帧间预测的情况的示图。图3是包括在一个图像中的图块集中的图块索引和显示区域的示图。图4是根据本公开的一些实施方式的影像提取和合并设备的配置的示图。图5是影像中的所有图块被独立地编码而不参考相邻图块以便基于关于重要性位置的信息或高重要性位置信息来提取和合并图块的情况(a)和情况(b)的示图。图6是基于图5的(a)和(b)中的编码数据而根据本公开的一些实施方式构造的影像比特流的概念图(a)至(d)。图7是基于图5的(a)和(b)中的编码数据而根据本公开的另一实施方式构造的影像比特流的概念图(a)至(d)。图8是通过使用从输入影像源检测到的一个或更多个对象位置来设置重要性区域的情况(a)和情况(b)的示图，其中，所设置的重要性区域的数量取决于检测到的对象的数量。图9是根据本公开的另一实施方式的输入影像源的编码数据的概念图(a)至(d)。图10是基于图9中的从(a)至(d)的编码数据而根据本公开的一些实施方式构造的混合影像流的概念图(a)至(d)。图11是基于图9中的从(a)至(d)的编码数据而根据本公开的另一实施方式构造的混合影像流的概念图(a)至(d)。图12是根据本公开的又一实施方式构造的混合影像流的概念图(a)至(d)。图13示出了分别生成由独立图块组成的高比特率编码数据和由非独立图块组成的高比特率编码数据以及通过使用这两个经过编码的比特流来提取和合并影像的示例处理。图14示出了合并的混合影像流的示例图块结构，其中，从由非独立图块组成的编码数据2中提取第5号图块，并且从由独立图块组成的编码数据1中提取所有其它图块。图15a是由独立图块组成的影像的示图。图15b是由非独立图块组成的影像的示图。图16a是360°球体上的视角区域(或显示区域)的示图。图16b是360°球体上的坐标的示图。图17a是球体上的显示区域的示图。图17b是等矩形影像中的与图17a对应的区域的示图。图18是等矩形显示影像和包括在该影像中的图块的示图。图19是根据一些实施方式的流递送设备140的框图。图20是根据一些实施方式的用户终端设备150的框图。图21是根据本公开的一些实施方式的生成混合影像流的方法的流程图。图22是根据本公开的另一实施方式的生成混合影像流的方法的流程图。具本文档来自技高网...

【技术保护点】
1.一种用于高分辨率影像流的影像提取和合并设备，所述设备包括：编码数据接收单元，所述编码数据接收单元被配置为接收针对输入影像分别以不同比特率编码的多个编码比特流；以及影像生成单元，所述影像生成单元被配置为：基于所述输入影像的多个区域中的每一个区域的重要性对所述多个区域进行分类，针对所述多个区域中的每一个区域，从所述多个编码比特流当中的以与所述区域的重要性对应的比特率编码的编码比特流中提取与所述区域对应的数据，并且合并所提取的分别与所述多个区域对应的所述数据，以生成混合影像流。

【技术特征摘要】
【国外来华专利技术】2016.07.01 KR 10-2016-00834711.一种用于高分辨率影像流的影像提取和合并设备，所述设备包括：编码数据接收单元，所述编码数据接收单元被配置为接收针对输入影像分别以不同比特率编码的多个编码比特流；以及影像生成单元，所述影像生成单元被配置为：基于所述输入影像的多个区域中的每一个区域的重要性对所述多个区域进行分类，针对所述多个区域中的每一个区域，从所述多个编码比特流当中的以与所述区域的重要性对应的比特率编码的编码比特流中提取与所述区域对应的数据，并且合并所提取的分别与所述多个区域对应的所述数据，以生成混合影像流。2.根据权利要求1所述的影像提取和合并设备，其中，所述影像生成单元被配置为生成指示与所述重要性对应的图块区域在所述输入影像中的位置的信息。3.根据权利要求1所述的影像提取和合并设备，其中，当所述输入影像是从三维影像二维映射的影像并且根据所述重要性设置的重要区域包括所述输入影像的顶端区域或底端区域时，所述影像生成单元被配置为另外将所述输入影像的所述顶端区域的相对端区域或所述底端区域的相对端区域设置为所述重要区域。4.根据权利要求1所述的影像提取和合并设备，其中，所述影像生成单元被配置为在所述输入影像是从三维影像二维映射的影像并且所述输入影像内的最高重要性区域包括所述输入影像的顶部区域或底部区域中的至少一个时，将所述顶部区域或所述底部区域中的至少一个从所述最高重要性区域中排除。5.根据权利要求1所述的影像提取和合并设备，其中，所述影像生成单元被配置为针对每个所述编码比特流生成第一编码比特流和第二编码比特流，其中，所述第一编码比特流是在帧间预测期间不允许相邻图块之间进行参考的情况下编码的数据，所述第二编码比特流是在所述帧间预测期间允许相邻图块之间进行参考的情况下编码的数据。6.根据权利要求5所述的影像提取和合并设备，其中，所述影像生成单元被配置为：从所述第一编码比特流中提取与在根据所述重要性确定的重要区域和除了所述重要性区域以外的区域之间的边界的相邻区域对应的图块的数据；并且从所述第二编码比特流中提取与所述边界的非相邻区域对应的图块的数据。7.根据权利要求1所述的影像提取和合并设备，其中，所述影像生成单元被配置为基于根据所述重要性确定的重要区域的位置来生成具有各种组合的图块数据的多个混合影像流。8.根据权利要求7所述的影像提取...

【专利技术属性】
技术研发人员：林晶娟，申在燮，柳圣杰，孙世勋，金炯德，李善英，
申请(专利权)人：SK电信有限公司，派视特立公司，
类型：发明
国别省市：韩国,KR