用于传输立体视频内容的方法和装置制造方法及图纸

根据本公开的用于传输立体视频内容的方法包括以下步骤：基于包括具有视差的多个全向视频的立体视频的数据，生成包括从多个全向视频投影的多个第一视图的第一帧；通过基于区域式封装信息封装被包括在多个第一视图中的多个第一区域来生成包括多个第二视图的第二帧；以及传输关于所生成的第二帧的数据，其中，多个第二视图包括对应于多个第一区域的多个第二区域，并且该区域式封装信息包括关于多个第二区域中的每一个的形状、定向或转换的信息。

Methods and devices for transmitting stereoscopic video content

The method for transmitting stereoscopic video content according to the present disclosure includes the following steps: generating a first frame of a plurality of first views including projections from a plurality of omnidirectional videos based on the data of stereoscopic videos including a plurality of omnidirectional videos with parallax; generating a plurality of second views including a plurality of first regions by encapsulating a plurality of first regions included in a plurality of first views based on the regional encapsulation information The second frame of the figure; and the transmission of data about the generated second frame, wherein the plurality of second views include a plurality of second regions corresponding to the plurality of first regions, and the region encapsulation information includes information about the shape, orientation or conversion of each of the plurality of second regions.

【技术实现步骤摘要】
【国外来华专利技术】用于传输立体视频内容的方法和装置
本公开涉及一种用于封装立体全向视频的数据的方法和装置。
技术介绍
互联网已经从以人为中心的连接网络演变为物联网(InternetofThings，IoT)网络，在以人为中心的连接网络中，人类可以创建和消费信息，在物联网网络中，诸如对象的分布式组件可以交换和处理信息。例如，在万物互联网(InternetofEverything，IoE)技术中，大数据处理技术通过与云服务器等的连接与IoT相结合。由于实施IoT需要诸如传感技术、有线/无线通信和网络基础设施、服务接口技术、安全技术等技术元素，因此已经研究了用于传感器网络、机器对机器(machine-to-machine，M2M)通信和机器类型通信(machine-typecommunication，MTC)的技术，以用于建立对象之间的连接。在IoT环境中，可以提供收集和分析从连接的对象生成的数据的智能互联网技术(Internettechnology，IT)服务来为人类生活创造新的价值。通过现有IT技术与各种行业的融合和整合，IoT可以适用于智能家居、智能建筑、智能城市、智能汽车或联网汽车、智能电网、医疗保健、智能家电、先进医疗保健服务等领域。同时，用于实施IOT的内容也正在演变。也就是说，随着黑白内容不断演变为彩色内容高清(highdefinition，HD)、超高清电视(ultrahighdefinitiontelevision，UHD)和近期的高动态范围(highdynamicrange，HDR)内容的标准化和分布，对于可以在诸如Oculus和SamsungGearVR(virtualreality，虚拟现实)等VR设备上播放的虚拟现实(VR)内容的研究正在进行中。VR系统可以基本上监视用户，并允许用户使用预定控制器向内容显示设备或处理单元提供反馈输入，并且该设备或单元可以处理输入并相应地调节内容以使能够交互。VR生态系统中的基本布置包括，例如，头戴式显示器(headmounteddisplay，HMD)、无线、移动VR、电视(television，TV)、洞穴自动虚拟环境(caveautomaticvirtualenvironments，CAVE)、外围设备和触觉(为VR提供输入的其他控制器)、内容捕获(相机、视频拼接)、内容工作室(游戏、直播、电影、新闻和纪录片)、工业应用(教育、医疗保健、房地产、建筑、旅游)、生产工具和服务(3D引擎、处理能力)、应用商店(用于VR媒体内容)等。在不实施下一代后高效视频编码(post-highefficiencyvideocoding，HEVC)编解码器(其可专门设计用于3D和360度内容、用于360度视频内容的捕获、编码和传输，其被执行以构建VR内容)的情况下，VR内容面临许多挑战。因此，需要一种更有效地配置和消费VR内容的方案。
技术实现思路
技术问题根据本公开的方面，提供了一种用于封装立体全向视频的数据的方法和装置。此外，根据本公开的方面，提供了一种基于梯形的区域式(region-wise)封装方法。此外，根据本公开的方面，提供了一种用于封装全向鱼眼(fisheye)视频的方法。技术解决方案根据本公开的一个方面，一种用于封装立体视频内容的方法包括：基于包括具有视差的多个全向视频的立体视频的数据，投影包括与多个全向视频相对应的多个第一视图的第一帧；发信号通知区域式封装信息；基于区域式封装信息，从被包括在多个第一视图中的多个第一区域中采样被包括在多个第二视图中的多个第二区域；以及基于区域式封装信息，封装包括多个第二视图的第二帧，其中，多个第一视图中的每一个包括360度视频或360度视频的一部分。根据本公开的另一方面，一种用于传输立体视频内容的方法包括：基于包括具有视差的多个全向视频的立体视频的数据，生成包括从多个全向视频投影的多个第一视图的第一帧；通过基于区域式封装信息来封装被包括在多个第一视图中的多个第一区域，生成包括多个第二视图的第二帧；以及传输关于所生成的第二帧数据，其中，多个第二视图包括与多个第一区域相对应的多个第二区域，并且该区域式封装信息包括关于多个第二区域中的每一个的形状、定向或转换的信息。根据本公开的另一方面，一种用于传输立体视频内容的装置包括：存储器；收发器；以及被配置为连接到存储器和收发器的至少一个处理器，其中，至少一个处理器被配置为基于包括具有视差的多个全向视频的立体视频的数据，生成包括从多个全向视频投影的多个第一视图的第一帧，通过基于区域式封装信息来封装被包括在多个第一视图中的多个第一区域，生成包括多个第二视图的第二帧，以及传输关于所生成的第二帧的数据；多个第二视图包括与多个第一区域相对应的多个第二区域，并且该区域式封装信息包括关于多个第二区域中的每一个的形状、定向或转换的信息。附图说明图1是示出实施根据本公开的用于封装立体全向视频的方法的计算机系统的配置的示例性图；图2示出了根据本公开的左/右立体360格式，以及图3示出了顶/底立体360格式；图4示出了单个采集时间实例的图像拼接、投影和区域式封装；图5是示出根据本公开的非区域式封装的示例性图；图6是示出根据本公开的分离且独立封装的示例性图；图7是示出根据本公开的分离且镜像封装的示例性图；图8是示出根据本公开的混合且独立封装的示例性图；图9是示出根据本公开的混合且成对式(pair-wise)封装的示例性图；图10是示出根据本公开的正多边形投影图像的封装方法的示例性图；图11是示出根据本公开的使用三角形图块(patch)的区域式封装方法的示例性图；图12是示出根据本公开的非区域式封装方法中使用的左区域和右区域的布局的示例性图；图13是示出根据本公开的非区域式封装方法中使用的上方区域和下方区域的布局的示例性图；图14示出了根据本公开的patch_shape的图块的形状；图15是示出根据本公开的用于根据等矩形投影(equirectangularprojection，ERP)中的纬度来调整区域大小和重新定位区域的区域式封装方法的示例性图；图16是示出根据本公开的用于视口相关流(viewportdependentstreaming)的立方体投影的区域式封装的示例性图；图17是示出根据本公开的用于封装ERP图像的方法的实施例的示例性图；图18是示出根据本公开的用于封装ERP图像的方法的示例性图；图19是示出根据本公开的用于将等矩形投影转换成立方体状布局的方法的示例性图；图20是示出根据本公开的用于将等矩形投影转换成立方体状布局的另一实施例的示例性图；图21是示出根据本公开的用于将ERP图像转换成立方体状ERP的方法的示例性图；图22是示出根据本公开的截顶正四棱锥(truncatedsquarepyramid，TSP)封装方法的示例图；图23是示出根据本公开的T本文档来自技高网...

【技术保护点】
1.一种用于传输立体视频内容的方法，包括：/n基于包括具有视差的多个全向视频的立体视频的数据，生成包括从所述多个全向视频投影的多个第一视图的第一帧；/n通过基于区域式封装信息封装被包括在所述多个第一视图中的多个第一区域，生成包括多个第二视图的第二帧；以及/n传输关于所生成的第二帧的数据，/n其中，所述多个第二视图包括对应于所述多个第一区域的多个第二区域，并且所述区域式封装信息包括关于所述多个第二区域中的每一个的形状、定向或转换的信息。/n

【技术特征摘要】
【国外来华专利技术】20171213 KR 10-2017-0171492;20170110 US 62/444,4111.一种用于传输立体视频内容的方法，包括：
基于包括具有视差的多个全向视频的立体视频的数据，生成包括从所述多个全向视频投影的多个第一视图的第一帧；
通过基于区域式封装信息封装被包括在所述多个第一视图中的多个第一区域，生成包括多个第二视图的第二帧；以及
传输关于所生成的第二帧的数据，
其中，所述多个第二视图包括对应于所述多个第一区域的多个第二区域，并且所述区域式封装信息包括关于所述多个第二区域中的每一个的形状、定向或转换的信息。


2.根据权利要求1所述的方法，其中，所述区域式封装信息还包括指示所述立体视频是具有左/右立体360格式还是顶/底立体360格式的信息。


3.根据权利要求1所述的方法，其中，所述区域式封装信息还包括立体封装类型，所述立体封装类型指示非区域式封装、分离且独立封装、分离且镜像封装、混合且独立封装、以及混合且成对式封装之一。


4.根据权利要求1所述的方法，其中，关于所述多个第二区域中的每一个的形状的信息指示多个形状中的一个作为所述多个第二区域中的每一个的形状，并且所述多个形状包括梯形。


5.根据权利要求1所述的方法，还包括：
基于由多个鱼眼透镜获得的图像，在所述多个全向视频当中生成一个全向视频，
其中，关于所述一个全向视频的信息包括：
指示通过根据相对于中心的特定角度划分由所述多个鱼眼透镜中的每一个获得的图像而获得的划分区域的数量的信息；
指示在所述划分区域中的每一个中对应于视场(FOV)的区域的信息；和
指示在所述划分区域中的每一个中与由另一鱼眼透镜获得的图像重叠的区域的信息。


6.根据权利要求1所述的方法，其中，所述多个第一视图中的每一个是球形投影图像、等矩形投影图像(EPR图像)、或正多面体投影图像，并且所述正多面体投影图像是四面体投影图像、立方体投影图像、正八面体投影图像、正十二面体投影图像、或正二十面体投影图像。


7.根据权利要求1所述的方法，其中，所述区域式封装信息还包括
所述多个第一区域的位置信息和大小信息以及
所述多个第二区域的位置信息和大小信息。


8.根据权利要求3所述的方法，其中，
当所述立体封装类型指示所述非区域式封装时，所述多个第一区域中的每一个的位置信息和大小信息与所述多个第二区域当中的对应的第二区域的位置信息和大小信息一致，
当所述立体封装类型指示所述分离且独立封装时，所述多个第二视图被分离并独立封装，
...

【专利技术属性】
技术研发人员：崔秉斗，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR