全向视频编码和流传输制造技术

用于捕获、编码和流传输360°视频的系统、设备和方法。设备允许鱼眼镜头被放置在移动设备摄像头的上方，从而允许两个或更多个摄像头捕获完整的360°视频。全向视频可以被分割为多个极和一个或多个赤道区块。可以将分段的区块堆叠到帧中以用于编码。为了提供自适应视点流传输，可以对多个视点进行编码。

Omnidirectional Video Coding and Streaming

Systems, equipment and methods for capturing, encoding and streaming 360 degree video. The device allows fisheye lenses to be placed above mobile device cameras, allowing two or more cameras to capture a full 360 degree video. Omnidirectional video can be divided into multiple poles and one or more equatorial blocks. Segmented blocks can be stacked into frames for coding. In order to provide adaptive viewpoint stream transmission, multiple viewpoints can be coded.

【技术实现步骤摘要】
【国外来华专利技术】全向视频编码和流传输
本公开涉及视频的编码和流传输，尤其涉及对全向视频进行编码和流传输。
技术介绍
全向视频提供360°视野的环境。全向视频允许观看者观看360°环境中的任何所需部分。对全向视频进行编码可以通过将全向视频从球体投影到一个或多个矩形上而使用用于二维(2D)视频的现有编码技术。图1描绘了使用等矩形投影(equirectangularprojection)和立方体投影(cubicprojection)将全向视频从球体100投影到一个或多个矩形102、104a、104b、104c、104d、104e、104f上。在等矩形投影和立方体投影这两种情况下，所产生的2D投影都有浪费的像素。如图1中所示的，全向视频的面积是球体102的面积。如果全向视频的球体具有半径r，则全向视频覆盖4πr2的面积。然而，在等矩形投影中，球体的面积被投影到面积为2π2r2的矩形上，该面积是球体面积的157％。类似地，在立方体投影中，球体的面积被投影到6个方形上这6个方形的组合面积为6πr2，该面积是球体面积的150％。因此，这两种投影技术都会导致相对大量的不必要的信息被编码。在2D视频中，摄影师倾向于使本文档来自技高网...

【技术保护点】
1.一种对全向视频进行编码的方法，包括：接收球形全向视频数据；将所述球形全向视频数据的帧分割成北极分段、南极分段和至少一个连接分段，其中所述北极分段通过将所述球形全向视频数据的所述帧的顶部球形圆顶部分映射到圆上而形成，所述南极分段通过将所述球形全向视频数据的所述帧的底部球形圆顶部分映射到圆上而形成，以及所述至少一个连接分段通过将所述球形全向视频数据的所述帧的、连接所述顶部球形圆顶部分和所述底部球形圆顶部分的球形连接部分映射到至少一个矩形上而形成；将所述北极分段、所述南极分段和所述至少一个连接分段堆叠在一起，以形成对应于所述球形全向视频数据的所述帧的二维(2D)帧；以及对所述2D帧进行编码。

【技术特征摘要】
【国外来华专利技术】2016.01.22 US 62/286,252;2016.01.25 US 62/286,5161.一种对全向视频进行编码的方法，包括：接收球形全向视频数据；将所述球形全向视频数据的帧分割成北极分段、南极分段和至少一个连接分段，其中所述北极分段通过将所述球形全向视频数据的所述帧的顶部球形圆顶部分映射到圆上而形成，所述南极分段通过将所述球形全向视频数据的所述帧的底部球形圆顶部分映射到圆上而形成，以及所述至少一个连接分段通过将所述球形全向视频数据的所述帧的、连接所述顶部球形圆顶部分和所述底部球形圆顶部分的球形连接部分映射到至少一个矩形上而形成；将所述北极分段、所述南极分段和所述至少一个连接分段堆叠在一起，以形成对应于所述球形全向视频数据的所述帧的二维(2D)帧；以及对所述2D帧进行编码。2.根据权利要求1所述的方法，该方法还包括：将所述球形全向视频数据的多个帧分割成多个北极分段、多个南极分段和多个连接分段；将所述多个北极分段、所述多个南极分段和所述多个连接分段堆叠成多个2D帧；以及对所述多个2D帧进行编码。3.根据权利要求1所述的方法，其中，所述至少一个连接分段包括多个连接分段，每个所述连接分段将所述球形连接部分的一部分映射到相应的矩形上。4.根据权利要求1所述的方法，其中圆极被放置在方形内。5.根据权利要求1所述的方法，其中所述北极分段、所述南极分段和所述至少一个连接分段中的每一者都包括重叠的像素数据。6.根据权利要求5所述的方法，其中，所述分段之间存在高达5％的重叠。7.根据权利要求6所述的方法，其中，所述至少一个连接分段包括2到4个分段。8.根据权利要求2所述的方法，该方法还包括在对所述2D帧进行编码之前跟踪一个或多个感兴趣的区域(ROI)。9.根据权利要求1所述的方法，其中，所述对所述2D帧进行编码包括：将一个或多个视点编码到第一流中；以及针对每个视点，对附加流进行编码，所述附加流包括帧内编码帧流、预测帧流和双向预测帧流。10.根据权利要求9所述的方法，该方法还包括：对编码后的视点中的至少一者进行流传输。11.一种用于对全向视频进行编码的系统，包括：处理器，用于执行指令；以及存储器，用于存储指令，当所述指令由所述处理器执行时，配置所述系统提供包括以下步骤的方法：接收球形全向视频数据；将所述球形全向视频数据的帧分割成北极分段、南极分段和至少一个连接分段，其中，所述北...

【专利技术属性】
技术研发人员：温子煜，赵一开，李吉生，郭碧川，温江涛，李思涵，陆垚，
申请(专利权)人：奥里集团有限公司，
类型：发明
国别省市：开曼群岛,KY