虚拟实境中的圆形鱼眼视频制造技术

本发明专利技术提供包含描述360度视频中的鱼眼图像及所述360度视频的参数的系统、方法及计算机可读媒体。所述360度视频可随后在由全向摄像机捕捉时经存储及/或传输而未将所述鱼眼图像变换成某一其它格式。所述参数可稍后用于将所述鱼眼图像映射到中间格式，例如等矩形格式。所述中间格式可用于存储、传输及/或显示所述360度视频。所述参数可替代地或另外用于将所述鱼眼图像直接映射到可显示于360度视频呈现中的一格式(例如球面格式)。

【技术实现步骤摘要】
【国外来华专利技术】虚拟实境中的圆形鱼眼视频
技术实现思路
360度视频可为观看者提供一种沉浸式体验。举例来说，360度视频可为观看者提供一种虚拟实境体验，使所述观看者处于虚拟的不同时间及/或场所中。作为另一实例，360度视频可为观看者提供由远程装置(例如，无人飞行载具或其它装置)捕捉的视频内容的第一人称视角。捕捉360度视频的一种方法为使用一种全向摄像机。全向摄像机可通过仅几个透镜捕捉较宽视野。所得图像展现鱼眼效应。在各种实施方案中，提供包含描述360度视频中的鱼眼图像及所述360度视频的参数的系统、方法及计算机可读媒体。所述360度视频可随后在由全向摄像机捕捉时经存储及/或传输，而未将所述鱼眼图像变换成某一其它格式。参数可稍后用于将所述鱼眼图像映射到中间格式(例如等矩形格式)。所述中间格式可用于存储、传输及/或显示360度视频。参数可替代地或另外用于将所述鱼眼图像直接映射到可显示于360度视频呈现中的格式(例如球面格式)。根据至少一个实例，提供一种用于处理视频数据的方法。所述方法包含获得由全向摄像机捕捉的360度视频数据。360度视频数据的视频帧可包含场景的图像。在所述图像中，场景经扭变成所述图像的圆形区域。所述方法进一步包含获得与全向摄像机相关联的参数。所述参数可描述图像的圆形区域。所述方法进一步包含编码360度视频数据。所述方法进一步包含产生经编码视频数据。所述经编码视频数据可包含所述编码360度视频数据及与全向摄像机相关联的参数。在另一实例中，提供一种设备，其包含经配置以获得由全向摄像机捕捉的360度视频数据的存储器处理器。360度视频数据的视频帧可包含场景的图像。在所述图像中，场景经扭变成所述图像的圆形区域。处理器经配置以获得且可获得与全向摄像机相关联的参数。所述参数可描述图像的圆形区域。处理器经配置以编码且可编码360度视频数据。所述处理器经配置以产生且可产生经编码视频数据。所述经编码视频数据可包含经编码360度视频数据及与全向摄像机相关联的参数。在另一实例中，提供一种计算机可读媒体，其上存储有在由处理器执行时执行一种方法的指令，所述方法包含：获得由全向摄像机捕捉的360度视频数据。360度视频数据的视频帧可包含场景的图像。在所述图像中，场景经扭变成所述图像的圆形区域。所述方法进一步包含获得与全向摄像机相关联的参数。所述参数可描述图像的圆形区域。所述方法进一步包含编码360度视频数据。所述方法进一步包含产生经编码视频数据。所述经编码视频数据可包含经编码360度视频数据及与全向摄像机相关联的参数。在另一实例中，提供一种设备，其包含用于获得由全向摄像机捕捉的360度视频数据的装置。360度视频数据的视频帧可包含场景的图像。在所述图像中，场景经扭变成所述图像的圆形区域。所述设备进一步包含用于获得与全向摄像机相关联的参数的装置。所述参数可描述图像的圆形区域。所述设备进一步包含用于编码360度视频数据的装置。所述设备进一步包含用于产生经编码视频数据的装置。所述经编码视频数据可包含经编码360度视频数据及与全向摄像机相关联的参数。在一些方面中，场景经扭变成图像的一或多个圆形区域。在这些方面中，所述参数包含一或多个圆形区域的数量。在一些方面中，所述参数包含圆形区域的中心的水平坐标。在一些方面中，所述参数包含圆形区域的中心的垂直坐标。在一些方面中，所述参数包含全半径值，其中全半径为圆形区域的中心到圆形区域的外边缘的距离。在一些方面中，所述参数包含帧半径值，其中帧半径为圆形区域的中心到图像的边缘的距离。在一些方面中，所述参数包含场景半径值，其中场景半径为圆形区域的中心到在图像中所捕捉的障碍的外边缘的距离。在一些方面中，所述参数包含圆形区域内的场景的旋转，其中所述旋转是相对于图像的定向。在一些方面中，所述参数包含翻转值，其中所述翻转值指示场景是否已在圆形区域内反转及场景已反转的方向。在一些方面中，所述参数包含缩放值，其中所述缩放值指示场景是否已在圆形区域内经缩放、场景已沿其缩放的轴线及场景已缩放的量。在一些方面中，所述参数包含视野值，其中所述视野值指示在圆形区域中所捕捉的视图的多个度数。在一些方面中，所述参数包含压缩曲线值，其中所述压缩曲线值指示圆形区域相对于圆形区域中所包含的场景的几何压缩曲线。在一些方面中，所述参数包含指示在图像内的包含不可用像素的区域的数量的值。在一些方面中，所述参数包含在图像内的包含不可用像素的区域的位置及大小。在一些方面中，产生经编码视频数据包含将经编码360度视频数据写入到文件。在这些方面中，所述文件可根据国际标准组织基本媒体文件格式(InternationalStandardsOrganizationBaseMediaFileFormat；ISOBMFF)格式经格式化。在一些方面中，所述参数包含在文件层级、电影层级处，或在文件的播放轨层级处。在一些方面中，所述参数包含于受限方案信息逻辑框中。在一些方面中，上文所描述的方法、设备及计算机可读媒体进一步包括将所述参数编码到补充增强信息(SEI)消息中。SEI消息可包含于经编码360度视频数据中。在一些方面中，SEI消息根据高级视频译码(AdvancedVideoCoding；AVC)或高效视频译码(High-EfficiencyVideoCode；HEVC)标准经格式化。在一些方面中，上文所描述的方法、设备及计算机可读媒体进一步包括产生经编码视频数据，产生经编码视频数据包含将参数编码为会话数据协议(SessionDataProtocol；SDP)属性。在一些方面中，上文所描述的方法、设备及计算机可读媒体进一步包括产生经编码视频数据，产生经编码视频数据包含将所述参数写入到媒体呈现描述(MediaPresentationDescription；MPD)文件中。在一些方面中，上文所描述的方法、设备及计算机可读媒体进一步包括产生经编码视频数据，产生经编码视频数据包含将所述参数写入到动画专家组(MotionPicturesExpertsGroup；MPEG)输送流中。在一些方面中，例如上文所描述的设备可包含移动装置。在一些实施方案中，移动装置包含全向摄像机。根据至少一个实例，提供一种用于处理视频数据的方法。所述方法包含获得经编码视频数据。经编码视频数据包含由全向摄像机捕捉的经编码360度视频数据及与全向摄像机相关联的参数。所述方法进一步包含解码经编码视频数据以产生360度视频数据。360度视频数据的视频帧可包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域。所述方法进一步包含产生360度视频呈现。产生360度视频呈现可包含使用所述参数以将圆形区域映射到可用于360度视频呈现中的格式。在另一实例中，提供一种设备，其包含经配置以获得经编码视频数据的存储器处理器。经编码视频数据包含由全向摄像机捕捉的经编码360度视频数据及与全向摄像机相关联的参数。处理器经配置以解码且可解码经编码视频数据以产生360度视频数据。360度视频数据的视频帧可包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域。处理器经配置以产生且可产生360度视频呈现。产生360度视频呈现可包含使用所述参数以将圆形区域映射到可用于360度视频呈现中的格式。本文档来自技高网...

【技术保护点】
1.一种处理视频数据的方法，其包括：获得由全向摄像机捕捉的360度视频数据，其中所述360度视频数据的视频帧包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域；获得与所述全向摄像机相关联的参数，其中所述参数描述所述图像的所述圆形区域；编码所述360度视频数据；以及产生经编码视频数据，其中所述经编码视频数据包含所述经编码360度视频数据及与所述全向摄像机相关联的所述参数。

【技术特征摘要】
【国外来华专利技术】2016.05.20 US 62/339,504;2017.04.24 US 15/495,7301.一种处理视频数据的方法，其包括：获得由全向摄像机捕捉的360度视频数据，其中所述360度视频数据的视频帧包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域；获得与所述全向摄像机相关联的参数，其中所述参数描述所述图像的所述圆形区域；编码所述360度视频数据；以及产生经编码视频数据，其中所述经编码视频数据包含所述经编码360度视频数据及与所述全向摄像机相关联的所述参数。2.根据权利要求1所述的方法，其中所述参数包含以下各项中的一或多者：所述图像中的一或多个圆形区域的数量、所述圆形区域的中心的水平坐标、所述圆形区域的中心的垂直坐标、全半径值、帧半径值、场景半径值、所述圆形区域内的所述场景的旋转、翻转值、缩放值、视野值、压缩曲线值、指示在所述图像内的包含不可用像素的区域的数量的值，或在所述图像内的包含不可用像素的区域的位置及大小。3.根据权利要求1所述的方法，其中产生所述经编码视频数据包含将所述经编码360度视频数据写入到文件，且其中所述文件根据国际标准组织基本媒体文件格式ISOBMFF格式经格式化。4.根据权利要求3所述的方法，其中所述参数包含在文件层级、电影层级处，或在播放轨层级处。5.根据权利要求3所述的方法，其中所述参数包含于受限方案信息逻辑框中。6.根据权利要求1所述的方法，其进一步包括：将所述参数编码成补充增强信息SEI消息，其中所述SEI消息包含于所述经编码360度视频数据中。7.根据权利要求6所述的方法，其中所述SEI消息根据高级视频译码AVC或高效视频译码HEVC标准经格式化。8.根据权利要求1所述的方法，其中产生所述经编码视频数据包含将所述参数编码为会话数据协议SDP属性。9.根据权利要求1所述的方法，其中产生所述经编码视频数据包含将所述参数写入到媒体呈现描述MPD文件中。10.根据权利要求1所述的方法，其中产生所述经编码视频数据包含将所述参数写入到动画专家组MPEG输送流中。11.一种用于处理经编码视频的设备，其包括：存储器，其经配置以存储由全向摄像机捕捉的2维视频数据；以及处理器，其经配置以：获得由全向摄像机捕捉的360度视频数据，其中所述360度视频数据的视频帧包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域；获得与所述全向摄像机相关联的参数，其中所述参数描述所述图像的所述圆形区域；编码所述360度视频数据；以及产生经编码视频数据，其中所述经编码视频数据包含所述经编码360度视频数据及与所述全向摄像机相关联的所述参数。12.根据权利要求11所述的设备，其中所述参数包含以下各项中的一或多者：所述图像中的一或多个圆形区域的数量、所述圆形区域的中心的水平坐标、所述圆形区域的中心的垂直坐标、全半径值、帧半径值、场景半径值、所述圆形区域内的所述场景的旋转、翻转值、缩放值、视野值、压缩曲线值、指示在所述图像内的包含不可用像素的区域的数量的值，或在所述图像内的包含不可用像素的区域的位置及大小。13.根据权利要求11所述的设备，其中产生所述经编码视频数据包含将所述经编码360度视频数据写入到文件，且其中所述文件根据国际标准组织基本媒体文件格式ISOBMFF格式经格式化。14.根据权利要求13所述的设备，其中所述参数包含在文件层级、电影层级处，或在播放轨层级处。15.根据权利要求13所述的设备，其中所述参数包含于受限方案信息逻辑框中。16.根据权利要求11所述的设备，其中所述处理器进一步经配置以：将所述参数编码到补充增强信息SEI消息中，其中所述SEI消息包含于所述经编码360度视频数据中。17.根据权利要求16所述的设备，其中所述SEI消息根据高级视频译码AVC或高效视频译码HEVC标准经格式化。18.根据权利要求11所述的设备，其中产生所述经编码视频数据包含将所述参数编码为会话数据协议SDP属性。19.根据权利要求11所述的设备，其中产生所述经编码视频数据包含将所述参数写入到媒体呈现描述MPD文件中。20.根据权利要求11所述的设备，其中产生所述经编码视频数据包含将所述参数写入到动画专家组MPEG输送流中。21.根据权利要求11所述的设备，其进一步包括：移动装置，其中所述移动装置包含所述全向摄像机。22.一种非暂时性计算机可读媒体，其上存储有在由一或多个处理器执行时使得所述一或多个处理器执行以下操作的指令：获得由全向摄像机捕捉的360度视频数据，其中所述360度视频数据的视频帧包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域；获得与所述全向摄像机相关联的参数，其中所述参数描述所述图像的所述圆形区域；编码所述360度视频数据；以及产生经编码视频数据，其中所述经编码视频数据包含所述经编码360度视频数据及与所述全向摄像机相关联的所述参数。23.一种设备，其包括：用于获得由全向摄像机捕捉的360度视频数据的装置，其中所述360度视频数据的视频帧包含场景的图像，且其中，在所述图像中，所述场景经扭变成所述图像的圆形区域；用于获得与所述全向摄像机相关联的参数的装置，其中所述参数描述所述图像的所述圆形区域；编码所述360度视频数据；以及产生经编码视频数据，其中所述经编码视频数据包含所述经编码360度视频数据及与所述全向摄像机相关联的所述参数。24.一种处理视频数据的方法，其包括：获得经编码视频数据，其中所述经编码视频数据包含由全向摄像机捕捉的经编码360度视频数据及与所述全向摄像机相关联的参数；解码所述经编码视频数据以产生所述360度视频数据，其中所述360度视频数据的视频帧...

【专利技术属性】
技术研发人员：B·福鲁坦保尔，王业奎，P·H·阮，毕宁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US