全景投影方法及装置制造方法及图纸

本申请提供了全景投影方法及装置，涉及图像处理技术领域，其中，该全景投影方法包括：首先，将假想球面进行正交等分，并得到多个子球面，之后，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，然后，将各个相机画面的内容映射到全景球面，并将全景球面进行投影，得到平面展开图，最后，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，与现有方法相比，同等画质情况下上述投影变换的方法计算量小，并且，投影变换的编码效率高。

Panoramic projection method and apparatus

This application provides a panoramic projection method and device, and relates to the technical field of image processing, which includes the panoramic projection method: firstly, the imaginary orthogonal spherical parts, and get more sub spherical, sub spherical triangle, will use the mesh, and in accordance with the imaginary spherical mesh after corresponding to the the camera screen, then each camera picture is mapped to the panoramic spherical and spherical panoramic projection, get the layout, finally, on the plane of the diagram on the plane and horizontal extension processing, processing after the start of encoding, compared with the existing methods, the method of equivalent projection transform quality under the condition of a small amount of calculation, and projection transform encoding efficiency.

【技术实现步骤摘要】
全景投影方法及装置
本专利技术涉及图像处理领域，尤其涉及全景投影方法及装置。
技术介绍
全景(Panorama))是把相机拍摄的一组或多组照片经过多种处理最后拼接成的一个全景图像或视频，分为虚拟现实和3D实景两种。虚拟现实利用虚拟相机在三维顶点软件中处理虚拟场景的画面；3D实景利用多个相机拍摄实景照片，经过特殊的拼合处理得到真实场景的画面。对于没有内容互动的应用，一般把以相机为球心的全景球面(经度-180°～+180°，纬度-90°～+90°)投影变换展开成矩形画面，再用H.264等常见标准编成码流，经过存储或传输，在客户端解码恢复矩形画面，然后投影变换还原回球面，在鼠标、触屏、陀螺仪等控制下，上下左右前后，展现不同方向和视角的视野，使观众感到处在现场环境当中，极具沉浸感。球面与矩形平面之间的投影变换，通常采用等距圆柱投影、立方体投影或者四棱锥投影等。但针对同样的画质需求，上述投影方法计算量较大，实时处理的代价很高，并且，编码传输时占用带宽大，浪费了宝贵的网络资源。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供了全景投影方法及装置，通过设置三角形网格剖分等方法，使得全景球面的投影计算更加高效。第一方面，本专利技术实施例提供了全景投影方法，包括：将假想球面进行正交等分，得到多个子球面；将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；将各个相机画面的内容映射到全景球面；将全景球面进行投影，得到平面展开图；对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，将假想球面进行正交等分，得到多个子球面包括：将假想球面进行正交等分，得到八个子球面。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中包括：设定三角形的个数；用设定好个数的三角形对各个子球面进行网格剖分；计算所有三角形的顶点三维坐标；根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，将全景球面进行平面投影，得到平面展开图包括：将全景球面进行桑逊投影变换，得到平面图；将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码包括：将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致；对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。第二方面，本专利技术实施例提供了全景投影装置，包括：正交等分模块，用于将假想球面进行正交等分，得到多个子球面；网格对应模块，用于将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；映射模块，用于将各个相机画面的内容映射到全景球面；投影模块，用于将全景球面进行投影，得到平面展开图；编码模块，用于对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，正交等分模块包括：正交等分单元，用于将假想球面进行正交等分；子球面获得单元，用于得到八个子球面。结合第二方面的第一种可能的实施方式，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，网格对应模块包括：个数设定单元，用于设定三角形的个数；网格剖分单元，用设定好个数的三角形对各个子球面进行网格剖分；坐标计算单元，用于计算所有三角形的三维顶点坐标；空间对应单元，用于根据空间几何关系，将三角形按照顶点三维坐标映射到各个相机画面中。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，投影模块包括：投影单元，用于将全景球面进行桑逊投影变换，得到平面图；平面展开单元，用于将平面图按照经度进行四等分，得到平面展开图，其中，平面展开图中包括经线边界。结合第二方面的第三种可能的实施方式，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，编码模块包括：填充单元，用于将经线边界之间的区域进行颜色填充，其中，颜色与经线边界水平对应的平面展开图的颜色一致；编码单元，用于对颜色填充后的平面展开图和平面展开图经线边界之间的区域均进行编码。本专利技术实施例提供的全景投影方法及装置，其中，该全景投影方法包括：首先，设置一个假想球面，并将假想球面进行正交等分，得到多个子球面，之后，将各个子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中，通过将各个相机画面的内容映射到全景球面，将全景球面进行投影，得到平面展开图，最后，对平面展开图进行水平延展处理，并对处理后的平面展开图进行编码，上述方法使得投影变换的效率更高，并且，节省了传输时占用的带宽。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图包括本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了球面的等距圆柱投影变换的结构示意图；图2示出了全景的立方体投影变换的结构示意图；图3示出了全景的四棱锥投影变换的结构示意图；图4示出了本专利技术实施例所提供的全景投影方法的结构连接图；图5示出了本专利技术实施例所提供的全景投影方法的结构示意图；图6示出了本专利技术实施例所提供的全景投影装置的结构框架图；图7示出了本专利技术实施例所提供的全景投影装置的结构连接图。图标：1-正交等分模块；2-网格对应模块；3-映射模块；4-投影模块；5-编码模块；21-个数设定单元；22-网格剖分单元；23-坐标计算单元；24-空间对应单元。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了能够解决现有全景图像或视频系统编码压缩效率低的问题，以便在带宽有限的情况下为用户提供更好的全景画质，一般把全景球面网格剖分成很多小的形状，这样，可以利用图形处理器GPU(GraphicsProcessingUnit)的并行计算能力进行高速、高质量的展开或还原。目前，常见的网格剖分和投影变换主要有三种：球面的等距圆柱投影变换、全景的立方体投影变换和全景的四棱锥投影变换。如图1所示，为球面的等距圆柱投影变换展开，球面的等距圆柱投影变换是一种正轴圆柱投影变换，也是本文档来自技高网...

【技术保护点】
全景投影方法，其特征在于，包括：将假想球面进行正交等分，得到多个子球面；将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；将所述各个相机画面的内容映射到全景球面；将所述全景球面进行投影，得到平面展开图；对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码。

【技术特征摘要】
1.全景投影方法，其特征在于，包括：将假想球面进行正交等分，得到多个子球面；将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中；将所述各个相机画面的内容映射到全景球面；将所述全景球面进行投影，得到平面展开图；对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码。2.根据权利要求1所述的全景投影方法，其特征在于，所述将假想球面进行正交等分，得到多个子球面包括：将假想球面进行正交等分，得到八个子球面。3.根据权利要求2所述的全景投影方法，其特征在于，所述将各个所述子球面用三角形进行网格剖分，并将假想球面按照剖分后的网格对应到各个相机画面中包括：设定所述三角形的个数；用设定好个数的所述三角形对各个所述子球面进行网格剖分；计算所有三角形的顶点三维坐标；根据空间几何关系，将所述三角形按照所述顶点三维坐标映射到所述各个相机画面中。4.根据权利要求1所述的全景投影方法，其特征在于，所述将所述全景球面进行平面投影，得到平面展开图包括：将所述全景球面进行桑逊投影变换，得到平面图；将所述平面图按照经度进行四等分，得到平面展开图，其中，所述平面展开图中包括经线边界。5.根据权利要求4所述的全景投影方法，其特征在于，所述对所述平面展开图进行水平延展处理，并对处理后的所述平面展开图进行编码包括：将所述经线边界之间的区域进行颜色填充，其中，所述颜色与经线边界水平对应的平面展开图的颜色一致；对颜色填充后的所述平面展开图和所述平面展开图经线边界之间的区域均进行编码。6.全景投影装置，其特征在...

【专利技术属性】
技术研发人员：周骋，佟欣，赵晓星，包佳晶，邹箭宇，张刚，
申请(专利权)人：北京数码视讯科技股份有限公司，
类型：发明
国别省市：北京,11