球形视频的鱼眼图像拼接制造技术

描述用于将圆形图像覆叠到三维网状模型上以产生360度可观看内容的图像内容的相应部分的实例，其中每一个所述部分是大于所述球体的一半的半胶囊。所述部分被进行渲染，然后基于所述360度可观看内容中的所述图像内容的重叠部分进行混合。

【技术实现步骤摘要】
【国外来华专利技术】球形视频的鱼眼图像拼接本申请要求2016年4月5日申请的第62/318,610号美国临时申请的权利，其全部内容以引用的方式并入本文中。
本公开涉及球形视频渲染。
技术介绍
在某些类型的视频渲染中，例如360度视频，观看者可感知图像内容的多个不同视图。举例来说，当观看者正在观看显示器上的图像内容时，观看者可以选择用来观看内容的不同视图。对于360度视频，观看者可以与显示器介接以改变观看者观看图像内容的角度。
技术实现思路
大体来说，本公开描述用于通过将由两个相机捕获的图像内容拼接在一起来产生360度图像内容的技术，每一相机具有鱼眼镜头。这两个相机一同捕获360度的图像内容(例如，图像内容球)。在本公开中所描述的实例中，每一相机可捕获超过一半的球，且使用每一个所捕获视频内容的重叠部分来确定拼接所捕获视频内容的方式。图像内容的这两个所捕获部分可被称作图像内容的第一部分和图像内容的第二部分，且第一部分和第二部分的图像内容可少于整个图像内容球。第一部分的图像内容可超过图像内容球的一半图像内容，且第二部分的图像内容可超过图像内容球的一半图像内容。图形处理单元(GPU)可利用纹理映射技术来将所捕获图像内容覆叠到3D网状模型上。因为每一部分包含超过一半的图像内容球，所以第一和第二部分存在重叠图像内容。在产生图像内容球的图像内容时，GPU可通过混合重叠部分中的图像内容来说明(accountof)重叠图像内容。在一个实例中，本公开描述一种用于产生图像内容的方法，所述方法包括：基于第一三维(3D)网状模型的第一组顶点坐标，将第一图像覆叠在第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将第二图像覆叠在第二3D网状模型上以产生图像内容的第二部分，其中第一部分和第二部分包含重叠图像内容；分别渲染第一部分和第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据重叠图像内容来混合第一经渲染部分和第二经渲染部分，产生图像内容球。在另一实例中，本公开描述一种用于产生图像内容的装置，所述装置包括：存储器，其经配置以存储第一图像和第二图像；及图形处理单元(GPU)。GPU包括固定功能或可编程电路中的至少一个，所述电路经配置以进行以下操作：基于第一三维(3D)网状模型的第一组顶点坐标，将存储于存储器中的第一图像覆叠在第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将存储于存储器中的第二图像覆叠在第二3D网状模型上以产生图像内容的第二部分，其中第一部分和第二部分包含重叠图像内容；分别渲染第一部分和第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据重叠图像内容来混合第一经渲染部分和第二经渲染部分，产生图像内容球。在另一实例中，本公开描述一种用于产生图像内容的装置，所述装置包括：用于基于第一三维(3D)网状模型的第一组顶点坐标而将第一图像覆叠在第一3D网状模型上以产生图像内容的第一部分的构件；用于基于第二3D网状模型的第二组顶点坐标而将第二图像覆叠在第二3D网状模型上以产生图像内容的第二部分的构件，其中第一部分和第二部分包含重叠图像内容；用于分别渲染第一部分和第二部分以产生经渲染第一部分和经渲染第二部分的构件；以及用于至少部分地基于依据重叠图像内容来混合第一经渲染部分和第二经渲染部分而产生图像内容球的构件。在另一实例中，本公开描述一种包括指令的计算机可读存储媒体，所述指令在经执行时使用于产生图像内容的装置的一或多个处理器进行以下操作：基于第一三维(3D)网状模型的第一组顶点坐标，将第一图像覆叠在第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将第二图像覆叠在第二3D网状模型上以产生图像内容的第二部分，其中第一部分和第二部分包含重叠图像内容；分别渲染第一部分和第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据重叠图像内容来混合第一经渲染部分和第二经渲染部分，产生图像内容球。一或多个实例的细节在附图和下面的描述中阐述。其它特征、目标和优点将根据所述描述、图式和权利要求书而变得显而易见。附图说明图1是说明根据本公开中所描述的一或多个实例技术的用于捕获360度视频的实例装置的框图。图2A和2B是说明由图1的装置捕获的图像的直观图。图3是经配置以执行本公开中所描述的实例技术中的一或多个的装置的框图。图4是进一步详细说明图3的计算装置的CPU、GPU和存储器的框图。图5是说明二维(2D)纹理坐标的实例的概念图。图6是说明三维(3D)几何结构的概念图。图7是说明包含2D纹理坐标的末尾环的放大2D纹理坐标的概念图。图8是说明图像内容的直观图。图9是说明纹理坐标和图像像素之间的关系的直观图。图10是说明两个3D网状模型的概念图。图11是说明每一部分中的末尾两个环路的相同半径的概念图。图12是说明图11的两个部分之间的重叠的概念图。图13和14是说明用于360度视频的遮罩(mask)的概念图。图15是说明根据本公开中所描述的一或多个实例技术的实例操作方法的流程图。具体实施方式本公开中所描述的实例技术涉及产生360度视频或图像。在360度视频或图像中，视频/图像内容在观看者周围形成概念性球体。观看者可从多个视角(例如，在前面、后面、上面和周围)观看图像内容，并且此类图像内容被称作360度图像。在本公开中，包含360度图像内容或可观看内容的图像意味着图像包含所有视角的内容(例如，上面、下面、后面、前面和每一侧面的内容)。举例来说，常规图像捕获略小于180度的图像内容，且不会捕获在相机侧面的内容。大体来说，360度视频由一系列360度图像形成。因此，相对于产生360度图像内容描述本公开中所描述的实例技术。接着，对于360度视频内容，这些360度图像可依序显示。在一些实例中，用户可能想要只拍摄360度图像(例如，作为用户的整个360度周围环境的快照)，而本公开中描述的技术同样适用于此类实例情况。技术可适用于所捕获视频内容、虚拟现实、非cv模块等。技术可用于移动装置，但是技术不应被视为限于移动应用。一般来说，技术可用于虚拟现实应用、视频游戏应用或其中需要360度球形视频/图像环境的其它应用。可以用包含两个鱼眼镜头(例如，定位成捕获图像内容球的相对部分)的相机装置捕获360度图像内容。这两个鱼眼镜头捕获360度视频的完整球体的相应部分。然而，通过所捕获部分产生的图像是圆形图像(例如，一个图像帧包含两个圆形图像)。本公开中所描述的实例技术描述使用所述两个圆形图像产生360度图像的方式。图形处理单元(GPU)利用纹理映射技术来渲染各自具有图像内容球的一部分的这两个圆形图像，然后混合图像内容的经渲染部分以产生图像内容球。举例来说，中央处理单元(CPU)产生三维(3D)网状模型，其中3D网状模型包含具有顶点坐标的多个图元。CPU还产生对应于顶点坐标的多个纹理坐标。这些纹理坐标是这两个圆形图像内的图像像素的坐标。通过这种方式，圆形图像形成GPU向3D网状模型进行纹理映射的纹理(例如，色彩纹理)。GPU可基于纹理坐标和3D网状模型的顶点坐标而将圆形图像覆叠到3D网状模型上。例如，GPU可接收指示3D网状模型的顶点坐标和对应的色彩纹本文档来自技高网...

【技术保护点】
1.一种用于产生图像内容的方法，所述方法包括：基于第一三维3D网状模型的第一组顶点坐标，将第一图像覆叠在所述第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将第二图像覆叠在所述第二3D网状模型上以产生所述图像内容的第二部分，其中所述第一部分和所述第二部分包含重叠图像内容；分别渲染所述第一部分和所述第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据所述重叠图像内容来混合所述第一经渲染部分和所述第二经渲染部分，产生图像内容球。

【技术特征摘要】
【国外来华专利技术】2016.04.05 US 62/318,610;2016.09.20 US 15/270,6501.一种用于产生图像内容的方法，所述方法包括：基于第一三维3D网状模型的第一组顶点坐标，将第一图像覆叠在所述第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将第二图像覆叠在所述第二3D网状模型上以产生所述图像内容的第二部分，其中所述第一部分和所述第二部分包含重叠图像内容；分别渲染所述第一部分和所述第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据所述重叠图像内容来混合所述第一经渲染部分和所述第二经渲染部分，产生图像内容球。2.根据权利要求1所述的方法，进一步包括：接收所述第一3D网状模型的所述第一组顶点坐标；以及接收所述第二3D网状模型的所述第二组顶点坐标，其中所述第一3D网状模型和所述第二3D网状模型是同一3D网状模型。3.根据权利要求1所述的方法，其中所述第一3D网状模型和所述第二3D网状模型各自包括围绕公共纵向轴线安置的多个环，其中每一个所述环包括多个图元。4.根据权利要求3所述的方法，其中所述第一3D网状模型中的第一环的宽度小于所述第一3D网状模型中的第二环的宽度，并且其中所述第二3D网状模型中的第一环的宽度小于所述第二3D网状模型中的第二环的宽度。5.根据权利要求3所述的方法，其中所述第一3D网状模型和所述第二3D网状模型各自具有半胶囊形状，其中所述纵向轴线包括从所述半胶囊的一个末端的中心点延伸到所述半胶囊的尖端的轴线，并且其中所述多个环的所述多个图元安置在所述半胶囊的所述末端和所述半胶囊的所述尖端之间。6.根据权利要求5所述的方法，其中所述第一3D网状模型和所述第二3D网状模型各自具有半卵形的形状。7.根据权利要求1所述的方法，其中所述图像内容球包含360度可观看内容，其中所述第一图像包括包含超过180度的所述图像内容的第一圆形图像，并且其中所述第二图像包括包含超过180度的所述图像内容的第二圆形图像。8.根据权利要求1所述的方法，其中基于所述第一组顶点坐标将所述第一图像覆叠在所述第一3D网状模型上包括基于对应于所述第一3D网状模型的所述第一组顶点坐标的第一组纹理坐标而将所述第一图像纹理映射在所述第一3D网状模型上，其中所述第一组纹理坐标是所述第一图像内的像素的坐标，且其中基于所述第二组顶点坐标将所述第二图像覆叠在所述第二3D网状模型上包括基于对应于所述第二3D网状模型的所述第二组顶点坐标的第二组纹理坐标而将所述第二图像纹理映射在所述第二3D网状模型上，其中所述第二组纹理坐标是所述第二图像内的像素的坐标。9.根据权利要求8所述的方法，进一步包括：基于形成同心环图案的图元的顶点而产生所述第一组纹理坐标，其中所述同心环中的一或多个外环的宽度小于所述同心环中的其它环的宽度；以及基于形成所述同心环图案的所述图元的所述顶点而产生所述第二组纹理坐标，其中纹理映射所述第一图像包括将形成所述同心环图案的所述图元的所述顶点映射到所述第一3D网状模型的所述第一组顶点坐标，其中所述同心环中的所述一或多个外环中的图元的顶点到所述第一3D网状模型的所述第一组顶点坐标中的顶点的映射使所述第一图像中对应于所述一或多个外环的图像内容伸展到所述第一3D网状模型上，且其中纹理映射所述第二图像包括将形成所述同心环图案的所述图元的所述顶点映射到所述第二3D网状模型的所述第二组顶点坐标，其中所述同心环中的所述一或多个外环中的图元的顶点到所述第二3D网状模型的所述第二组顶点坐标中的顶点的映射使所述第二图像中对应于所述一或多个外环的图像内容伸展到所述第二3D网状模型上。10.根据权利要求8所述的方法，进一步包括：基于所述第一组纹理坐标或所述第二组纹理坐标中的至少一个而产生遮罩，所述遮罩指示所述图像内容的所述第一部分和所述图像内容的所述第二部分的混合因子；将所述遮罩纹理映射在所述第一部分和所述第二部分上以向所述第一部分和所述第二部分的像素指派混合因子，其中混合所述图像内容的所述第一经渲染部分和所述图像内容的所述第二经渲染部分包括基于所述混合因子而混合所述图像内容的所述第一经渲染部分和所述图像内容的所述第二经渲染部分的所述重叠图像内容。11.根据权利要求8所述的方法，进一步包括：确定所述重叠图像内容之间的相似度；以及调整所述第一组纹理坐标或所述第二组纹理坐标中的至少一个，其中基于所述第一组纹理坐标而将所述第一图像纹理映射在所述第一3D网状模型上包括响应于所述第一组纹理坐标进行调整，基于调整后的第一组纹理坐标而将所述第一图像纹理映射在所述第一3D网状模型上，且其中基于所述第二组纹理坐标而将所述第二图像纹理映射在所述第一3D网状模型上包括响应于所述第二组纹理坐标进行调整，基于调整后的第二组纹理坐标而将所述第二图像纹理映射在所述第二3D网状模型上。12.根据权利要求1所述的方法，其中所述第一图像由第一鱼眼镜头捕获，且所述第二图像由第二鱼眼镜头捕获。13.根据权利要求1所述的方法，进一步包括：用鱼眼相机装置的第一鱼眼镜头捕获所述第一图像；以及用所述鱼眼相机装置的第二鱼眼镜头捕获所述第二图像，其中混合所述第一经渲染部分和所述第二经渲染部分包括用包含所述第一和第二鱼眼镜头的所述鱼眼相机装置混合所述第一经渲染部分和所述第二经渲染部分。14.根据权利要求1所述的方法，进一步包括：用处理装置从包含第一鱼眼镜头和第二鱼眼镜头的鱼眼相机装置接收所述第一图像和所述第二图像，其中所述第一鱼眼镜头捕获所述第一图像，且所述第二鱼眼镜头捕获所述第二图像，其中混合所述第一经渲染部分和所述第二经渲染部分包括用所述处理装置混合所述第一经渲染部分和所述第二经渲染部分。15.一种用于产生图像内容的装置，所述装置包括：存储器，其经配置以存储第一图像和第二图像；以及图形处理单元GPU，其包括固定功能或可编程电路中的至少一个，所述电路经配置以进行以下操作：基于第一三维3D网状模型的第一组顶点坐标，将存储于所述存储器中的所述第一图像覆叠在所述第一3D网状模型上以产生图像内容的第一部分；基于第二3D网状模型的第二组顶点坐标，将存储于所述存储器中的所述第二图像覆叠在所述第二3D网状模型上以产生所述图像内容的第二部分，其中所述第一部分和所述第二部分包含重叠图像内容；分别渲染所述第一部分和所述第二部分以产生经渲染第一部分和经渲染第二部分；以及至少部分地基于依据所述重叠图像内容来混合所述第一经渲染部分和所述第二经渲染部分，产生图像内容球。16.根据权利要求15所述的装置，其中所述第一3D网状模型和所述第二3D网状模型各自包括围绕公共纵向轴线安置的多个环，其中每一个所述环包括多个图元。17.根据权利要求16所述的装置，其中所述第一3D网状模型和所述第二3D网状模型各自具有半胶囊的形状，其中所述纵向轴线包括从所述半胶囊的一个末端的中心点延伸到所述半胶...

【专利技术属性】
技术研发人员：B·福鲁坦保尔，P·H·L·阮，毕宁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US