球幕图像的合成方法及装置制造方法及图纸

本发明专利技术公开了一种球幕图像的合成方法及装置，其中该方法包括：创建4个正交的摄像机通道；将三维场景渲染为4个摄像机通道图像；基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；生成每个摄像机通道图像对应的遮罩模板；将所有的局部球幕图像和遮罩模板进行合成，获得球幕图像。本发明专利技术可以在保证一定精度的同时高效率实现球幕图像合成。度的同时高效率实现球幕图像合成。度的同时高效率实现球幕图像合成。

【技术实现步骤摘要】
球幕图像的合成方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种球幕图像的合成方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]球幕图像的合成包括渲染和融合两个方面。
[0004]在渲染方面，球幕图像(例如，数字球幕电影的图像)是一种等距鱼眼图像，动画行业主要采用两种方法生成。第一种是利用光线追踪算法直接渲染鱼眼图像，但因渲染器必须支持光线追踪，仅适用于部分场景；第二种是利用5个正交摄像机通道，覆盖整个球面区域，然后将渲染的5张图拼接融合为一张球幕鱼眼图像，类似制作全景图的Cubemap方法，一般合成360
°
全景图需要6个正交摄像机通道，而球幕电影仅包含上半球，因此可移除底部通道：先分别创建前、后、左、右、上5个方向的正交摄像机，分别渲染图像，然后将5张摄像机通道图像经变换后合成为一张符合球幕格式要求的球幕图像，像素变换方式如图1所示，该方法每渲染1帧球幕图像要先渲染5个方向的图像，消耗较高，即渲染效率较低。
[0005]在融合(也称为拼接)方面，有软拼接与硬拼接两种实现方法。
[0006]软拼接需要在各通道边缘额外渲染一定宽度的融合带，融合带的像素逐渐从原色渐变到边缘的纯黑色(0,0,0,0)，两个临近通道的融合带通过叠加获得接近原色的像素值，从而实现各相邻通道图像的平滑过渡；但是，软拼接方法融合区域的图像RGB值是两个颜色值叠加而成，并非精确还原原始像素，球幕融合还存在三个相邻通道的融合区域，更增加了精度的损失，且融合带的存在额外增加了输入图片尺寸，也增加更多融合步骤，从而降低了计算效率；
[0007]硬拼接是无须预渲染融合带，直接将5张图拼合起来，在通道拼合处需要精确获取原图的像素，若有像素因缩放或扭曲导致的采样不精确等情况将导致产生拼缝，通常需要对临近像素进行识别验证等操作。无需融合的硬拼接需要边缘接缝处的像素被精准拼接，但由于等距鱼眼算法对图像造成的扭曲，目标点的像素与源像素并非一一对应，更多的情况是落在多个像素之间，需要利用插值方法计算生成，例如图2的P点像素就需通过对临近多个像素进行插值计算才能获得，通用插值方法有临近点插值、双线性插值或三线性插值方法等，因此硬拼接也不存在完美还原的精确拼接方法，在实际工程应用中，需要综合考虑精度与效率，根据项目要求选择最合适的方法。
[0008]综上所述，目前的球幕图像合成方法难以在保证一定精度的同时保证高效率。

技术实现思路

[0009]本专利技术实施例提供一种球幕图像的合成方法，用以在保证一定精度的同时高效率实现球幕图像合成，该方法包括：
[0010]创建4个正交的摄像机通道；
[0011]将三维场景渲染为4个摄像机通道图像；
[0012]基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；
[0013]生成每个摄像机通道图像对应的遮罩模板；
[0014]将所有的局部球幕图像和遮罩模板进行合成，获得球幕图像。
[0015]本专利技术实施例还提供一种球幕图像的合成装置，用以在保证一定精度的同时高效率实现球幕图像合成，该装置包括：
[0016]摄像机通道创建模块，用于创建4个正交的摄像机通道；
[0017]图像渲染模块，用于将三维场景渲染为4个摄像机通道图像；
[0018]图形转换模块，用于基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；
[0019]遮罩模板生成模块，用于生成每个摄像机通道图像对应的遮罩模板；
[0020]球幕图像合成模块，用于将所有的局部球幕图像和遮罩模板进行合成，获得球幕图像。
[0021]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述球幕图像的合成方法。
[0022]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述球幕图像的合成方法。
[0023]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述球幕图像的合成方法。
[0024]本专利技术实施例中，创建4个正交的摄像机通道；将三维场景渲染为4个摄像机通道图像；基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；生成每个摄像机通道图像对应的遮罩模板；将所有的局部球幕图像和遮罩模板进行合成，获得球幕图像。与现有技术中采用5个摄像机通道、软拼接或硬拼接实现融合、且顺序执行像素处理的技术方案相比，通过4个正交的摄像机通道，提高了摄像机通道图像的可利用率，提高了渲染的效率；通过基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；生成每个摄像机通道图像对应的遮罩模板；代替了软拼接或硬拼接所需的遮罩图像或融合带，精简了算法流程和渲染管线，进一步在保证一定精度的同时提高了效率。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0026]图1为现有技术中将5张摄像机通道图像经变换后合成为一张球幕图像的示意图；
[0027]图2为现有技术通过对临近多个像素进行插值计算进行拼接的原理图；
[0028]图3为本专利技术实施例中球幕图像的合成方法的流程图；
[0029]图4为现有技术中渲染时球幕图像的空间；
[0030]图5为本专利技术实施例中建立单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系的流程图；
[0031]图6为本专利技术实施例中获得的球幕图像的示意图；
[0032]图7为本专利技术实施例中4个正交的摄像机的示意图；
[0033]图8为本专利技术实施例中将图7的摄像机通道的坐标系旋转45度后的示意图；
[0034]图9为本专利技术实施例中交点的坐标相对交点所在正方形左上角的偏移量的示意图；
[0035]图10为本专利技术实施例中通过像素着色器实现图像变换的示意图；
[0036]图11为本专利技术实施例中实时合成天文模拟场景的示意图；
[0037]图12为本专利技术实施例中球幕图像的合成装置的示意图；
[0038]图13为本专利技术实施例中计算机设备的示意图。
具体实施方式
[0039]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种球幕图像的合成方法，其特征在于，包括：创建4个正交的摄像机通道；将三维场景渲染为4个摄像机通道图像；基于单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系，将每个摄像机通道图像转换为局部球幕图像；生成每个摄像机通道图像对应的遮罩模板；将所有的局部球幕图像和遮罩模板进行合成，获得球幕图像。2.如权利要求1所述的方法，其特征在于，创建4个正交的摄像机通道，包括：创建4个宽高比为1:1的正交的摄像机通道，4个摄像机通道分别朝向球幕的前、上、左、右四个方向。3.如权利要求1所述的方法，其特征在于，将三维场景渲染为4个摄像机通道图像，包括：将每个摄像机通道图像的非边缘按照三维场景的实际像素渲染；将每个摄像机通道图像的边缘渲染为设定像素的宽度的边框；其中，每个摄像机通道图像在边框内的水平视场角和垂直视场角均为90度；每个摄像机通道图像的完整视场角为两边框各增加设定像素之后的角度；生成每个摄像机通道图像对应的遮罩模板，包括：每个摄像机通道图像的边框扩展为遮罩模板，所述遮罩模板中每个像素的RGB值为(0,0,0)。4.如权利要求1所述的方法，其特征在于，还包括：采用如下步骤，建立单通道摄像机图像平面坐标与局部球幕图像坐标的映射关系：对球幕图像的每个像素，将该像素在球幕图像的坐标映射为单位球面的三维空间坐标；获得球幕图像的球心与所述三维空间坐标的连线构成的向量；获得所述向量沿径向的延长线与各摄像机通道图像平面的扩展平面的交点，确定所述交点的坐标；计算所述交点的坐标相对该交点所在正方形左上角的偏移量，得到该像素在各摄像机通道图像平面的纹理坐标；将超出各摄像机通道图像的边框的纹理坐标取在边框上；对于每个摄像机通道图像平面，确定所述像素在球幕图像的坐...

【专利技术属性】
技术研发人员：席萌，韩叙，宋宇莹，刘茜，王燕平，张天驰，
申请(专利权)人：北京天文馆，
类型：发明
国别省市：