一种基于多通道图像融合的全景图像拼接方法技术

本发明专利技术提供一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。

A panorama image mosaic method based on multi-channel image fusion

The invention provides a panoramic image mosaic method for multi channel based on image fusion, which comprises the following steps: (a) to obtain multiple RGB three channel image by stitching panoramic camera; (b) adding a Alpha channel for each RGB three channel image, to obtain multi-channel RGBA four channel (c) of the image; multiple RGBA four channel images by computer graphics methods, to achieve the sphere panorama.

【技术实现步骤摘要】
一种基于多通道图像融合的全景图像拼接方法
本专利技术涉及计算机图形技术和全景图像拼接技术，特别涉及一种基于多通道图像融合的全景图像拼接方法。
技术介绍
传统的视频监控领域中，一般采用固定角度安装的普通摄像机监控指定范围的小场景，但其视野有限，无法顾及周围360度范围内的所有区域，即使使用带有云台的摄像机，在某时刻也只能观测一个角度的画面，无法避免视频盲区和观测死角的出现。为了替换原来通过几只摄像头覆盖一个区域，或者使用球机快速来回巡航扫描来实现场景覆盖的方案，国内外市场上陆续推出了拼接式的全景摄像机。拼接式全景摄像机的成像过程是指将多个摄像头按照空间位置关系，固定安装在支架上，每个摄像头可以独立、高清地捕捉固定角度的图像。全景图像拼接技术是将不同相机在不同的时间、不同方向拍摄的图像，拼接到同一坐标系下进行全景展示。图像拼接中的过渡区域融合是拼接过程中的一大难题，如果处理不好，拼接效果将会大打折扣，多路图像会因为存在区域的重叠而产生拼缝现象。
技术实现思路
针对上述难题，本专利技术的目的在于提供一种基于多通道图像融合的全景图像拼接方法，该全景图像拼接方法可以通过多通道图像融合的方式平滑地消除拼缝现象，实现无缝全景拼接。本专利技术提供一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。步骤(a)为通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。步骤(b)具体包括以下步骤：(b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；(b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。所述步骤(b1)具体为：首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域；然后，构造与RGB三通道图像大小相同的Alpha通道图像，并将非重叠区域的Alpha通道图像的数值设为255；最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。步骤(c)具体包括以下步骤：(c1)将球体进行拆分，并对拆分后的区域进行三角型网格划分，得到包括多个三角分块的三角型网格模型；(c2)获取多路四通道RGBA图像与所述三角型网格模型的映射关系；(c3)利用所述映射关系将多路RGBA四通道图像的纹理坐标与所述三角型网格模型的空间顶点坐标进行实时对应，并通过OpenGL图形处理技术将所述三角型网格模型中的表面纹理替换为所述RGBA四通道图像的动态纹理以实现全景图像的无缝拼接。所述步骤(c1)具体为：采用自由网格划分方式对所述球体拆分后的区域进行三角型网格划分。所述步骤(c2)具体为：首先，根据所述多路RGB三通道图像之间的特征关系获取多路RGB三通道图像之间的邻域关系；然后，多路RGB三通道图像之间的邻域关系将多路RGB三通道图像合成一平面图，并将该平面图首尾相连形成一柱面图，该柱面图对应一圆柱体；最后，构造与该圆柱体的柱面相切的球体，将柱面图上的图像点投影到球体的球面上，从而获取多路四通道RGBA图像与球面网格模型之间的映射关系。所述步骤(c3)具体为：根据多路四通道RGBA图像与球面网格模型之间的映射关系，获取三角形网格模型的空间顶点坐标以及对应的多路RGBA四通道图像的纹理坐标，并根据所述三角形网格模型的空间顶点坐标与RGBA四通道图像的纹理坐标进行OpenGL纹理贴图，从而实现绘制全景图像。在步骤(c)之后还包括一添加手势操作，实现交互式体验的步骤。所述手势操作具体包括单指模式、双指模式以及单双指共用模式。相较于现有技术，本方法具有以下优点：第一，可将不同相机在同一时刻不同方向拍摄的图像，拼接到同一坐标系下，并且通过为每一路RGB三通道图像添加Alpha通道得到多路RGBA四通道图像，再对RGBA四通道图像进行融合，从而消除传统拼接技术造成的拼缝现象。第二，该拼接方法可以与拼接式全景摄像机相结合，实现无缝拼接的全景视频监控，最后通过柱面、球面等图形渲染技术，展示具有高度沉浸感的全景视频图像，且成像清晰。附图说明图1是本专利技术所述基于多通道图像融合的全景图像拼接方法的流程图。图2为本专利技术所述RGB三通道图像转为RGBA四通道图像的示意图。图3为本专利技术步骤(c2)中所示圆柱面与球面之间的坐标投影示意图。图4为本专利技术所述实施例得到的全景拼接示意图。具体实施方式下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。请参阅图1，本专利技术提供了一种基于多通道图像融合的全景图像拼接方法。该方法包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB图像添加Alpha通道，合成多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA图像进行图像融合，完成球体全景拼接。在步骤(a)中，通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。在步骤(b)中，在所述RGB三通道图像的基础上添加了Alpha通道图像，将图像裁剪成球体全景拼接过程中所需的区域形状，裁剪的边缘区通常作为图像拼接的重叠区。所述的Alpha通道(即不透明度参数)使得RGB三通道图像具有丰富的色彩层次，用于合成及融合。请参阅图2，步骤(b)具体包括以下步骤：(b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；(b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。所述步骤(b1)具体包括：首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域。然后，构造与RGB三通道图像大小相同的Alpha通道图像。该Alpha通道图图像是单通道图像，数值范围在0-255之间，数值0代表完全透明，数值255代表完全不透明。并将非重叠区域的Alpha通道图像的数值设为255。最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。该Alpha通道的数值采用255-0渐变即代表该重叠区域的透明度的渐变过程。在步骤(b2)中，可通过OpenCV图像处理技术将RGB三通道图像进行通道分割，再将本文档来自技高网...

【技术保护点】
一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。

【技术特征摘要】
1.一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。2.一种如权利要求1所述的基于多通道图像融合的全景图像拼接方法，其特征在于，步骤(a)为通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。3.一种如权利要求1所述的所述的基于多通道图像融合的全景图像拼接方法，其特征在于，步骤(b)具体包括以下步骤：(b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；(b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。4.一种如权利要求3所述的基于多通道图像融合的全景图像拼接方法，其特征在于，所述步骤(b1)具体为：首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域；然后，构造与RGB三通道图像大小相同的Alpha通道图像，并将非重叠区域的Alpha通道图像的数值设为255；最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。5.一种如权利要求4所述的基于多通道图像融合的全景图像拼接方法，其特征在于，步骤(c)具体包括以下步骤：(c1)将球体进行拆分，并对拆分后的区域进行三角型网格划分，得到包括多个三角分块的三角型网格模型；(...

【专利技术属性】
技术研发人员：陈春豪，肖江剑，姜麟建，宋康康，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：浙江,33