在GPU上实现双鱼眼图像实时全景图像拼接方法及系统技术方案

本发明专利技术公开了在GPU上实现双鱼眼图像实时全景图像拼接方法及系统。该方法包括：获取标定全景图像；根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表；根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表；根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。采用本发明专利技术公开的拼接方法及系统，能够快速且实时拼接成全景图像，提高全景图像的拼接速度。

Realization of fish eye image real-time panoramic image mosaic method and system on GPU

The invention discloses a real time panoramic image mosaic method and system for double fish eye image on GPU. The method includes: obtaining the calibrated panoramic image; determining the first fish eye lens search table according to the generation process of the calibrated panoramic image; determining the second fish eye lens lookup table according to the generation process of the calibrated panoramic image; according to the calibrated panoramic image, the first fish eye lens lookup table, and the second fish eye. The lens lookup table determines the fusion degree lookup table; the desired panoramic image is determined according to the first fish eye lens lookup table, the second fish eye lens lookup table, and the fusion degree lookup table. The mosaic method and system disclosed by the invention can be quickly and timely stitched into panoramic images and improve the stitching speed of panoramic images.

【技术实现步骤摘要】
在GPU上实现双鱼眼图像实时全景图像拼接方法及系统
本专利技术涉及图像处理领域，特别是涉及在GPU上实现双鱼眼图像实时全景图像拼接方法及系统。
技术介绍
全景图像作为一种能为用户提供超大视野观察的实景图片，广泛应用于虚拟旅游、增强现实、工程开发、抢险救灾、机器人导航等多个领域；其中基于图像拼接的全景图像生成主要包括以下三种方式：(1)采用多镜头的特制设备，比如FacebookSurround360、GoProOdyssey等，但这类设备价格昂贵，普通大众往往承受不起；(2)通过单镜头旋转一周，采集多张图像拼接，但这类方法拍摄时间过长，仅适用于静态场景；(3)基于鱼眼图像拼接，因为鱼眼镜头的视角可以达到甚至超过180°，所以理论上两张鱼眼图像就可得到全景图像，这种方法成本较低，操作简单，效果显著，基于鱼眼图像拼接的全景图像生成方法，需将至少两张图像拼接在一起，这就需要保证图像中有重叠部分，而重叠部分的检测主要包括两种方式：一种是采用标定方法，在标定环境中拍摄图像，建立校正模型，求解得到校正拼接参数，最后以这些参数校正图像；另一种是采用特征点匹配方法，提取图像特征点(如尺度不变特征转换、加速稳健特征等)，利用特征点确定图像间的重叠区域。然而无论哪种方式，拼接校正的计算过程复杂且速度慢，无法应用于机器人导航等对实时性要求较高的领域。
技术实现思路
本专利技术的目的是提供在GPU上实现双鱼眼图像实时全景图像拼接方法及系统，以解决无法快速且实时拼接成全景图像的问题。为实现上述目的，本专利技术提供了如下方案：一种在GPU上实现双鱼眼图像实时全景图像拼接方法，包括：获取标定全景图像；根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表；所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表；所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成；根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。可选的，所述根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表，具体包括：获取所述标定全景图像的第一标定像素点；所述标定全景图像包括多个第一标定像素点；判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应，得到第一判断结果；若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应，获取所述第一鱼眼像素点的坐标，建立所述第一鱼眼镜头查找表。可选的，所述根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表，具体包括：若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应，判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应，得到第二判断结果；若所述第二判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应，获取所述第二鱼眼像素点的坐标，建立所述第二鱼眼镜头查找表。可选的，所述获取所述第二鱼眼像素点的坐标，建立所述第二鱼眼镜头查找表之后，还包括：获取所述重叠区域的最大宽度；获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离；根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度；根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度；若所述第二判断结果表示为所述第一标定像素点未与所述第二鱼眼像素点相对应，确定所述第一鱼眼图像的融合度为1，确定所述第二鱼眼图像的融合度为0；若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应，确定所述第一鱼眼图像的融合度为0，确定所述第二鱼眼图像的融合度为1。可选的，所述根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像，具体包括：获取实际拍摄的全景图像的第一实际像素点；判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标，得到第三判断结果；若所述第三判断结果表示为所述第一实际像素点在第一鱼眼镜头查找表内存在对应的第一查询坐标，判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标，得到第四判断结果；若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内存在对应的第二查询坐标，获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值；在所述融合度查找表查找所述第一实际像素点处的融合度值；根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值；所述第一期望像素点与所述第一实际像素点相对应；所述第一期望颜色值包括多个；根据多个所述第一期望颜色值确定期望全景图像；若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内未存在对应的第二查询坐标，确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值；所述第二期望颜色值包括多个；根据多个所述第二期望颜色值确定期望全景图像。一种在GPU上实现双鱼眼图像实时全景图像拼接系统，包括：标定全景图像获取模块，用于获取标定全景图像；第一鱼眼镜头查找表确定模块，用于根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组；第二鱼眼镜头查找表确定模块，用于根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表；所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组；融合度查找表确定模块，用于根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表；所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成；期望全景图像确定模块，用于根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。可选的，所述第一鱼眼镜头查找表确定模块，具体包括：第一标定像素顶获取单元，用于获取所述标定全景图像的第一标定像素点；所述标定全景图像包括多个第一标定像素点；第一判断单元，用于判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应，得到第一判断结果；第一鱼眼镜头查找表建立单元，用于若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应，获取所述第一鱼眼像素点的坐标，建立所述第一鱼眼镜头查找表。可选的，所述第二鱼眼镜头查找表确定模块，具体包括：第二判断单元，用于若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应，判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应，得到第二判断结果；第二鱼眼镜头查找表建立单元，用于若所述第二判断结果表示为所述第本文档来自技高网...

【技术保护点】
一种在GPU上实现双鱼眼图像实时全景图像拼接方法，其特征在于，包括：获取标定全景图像；根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表；所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表；所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成；根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。

【技术特征摘要】
1.一种在GPU上实现双鱼眼图像实时全景图像拼接方法，其特征在于，包括：获取标定全景图像；根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表；所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组；根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表；所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成；根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。2.根据权利要求1所述的拼接方法，其特征在于，所述根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表，具体包括：获取所述标定全景图像的第一标定像素点；所述标定全景图像包括多个第一标定像素点；判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应，得到第一判断结果；若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应，获取所述第一鱼眼像素点的坐标，建立所述第一鱼眼镜头查找表。3.根据权利要求2所述的拼接方法，其特征在于，所述根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表，具体包括：若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应，判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应，得到第二判断结果；若所述第二判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应，获取所述第二鱼眼像素点的坐标，建立所述第二鱼眼镜头查找表。4.根据权利要求3所述的拼接方法，其特征在于，所述获取所述第二鱼眼像素点的坐标，建立所述第二鱼眼镜头查找表之后，还包括：获取所述重叠区域的最大宽度；获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离；根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度；根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度；若所述第二判断结果表示为所述第一标定像素点未与所述第二鱼眼像素点相对应，确定所述第一鱼眼图像的融合度为1，确定所述第二鱼眼图像的融合度为0；若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应，确定所述第一鱼眼图像的融合度为0，确定所述第二鱼眼图像的融合度为1。5.根据权利要求4所述的拼接方法，其特征在于，所述根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像，具体包括：获取实际拍摄的全景图像的第一实际像素点；判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标，得到第三判断结果；若所述第三判断结果表示为所述第一实际像素点在第一鱼眼镜头查找表内存在对应的第一查询坐标，判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标，得到第四判断结果；若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内存在对应的第二查询坐标，获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值；在所述融合度查找表查找所述第一实际像素点处的融合度值；根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值；所述第一期望像素点与所述第一实际像素点相对应；所述第一期望颜色值包括多个；根据多个所述第一期望颜色值确定期望全景图像；若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内未存在对应的第二查询坐标，确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值；所述第二期望颜色值包括多个；根据多个所述第二期望颜色值确定期望全景图像。6.一种在GPU上实现双鱼眼图像实时全景图像拼接系统，其特征在于，包括：标定全景图像获取模块，用于获取标定全景图像；第一鱼眼镜头查找表确定模块，用于根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表；所述第一鱼眼镜头查找表为所述标定全景图像中的每个...

【专利技术属性】
技术研发人员：谢文军，李书杰，鲁明，武玉龙，李琳，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34