本发明专利技术公开了一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法。构造了原始拍摄图像（圆鱼眼或鼓形图像）与真实世界所对应球面的函数对应关系，通过特征点提取、匹配算法，得到相邻球缺面的最优匹配特征点对，设定相同的镜头所得图像所对应的球缺面具有相同的有效视角（ｆｏｖ）和非线性畸变关系，每张图像具有旋转（ｒｏｌｌ）、摇摆（ｙａｗ）、俯仰（ｐｉｔｃｈ）三个参数，基于上述特征点对，得到关于所有图像参数的优化方程，然后通过求解该优化方程确定图像参数，得到每幅图像在同一个球平面上的展开图，并进行混色得到全景图像。本发明专利技术简单易用，可以快速拼合生成高质量全景图像，并且从导入原始图像到生成全景图像的整个过程自动完成，不需要人工干预。
【技术实现步骤摘要】
本专利技术涉及一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，用户只需使用带鱼眼镜头的数码相机拍摄两张以上圆鱼眼图片，或者单反相机配sigma镜头拍摄四张和四张以上鼓形图片作为原始素材，即可以快速地、完全自动化地生成高质量球形全景图像。
技术介绍
最近几年，全景技术在全世界逐步普及，特别是在美欧日等发达国家和地区，全景技术在包括房地产，旅游，多媒体，军事、web服务，电影特技制作，安全监视等行业得到了广泛应用。目前全景图像制作的自动生成方法中，运用最广泛的是双圆鱼眼或三圆鱼眼自动拼合。其优点是图片需求量小，模型相对简单，制作方便。在双圆鱼眼拼合和三圆鱼眼拼合算法方面技术领先的公司有EASYPANO Crop，IPIX Crop等。随着全景的普及和人们对全景清晰度的要求越来越高，一些镜头制造商推出了成本相对较低，而ccd(电荷耦合器件)利用率高的新型镜头，如sigma镜头和fullframe镜头等。前者生成鼓形图像，对于一个分辨率为2048*3072的ccd来说，其ccd的利用率(ccd成像面面积与ccd总面积之比)最高可达92％，后者生成全帧图像，其ccd的利用率为100％，而鱼眼镜头生成的圆鱼眼图片，其ccd利用率最高为52％(参见图1)。此外，鱼眼镜头的fov为183度左右，而sigma镜头的竖直fov和水平fov分别为180度和120度左右，fullframe镜头则为150度和100度左右。以上表明ccd利用率越低的镜头其成像面反而包含越多的场景，这导致对于相同大小一片场景而言，其占有的ccd单元数越少。因此fullframe镜头的清晰度性能要优于sigma镜头，而后者又要优于鱼眼镜头。传统的双圆鱼眼图像和三圆鱼眼图像自动拼合算法已经不能适应于sigma镜头和fullframe镜头，也不能解决三张以上圆鱼眼图像的拼合问题。就现有技术而言，德国Helmut Dersch教授的基于GPL的Open source软件pttools可以较好地解决sigma镜头和fullframe镜头拍摄图像的全景生成问题。但由于该软件需要手工选择输入相邻图像特征点，并且缺少界面的友好交互，因此整个制作过程相当繁琐费时，同时其全景的生成效果与效率严重依赖于制作人员的经验与熟练程度。
技术实现思路
本专利技术要解决的技术问题是提供一种基于圆鱼眼或鼓形图像自动、快速生成高清晰度全景的智能化方法，它简单易用，可以自动、快速拼合生成高质量全景图像，既能够解决3张及3张以上圆鱼眼图像的全景生成问题，又能够解决4张及4张以上鼓形图像的全景生成问题，并且从导入原始图像到生成全景图像的整个过程自动完成，不需要人工干预。为解决上述技术问题，本专利技术的，包括如下步骤首先，根据圆鱼眼或鼓形图像在边界处亮度变化关系计算它们的最优包络圆区域；将上述最优包络圆区域投影变换到一个特定球缺面； 然后，运用特征点提取算法，对上述球缺面进行特征点提取，并运用特征点匹配算法，计算出相邻球缺面的最优匹配特征点对；建立完备空间模型，基于上述最优匹配特征点对运用迭代算法计算出模型参数；最后，基于上述模型及其参数，拼合生成全景图像。本专利技术与现有技术相比的有益效果是本专利技术的拼合算法不受拍摄图像数目限制，用户拍摄图像时只要满足一定拍摄要求，即可运用本专利技术进行拼合，而现在的鱼眼图像自动拼合算法只能解决两张和三张圆鱼眼图像的自动拼合问题。本专利技术可以同时解决圆鱼眼图像和鼓形图像的自动拼合问题，具有很强普适性。本专利技术拼合过程自动化程度高，用户只需要输入原始图像，即可自动生成全景图。本专利技术对图像拍摄的要求有所降低，拍摄图像时，只需要相邻图像有一定的重合区域即可，相邻镜头轴向之间的角度不需要相等，因此对全景云台的要求也有所降低。本专利技术拼合速度快，在AMD Athlon(tm)XP 2800+，1.024G内存的机子上，拼合6张分辨率为3072×2048鼓形图像为全景图像，整个拼合过程不超过2分钟。本专利技术可以生成高清晰度全景图像。以fov为183度的鱼眼镜头所得两张圆鱼眼图像拼合与本专利技术中四张鼓形图像拼合作比较，其数码相机ccd分辨率都为3072×2048.则对于生成分辨率为3000×6000全景生成图来说，前者的效果明显不如后者，这是因为前者生成的全景图中大约1/2的区域即3000×3000个像素点是从约50％×3072×2048个像素点插值算出，而后者约1/3的区域即3000×2000是从约90％×3072×2048个像素点插值算出。由此可见，后者的清晰效果要明显高于前者。此外，由于镜头对于光线的非线性扭曲影响，越靠近中心的部分，畸变越小，本专利技术可以拼合任意多张图像的特性，无疑对全景图像的拼合效果产生积极影响。用户只需要在拍摄时，借助拍摄云台，保证在不同的拍摄方向镜头的轴向所在直线基本处于同一个平面，镜头的中心基本在同一点，同时所拍摄的相邻图像有一定的重合区域，即可以应用该方法快速生成高清晰度的全景图像。附图说明图1中的(a)为鱼眼镜头所得圆鱼眼图像，(b)为sigma镜头所得鼓形图像、(c)为fullframe镜头所得全帧图像，其中，101表示ccd未利用部分，102表示ccd利用部分，即成像部分；图2为圆鱼眼或鼓形图像的拍摄方法，其中，201是安装了鱼眼镜头或sigma镜头的数码相机，202是专用全景拍摄云台，203是支撑相机的三脚架，204是镜头的中心，205是镜头的轴向；图3为相机与球缺模型的旋转、摇摆、俯仰自由度示意图，其中，301标识的是球缺模型的旋转(Roll)自由度方向、302标识的是球缺模型的俯仰(Pitch)自由度方向、303标识的是球缺模型的摇摆(Yaw)自由度方向；图4为运用本专利技术中最优包络圆搜索方法，分别对圆鱼眼图像和鼓形图像进行计算所得结果图，其中，401表示边界圆，402表示最优包络圆区域，它是本专利技术对原图像的分析处理部分；图5中5a为理想的鱼眼镜头等距模型图，5b为5a中的球缺面子图，5c为5a中的成像面子图，其中，501表示ccd所在平面，502表示成像面，503表示镜头轴向，504表示镜头中心，505表示成像面502的中心，它是503所在直线与502的交点，506表示以504为中心的球缺面，Q点为光线l1与506的交点，P点为503所在光线与506的交点；图6为本专利技术全景图像生成流程图。具体实施例方式下面结合附图对本专利技术作进一步详细的说明。在具体阐述本专利技术的之前，先对拍摄的具体要求进行说明。对大多数全景摄影来说，需要四种硬件设备鱼眼镜头(sigma镜头或full frame镜头)，数码相机，专用全景拍摄云台，支撑相机的三脚架，它们之间的架构关系如图2所示。本专利技术所述的方法需要满足的拍摄条件主要有三点1、在不同的拍摄时刻，镜头的中心基本在同一点。2、在不同的拍摄时刻，镜头的轴向所在直线近似于同一个平面上，俯仰和旋转的值较小(参见图3)。3、拍摄所得相邻图像之间有一定的重合区域，且每幅图像与两幅图像前后相邻。上述重合区域，保证了其对应的相邻球缺面相互之间具有一定的重合区域。以上三点拍摄条件，在专用全景拍摄云台的协助下，很容易做到。本专利技术所述的基于圆鱼眼或鼓形图像的全景图像生成方法，主要由图像预处理，原始图像到球面坐标变换，相邻图像特本文档来自技高网...
【技术保护点】
一种基于圆鱼眼或鼓形图像自动生成高清晰度全景的智能化方法，其特征在于：包括以下步骤：首先，根据圆鱼眼或鼓形图像在边界处亮度变化关系计算它们的最优包络圆区域；将上述最优包络圆区域投影变换到一个特定球缺面；然后，运用特征 点提取算法，对上述球缺面进行特征点提取，并运用特征点匹配算法，计算出相邻球缺面的最优匹配特征点对；建立完备空间模型，基于上述最优匹配特征点对运用迭代算法计算出模型参数；最后，基于上述模型及其参数，拼合生成全景图像。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘小华，
申请(专利权)人：上海杰图软件技术有限公司，
类型：发明
国别省市：31[中国|上海]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。