一种反射式全景成像系统及方法技术方案

本发明专利技术公开了一种反射式全景成像系统及方法，将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上；选择相机进入拍摄模式；分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；对图像进行特征点的提取、筛选及匹配；进行图像配准、拼接、融合；选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备。本发明专利技术可以拍摄完整的全景画面，可以保证视频流同步，更容易得到全景视频。

【技术实现步骤摘要】

本专利技术属于摄像、成像
，尤其涉及一种反射式全景成像系统及方法。
技术介绍
用户一直都有拍摄全景内容的需求，通过对从不同角度拍摄的画面进行拼接及融合从而获得更大视角的画面或者全景画面。目前大部分算法都是通过寻找两两画面重叠区域中相匹配的点，然后将重叠区域配准，并最终将多个画面拼接并融合到一起。大多数方案的差异主要集中在数据的采集和处理方面，如：1、相机或手机中全景拍摄模式：通过用户平移相机或手机，拍摄平移过程中的所有画面，两两拼接后，得到整个场景的画面；2、通过多个相机分别拍摄不同视角的相片或视频，要求两两相机的视野间，不同于一个相机的方案，多个相机可以在短时间内拍摄完成，然后通过后期处理的方式，将所拍摄的画面拼接成一个全景画面；3、通过特制的一体化全景相机，一次性输出全景画面。但这几种方案分别有其相应的问题：1、通过相机或手机的全景模式拍摄，拍摄时间长，经常出现拼接错误或由于拍摄过程中有物体移动而产生的“鬼影”，以及无法拍摄全景视频等问题；2、通过多个相机拍摄，则会存在设备昂贵，无法实时查看拼接好的全景画面，操作复杂以及多路数据很难同步等问题；3、通过特制的一体化全景相机来拍摄，由于是独立的拍摄设备，会存在系统设计复杂，价格高昂，携带不变等问题。另外，目前多数设备不支持实时预览全景画面和全景视频拍摄等功能。
技术实现思路
本专利技术的目的在于提供一种反射式全景成像系统及方法，旨在解决拍摄成本高、拍摄过程繁琐、需要特殊的独立拍摄设备、无法录制全景视频等问题的问题。本专利技术是这样实现的，该反射式全景成像方法包括以下步骤：将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，打开相机；选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择预览模式，则读取相机的实时预览视频流；分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像矫正是去除部分畸变以及LensShading，色彩校正是对于色温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消除；对图像进行特征点的提取、筛选及匹配，提取算法检测到特征点的位置，并通过对特征点的描述，找到该点在另一幅画面中相对应的特征点，形成特征点匹配对；进行图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到两组鱼眼镜头的相对位置关系，以及两个半球画面的重叠区域；即I1＝K[R|T]K-1I2，其中I1与I2表示通过特征点匹配找到的第一及第二鱼眼镜头所对应画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数，而[R|T]则是需要计算的相机相对位置关系，相对位置关系描述成旋转R和平移T组成的数学模型；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备屏幕上。本专利技术的另一目的在于提供一种所述反射式全景成像方法的反射式全景成像系统，该反射式全景成像系统包括：安装模块，用于将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，打开相机；读取模块，选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择预览模式，则读取相机的实时预览视频流；成像模块，用于分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；图像处理模块，应用对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；特征点处理模块，用于对图像进行特征点的提取、筛选及匹配，提取算法检测到特征点的位置，并通过对特征点的描述，找到该点在另一幅画面中相对应的特征点，形成特征点匹配对；计算模块，用于进行图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到两组鱼眼镜头的相对位置关系，以及两个半球画面的重叠区域；即I1＝K[R|T]K-1I2，其中I1与I2表示通过特征点匹配找到的第一及第二鱼眼镜头所对应画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数，而[R|T]则是需要计算的相机相对位置关系，相对位置关系描述成旋转R和平移T组成的数学模型；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；存储模块，选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备屏幕上。进一步，所述图像处理模块包括：图像矫正单元，用于去除部分畸变以及LensShading；色彩校正单元，用于对色温的调整；噪点消除单元，用于对图像传感器固有噪声，以及图像数据读取时的噪声消除。进一步，所述反射式全景成像系统进一步包括：第一鱼眼镜头、第二鱼眼镜头、第一反射元件、第二反射元件和图像传感器成像装置；第一鱼眼镜头、第二鱼眼镜头的光轴在同一条直线上，第一反射元件、第二反射元件的斜边分别与光轴成45度对称放置，使射入第一鱼眼镜头、第二鱼眼镜头的光线分别经过第一反射元件、第二反射元件90度折射后照射在同一个图像传感器的两个不重叠区域。进一步，所述第一反射元件和第二反射元件为等腰直角反射棱镜或平面镜。进一步，所述第一鱼眼镜头、第二鱼眼镜头的水平视场角、垂直视场角、对角视场角均大于180°。进一步，所述第一鱼眼镜头、第二鱼眼镜头采用变焦镜头或定焦镜头。进一步，所述第一反射元件或第二反射元件为翻转的平面、凹面或凸面反射元件。本专利技术的另一目的在于提供一种应用所述反射式全景成像方法的智能终端。本专利技术具有的优点和技术效果是：1、对比手机全景拍摄模式，本专利技术操作简单且快速，用户不需要移动相机，因为一个时刻全部场景的画面都被两个鱼眼镜头完整记录在传感器上，所以用户只需要点击一次拍照键，便可以拍摄一个完整的全景画面，即360°(水平视场角FoV)x180°(垂直视场角FoV)；可以拍摄全景视频以及预览实时的全景画面，因为该成像系统本文档来自技高网...

【技术保护点】
一种反射式全景成像方法，其特征在于，该反射式全景成像方法包括以下步骤：将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，打开相机；选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择预览模式，则读取相机的实时预览视频流；分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的像；对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光及对比度调整；图像矫正是去除部分畸变以及Lens Shading，色彩校正是对于色温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消除；对图像进行特征点的提取、筛选及匹配，提取算法检测到特征点的位置，并通过对特征点的描述，找到该点在另一幅画面中相对应的特征点，形成特征点匹配对；进行图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到两组鱼眼镜头的相对位置关系，以及两个半球画面的重叠区域；即I1＝K[R|T]K‑1I2，其中I1与I2表示通过特征点匹配找到的第一及第二鱼眼镜头所对应画面的特征点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相对镜头光轴的偏移量以及镜头的畸变参数，而[R|T]则是需要计算的相机相对位置关系，相对位置关系描述成旋转R和平移T组成的数学模型；拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最后通过图像融合将两张图像之间的重叠区域过度平滑；选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则对拼接后的全景图像渲染，显示到连接相机的设备屏幕上。...

【技术特征摘要】
1.一种反射式全景成像方法，其特征在于，该反射式全景成像方法包括以
下步骤：
将光学系统直接安装在图像传感器或现有相机光学系统之上，使得两组鱼
眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，打开相机；
选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择预览模式，
则读取相机的实时预览视频流；
分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感器上分别成的
像；
对分割后的图像分别作处理，包括图像矫正，色彩调整，噪点消除，曝光
及对比度调整；图像矫正是去除部分畸变以及LensShading，色彩校正是对于色
温的调整，噪点消除涉及图像传感器固有噪声，以及图像数据读取时的噪声消
除；
对图像进行特征点的提取、筛选及匹配，提取算法检测到特征点的位置，
并通过对特征点的描述，找到该点在另一幅画面中相对应的特征点，形成特征
点匹配对；
进行图像配准、拼接、融合；基于得到的图像特征点匹配对，计算得到两
组鱼眼镜头的相对位置关系，以及两个半球画面的重叠区域；即I1＝K[R|T]K-1I2，
其中I1与I2表示通过特征点匹配找到的第一及第二鱼眼镜头所对应画面的特征
点匹配对，K表示的是相机的内部参数，包括相机的焦距，相机传感器中心相
对镜头光轴的偏移量以及镜头的畸变参数，而[R|T]则是需要计算的相机相对位
置关系，相对位置关系描述成旋转R和平移T组成的数学模型；
拼接算法则是基于确定后的图像重合情况将画面重叠区域移动到一起，最
后通过图像融合将两张图像之间的重叠区域过度平滑；
选择拍摄模式，则进行全景图像及视频的压缩及存储；选择预览模式，则
对拼接后的全景图像渲染，显示到连接相机的设备屏幕上。
2.一种如权利要求1所述反射式全景成像方法的反射式全景成像系统，其

\t特征在于，该反射式全景成像系统包括：
安装模块，用于将光学系统直接安装在图像传感器或现有相机光学系统之
上，使得两组鱼眼镜头的像平面分别经过反射元件不重叠的落在图像传感器上，
打开相机；
读取模块，选择相机进入拍摄模式，读取相机拍摄的图片或视频流；选择
预览模式，则读取相机的实时预览视频流；
成像模块，用于分割光线经过第一鱼眼镜头和第二鱼眼镜头后在图像传感
器上分别成的像；
图像处理模块，应用对分割后的图像分别作处理，包括图像矫正，色彩调
整，噪点消除，曝光及对比度调整；
特征点处理模块，用于对图像进行特征点的提取、...

【专利技术属性】
技术研发人员：景好，
申请(专利权)人：景好，
类型：发明
国别省市：广东;44