一种移动终端图像合成方法、装置及移动终端制造方法及图纸

本发明专利技术提供一种移动终端图像合成方法、装置及移动终端，其中，所述移动终端图像合成方法包括：获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，利用所述前置鱼眼摄像头组的第一内参数校正所述第一鱼眼图像，得到第一校正图像，并利用所述后置鱼眼摄像头组的第二内参数校正所述第二鱼眼图像，得到第二校正图像，根据预先计算得到的拼接参数对所述第一校正图像和所述第二校正图像进行拼接融合，得到合成图像。本发明专利技术的方案，能够在实现当前移动终端输出全景图像的情况下，满足用户实时便捷获取全景图像的需求。

Method, device and mobile terminal for mobile terminal image synthesis

The invention provides a device for mobile terminal image synthesis method, and mobile terminal, wherein, the mobile terminal includes image synthesis method: obtaining pre fisheye camera was collected in the first eye image and post group collected second fish eye camera fisheye image, the first parameter using the pre fisheye camera group the first fisheye correction the first image, image correction, and using the rear fisheye camera group second in the second parameter calibration fisheye image, second corrected image stitching parameters according to pre calculated on the first image and the second image mosaic correction, synthesized image. The scheme of the invention can satisfy the requirement of the user to obtain panoramic images in real time and conveniently when the panoramic image of the current mobile terminal is realized.

【技术实现步骤摘要】
一种移动终端图像合成方法、装置及移动终端
本专利技术涉及图像处理
，尤其涉及一种移动终端图像合成方法、装置及移动终端。
技术介绍
随着终端技术的发展，终端摄像头已成为移动终端，例如手机、可穿戴设备等的一项基本标配，越来越多的用户习惯利用终端摄像头进行图像拍摄，给人们的工作和生活带来极大的便利。但当前终端摄像头的取景视角十分有限，一般仅为90度左右，无法实现全景图像的拍摄。为了获取全景图像，当前常用方法为利用专用摄像头，例如三星360Gear、LG360CAM等进行图像拍摄，但这些专用摄像头不方便携带，无法满足用户实时便捷获取全景图像的需求。
技术实现思路
本专利技术实施例提供一种移动终端图像合成方法、装置及移动终端，用于解决现有的图像拍摄方法无法满足用户实时便捷获取全景图像的需求。第一方面，本专利技术实施例提供了一种移动终端图像合成方法，包括：获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，其中，在移动终端的前置摄像头和后置摄像头上设置鱼眼透镜形成所述前置鱼眼摄像头组和所述后置鱼眼摄像头组，所述前置鱼眼摄像头组和所述后置鱼眼摄像头组的视角大于180度；利用所述前置鱼眼摄像头组的第一内参数校正所述第一鱼眼图像，得到第一校正图像，并利用所述后置鱼眼摄像头组的第二内参数校正所述第二鱼眼图像，得到第二校正图像；根据预先计算得到的拼接参数对所述第一校正图像和所述第二校正图像进行拼接融合，得到合成图像。可选的，所述获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像的步骤之前，所述方法还包括：分别确定所述前置鱼眼摄像头组的第一内参数和所述后置鱼眼摄像头组的第二内参数；计算所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。可选的，所述分别确定所述前置鱼眼摄像头组的第一内参数和所述后置鱼眼摄像头组的第二内参数的步骤，包括：在所述移动终端绕其纵轴或横轴旋转过程中，分别获取所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，其中，所述棋盘格一直全部或部分处于所述前置鱼眼摄像头组和/或所述后置鱼眼摄像头组的视角内；通过所述移动终端中的陀螺仪，分别确定所述移动终端在所述前置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第一旋转角度，和在所述后置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第二旋转角度；根据所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第一旋转角度，利用射影重建标定算法计算得到所述第一内参数，并根据所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第二旋转角度，利用射影重建标定算法计算得到所述第二内参数。可选的，所述计算所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数的步骤，包括：当所述前置鱼眼摄像头组的光轴与棋盘格的第一夹角和所述后置鱼眼摄像头组的光轴与棋盘格的第二夹角之和小于预设夹角阈值时，分别获取所述前置鱼眼摄像头组采集的棋盘格的第一棋盘格鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的第二棋盘格鱼眼图像；利用所述第一内参数校正所述第一棋盘格鱼眼图像，得到第一棋盘格校正图像，并利用所述第二内参数校正所述第二棋盘格鱼眼图像，得到第二棋盘校正格图像；根据所述第一棋盘格校正图像和所述第二棋盘格校正图像上的棋盘格角点的匹配信息，计算所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数；其中，所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数为所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。可选的，所述拼接参数包括平移向量和旋转角度。第二方面，本专利技术实施例还提供了一种移动终端图像合成装置，包括：获取模块，用于获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，其中，在移动终端的前置摄像头和后置摄像头上设置鱼眼透镜形成所述前置鱼眼摄像头组和所述后置鱼眼摄像头组，所述前置鱼眼摄像头组和所述后置鱼眼摄像头组的视角大于180度；校正模块，用于利用所述前置鱼眼摄像头组的第一内参数校正所述第一鱼眼图像，得到第一校正图像，并利用所述后置鱼眼摄像头组的第二内参数校正所述第二鱼眼图像，得到第二校正图像；拼接模块，用于根据预先计算得到的拼接参数对所述第一校正图像和所述第二校正图像进行拼接融合，得到合成图像。可选的，所述装置还包括：确定模块，用于分别确定所述前置鱼眼摄像头组的第一内参数和所述后置鱼眼摄像头组的第二内参数；计算模块，用于计算所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。可选的，所述确定模块包括：第一获取单元，用于在所述移动终端绕其纵轴或横轴旋转过程中，分别获取所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，其中，所述棋盘格一直全部或部分处于所述前置鱼眼摄像头组和/或所述后置鱼眼摄像头组的视角内；确定单元，用于通过所述移动终端中的陀螺仪，分别确定所述移动终端在所述前置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第一旋转角度，和在所述后置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第二旋转角度；第一计算单元，用于根据所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第一旋转角度，利用射影重建标定算法计算得到所述第一内参数，并根据所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第二旋转角度，利用射影重建标定算法计算得到所述第二内参数。可选的，所述计算模块包括：第二获取单元，用于当所述前置鱼眼摄像头组的光轴与棋盘格的第一夹角和所述后置鱼眼摄像头组的光轴与棋盘格的第二夹角之和小于预设夹角阈值时，分别获取所述前置鱼眼摄像头组采集的棋盘格的第一棋盘格鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的第二棋盘格鱼眼图像；校正单元，用于利用所述第一内参数校正所述第一棋盘格鱼眼图像，得到第一棋盘格校正图像，并利用所述第二内参数校正所述第二棋盘格鱼眼图像，得到第二棋盘格校正图像；第二计算单元，用于根据所述第一棋盘格校正图像和所述第二棋盘格校正图像上的棋盘格角点的匹配信息，计算所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数；其中，所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数为所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。可选的，所述拼接参数包括平移向量和旋转角度。第三方面，本专利技术实施例还提供了一种移动终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像合成程序，所述图像合成程序被所述处理器执行时实现上述移动终端图像合成方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有图像合成程序，所述图像合成程序被处理器执行时实现上述移动终端图像合成方法中的步骤。本专利技术实施例的移动终端图像合成方法，通过对前置鱼眼摄像头组和后置鱼眼摄像头组采集的鱼眼图像进行校正及拼接融合，由于当前移动终端大都具有前后置双摄像头，在前后置摄像头上设置鱼眼透镜可形成前后置鱼眼摄像头组，鱼眼摄像头组的视角可大于180度，鱼眼透镜小巧且方便携带，因此能够在实现当前移动终端输出全景图像的情况下，满足用户实时便捷获取全景图像的需求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实本文档来自技高网...

【技术保护点】
一种移动终端图像合成方法，其特征在于，包括：获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，其中，在移动终端的前置摄像头和后置摄像头上设置鱼眼透镜形成所述前置鱼眼摄像头组和所述后置鱼眼摄像头组，所述前置鱼眼摄像头组和所述后置鱼眼摄像头组的视角大于180度；利用所述前置鱼眼摄像头组的第一内参数校正所述第一鱼眼图像，得到第一校正图像，并利用所述后置鱼眼摄像头组的第二内参数校正所述第二鱼眼图像，得到第二校正图像；根据预先计算得到的拼接参数对所述第一校正图像和所述第二校正图像进行拼接融合，得到合成图像。

【技术特征摘要】
1.一种移动终端图像合成方法，其特征在于，包括：获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，其中，在移动终端的前置摄像头和后置摄像头上设置鱼眼透镜形成所述前置鱼眼摄像头组和所述后置鱼眼摄像头组，所述前置鱼眼摄像头组和所述后置鱼眼摄像头组的视角大于180度；利用所述前置鱼眼摄像头组的第一内参数校正所述第一鱼眼图像，得到第一校正图像，并利用所述后置鱼眼摄像头组的第二内参数校正所述第二鱼眼图像，得到第二校正图像；根据预先计算得到的拼接参数对所述第一校正图像和所述第二校正图像进行拼接融合，得到合成图像。2.根据权利要求1所述的方法，其特征在于，所述获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像的步骤之前，所述方法还包括：分别确定所述前置鱼眼摄像头组的第一内参数和所述后置鱼眼摄像头组的第二内参数；计算所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。3.根据权利要求2所述的方法，其特征在于，所述分别确定所述前置鱼眼摄像头组的第一内参数和所述后置鱼眼摄像头组的第二内参数的步骤，包括：在所述移动终端绕其纵轴或横轴旋转过程中，分别获取所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像，其中，所述棋盘格一直全部或部分处于所述前置鱼眼摄像头组和/或所述后置鱼眼摄像头组的视角内；通过所述移动终端中的陀螺仪，分别确定所述移动终端在所述前置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第一旋转角度，和在所述后置鱼眼摄像头组采集棋盘格的每帧鱼眼图像时的第二旋转角度；根据所述前置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第一旋转角度，利用射影重建标定算法计算得到所述第一内参数，并根据所述后置鱼眼摄像头组采集的棋盘格的每帧鱼眼图像和所述第二旋转角度，利用射影重建标定算法计算得到所述第二内参数。4.根据权利要求3所述的方法，其特征在于，所述计算所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数的步骤，包括：当所述前置鱼眼摄像头组的光轴与棋盘格的第一夹角和所述后置鱼眼摄像头组的光轴与棋盘格的第二夹角之和小于预设夹角阈值时，分别获取所述前置鱼眼摄像头组采集的棋盘格的第一棋盘格鱼眼图像，和所述后置鱼眼摄像头组采集的棋盘格的第二棋盘格鱼眼图像；利用所述第一内参数校正所述第一棋盘格鱼眼图像，得到第一棋盘格校正图像，并利用所述第二内参数校正所述第二棋盘格鱼眼图像，得到第二棋盘校正格图像；根据所述第一棋盘格校正图像和所述第二棋盘格校正图像上的棋盘格角点的匹配信息，计算所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数；其中，所述第一棋盘格校正图像和所述第二棋盘格校正图像之间的拼接参数为所述前置鱼眼摄像头组和所述后置鱼眼摄像头组之间的拼接参数。5.根据权利要求4所述的方法，其特征在于，所述拼接参数包括平移向量和旋转角度。6.一种移动终端图像合成装置，其特征在于，包括：获取模块，用于获取前置鱼眼摄像头组采集的第一鱼眼图像和后置鱼眼摄像头组采集的第二鱼眼图像，其中，在移动终...

【专利技术属性】
技术研发人员：赵星星，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11