一种获取全景图像的方法及装置制造方法及图纸

本发明专利技术公开一种获取全景图像的方法及装置，该方法包括：利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像，用以提高鱼眼全景图像拼接精度。

Method and device for acquiring panoramic image

And the device of the invention discloses a method for obtaining a panoramic image, the method includes: using eye shot Pisces can get two images of fisheye image, wherein the eye lens for Pisces back two shots on the set, and the two lens and the viewing angle is greater than or equal to 360 degrees; the two pieces of fish from the image plane coordinate mapping to the spherical models; feature points are extracted from each fisheye image after mapping, we can get the match feature points matching feature points and extracting; using the feature point matching to determine the transformation matrix between two pieces of fisheye image after mapping; using the transform after the two matrix mapping fisheye images into the same spherical model; two fisheye image with a spherical model to obtain spherical panoramic image mosaic mosaic, after, in order to improve Fisheye panoramic image stitching accuracy.

【技术实现步骤摘要】
一种获取全景图像的方法及装置
本专利技术涉及图像处理领域，尤其涉及一种获取全景图像的方法及装置。
技术介绍
鱼眼镜头是模拟水下鱼类仰视水面效果的一种超广角镜头，其典型视场角为180°，还有的超过180°、大于220°，甚至达到270°。鱼眼镜头的好处很多：视角大，可容纳场景多，且可以适应狭小空间拍摄，因此在虚实景技术、机器人导航、视觉监控等许多计算机视觉领域中被广泛应用。由于鱼眼镜头拍摄的图像视角较大，因此拼接成360°的全景图像只需要鱼眼镜头拍摄2-3张图像即可，因此，在全景内容制作，例如全景虚拟现实VR(VirtualReality)视频制作中，鱼眼镜头得到了越来越多的使用。但是，采用鱼眼镜头拍摄的图像由于视角超广，因此其桶形弯曲畸变非常大，画面周边的成像呈现严重变形，直线弯曲，只有镜头中心部分的内容可以保持原来的状态。所以这类鱼眼图像虽能够包含较多的场景信息，但却不能显示重要的细节问题，因此使用这些畸变鱼眼图像进行全景图像拼接时需要进行畸变校正处理。目前在利用鱼眼镜头图像进行全景图像拼接时，图片处理软件一般都是在平面坐标系下根据待拼接图像估计鱼眼镜头参数，然后建立模型进行矫正拼接获取平面的全景图像，最后把拼接后的平面的全景图像进行球面映射即将平面的全景图像贴在球上进行全景显示。由于相机镜头参数估计的不准确性，导致平面坐标系下存在的畸形很难被矫正，从而后面拼接融合后的图像有接缝拼不上的情况，拼接精度较低，拼接的图像效果会受到很大影响。
技术实现思路
本专利技术实施例提供一种获取全景图像的方法及装置，用以提高鱼眼镜头全景图像的拼接精度。本专利技术方法包括一种获取全景图像的方法，该方法包括：利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。进一步地，所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中之前，还包括：利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；所述将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中，包括：根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。进一步地，所述从映射后的每个鱼眼图像中提取特征点，包括：构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；所述将提取到的特征点进行匹配得到特征点匹配对，包括：利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。进一步地，所述利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵，包括：根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；所述公式一为：其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。进一步地，所述将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像，包括：用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。进一步地，在所述获取拼接后的球面全景图像后，所述方法还包括：根据获取的球面全景图像，进行虚拟现实VR显示。基于同样的专利技术构思，本专利技术实施例进一步地提供一种获取全景图像的装置，该装置包括：拍摄单元，用于利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；映射单元，用于将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中提取单元，用于从映射后的每个鱼眼图像中提取特征点；匹配单元，用于并将提取到的特征点进行匹配得到特征点匹配对；运算单元，用于利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；转换单元，用于利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；拼接单元，用于将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。进一步地，所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；所述装置还包括：扫描单元，用于利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；所述映射单元具体用于：根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。进一步地，所述提取单元具体用于：构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；所述匹配单元具体用于：利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。进一步地，所述运算单元具体用于：根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；所述公式一为：其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。进一步地，所述拼接单元具体用于：用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。进一步地，显示单元，用于根据获取的球面全景图像，进行虚拟现实VR显示。一方面，本专利技术实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下方法：针对利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球本文档来自技高网...

【技术保护点】
一种获取全景图像的方法，其特征在于，该方法包括：利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。

【技术特征摘要】
1.一种获取全景图像的方法，其特征在于，该方法包括：利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。2.如权利要求1所述的方法，其特征在于，所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中之前，还包括：利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；所述将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中，包括：根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。3.如权利要求1所述的方法，其特征在于，所述从映射后的每个鱼眼图像中提取特征点，包括：构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；所述将提取到的特征点进行匹配得到特征点匹配对，包括：利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。4.如权利要求3所述的方法，其特征在于，所述利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵，包括：根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；所述公式一为：其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。5.如权利要求1所述的方法，其特征在于，所述将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像，包括：用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。6.如权利要求1所述的方法，其特征在于，在所述获取拼接后的球面全景图像后，所述方法还包括：根据获取的球面全景图像，进行虚拟现实VR显示。7.一种获取全景图像的装置，其特征在于，该装置包括：拍摄单元，用于利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；映射单元，用于将所述两幅鱼眼图像从平面坐标系映射到各自的...

【专利技术属性】
技术研发人员：庞涛，
申请(专利权)人：北京星辰美豆文化传播有限公司，
类型：发明
国别省市：北京,11