一种全景相机镜头姿态估计方法及全景相机技术

本发明专利技术公开了一种全景相机镜头姿态估计方法及全景相机，从利用N个鱼眼镜头获取的N个鱼眼图像中选取M对鱼眼图像；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头转换到同一方向的两个矩阵；根据每对鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，并将获取到的校正后的所述M对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。

【技术实现步骤摘要】
一种全景相机镜头姿态估计方法及全景相机
本专利技术涉及图像处理领域，尤其涉及一种全景相机镜头姿态估计方法及全景相机。
技术介绍
全景相机需要将多个摄像头的画面进行拼接，以形成360度的全景图像，拼接计算过程中需要用到各个相机的参数，包括内部参数和外部参数。其中各个摄像头的内部参数可以采用棋盘图像标定算法进行估计。现有全景拼接方案大多采用直接对相邻图像采用特征点提取、匹配，然后通过RANSAC算法估计图像之间的仿射变换参数(或其它变换)，最后通过BA来进行全局相机参数优化，以获取到优化后的各个摄像头的外部参数(姿态)：旋转矩阵R和位移向量t。由于全景相机在安装摄像头时，虽然摄像头的安装位置根据全景相机设计相对固定，但是生产安装过程中不可避免会产生误差，即便是较小的误差，会使得获取的各个摄像头的姿态的精确度降低，反应到图像上也会造成图像较大的差异，从而影响全景相机整体的拼接效果，导致拼接效果变差的问题。
技术实现思路
本专利技术提供了一种全景相机镜头姿态估计方法及全景相机，能够解决由于摄像头安装误差导致获取的各个摄像头的姿态的精确度差的问题，实现了在摄像头安装误差存在的情况下提高获取的各个摄像头的姿态的精确度的效果，从而有效提高全景图像的拼接效果。本专利技术第一方面提供一种全景相机镜头姿态估计方法，所述全景相机具有N个鱼眼镜头，N为不小于2的整数，所述方法包括：利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；从所述N个鱼眼图像中选取M对鱼眼图像，其中，每两个具有相交区域的鱼眼图像组成一对鱼眼图像，M为不小于1的整数；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵；根据每对鱼眼镜头中每个鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，获得校正后的所述M对鱼眼图像；对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。可选的，所述从所述N个鱼眼图像中选取M对鱼眼图像，具体包括：根据所述N个鱼眼镜头的分布，从所述N个鱼眼镜头中选取M对鱼眼镜头，其中，每相邻两个鱼眼镜头组成一对鱼眼镜头；根据所述M对鱼眼镜头，从所述N个鱼眼图像中选取与所述M对鱼眼镜头对应的所述M对鱼眼图像。可选的，所述根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和内部参数，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，具体包括：根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼图像对应的两个鱼眼镜头的中间方向向量；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和中间方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵。可选的，所述对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对，具体包括：对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的原始匹配特征点对；检测每对鱼眼图像的原始匹配特征点对数量是否大于预设数量；若检测到某对鱼眼图像的原始匹配特征点对数量不大于所述预设数量，则从该对鱼眼图像中选取新增匹配特征点对，并将该对鱼眼图像的原始匹配特征点对加上新增匹配特征点对作为该对鱼眼图像的匹配特征点对，其中，该对鱼眼图像的原始匹配特征点对加上新增匹配特征点对的数量大于所述预设数量；若检测到某对鱼眼图像的原始匹配特征点对数量大于所述预设数量，则将该对鱼眼图像的原始特征点对作为该对鱼眼图像的匹配特征点对。可选的，在检测到某对鱼眼图像的原始匹配特征点对数量不大于所述预设数量之后，所述方法还包括：获取该对鱼眼图像对应的预设匹配特征点对，并将该对鱼眼图像的原始匹配特征点对加上预设匹配特征点对作为该对鱼眼图像的匹配特征点对，其中，该对鱼眼图像的原始匹配特征点对加上预设匹配特征点对的数量大于所述预设数量。可选的，所述根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态，具体包括：将每对鱼眼图像的匹配特征点对的三维坐标集利用光束平差法进行姿态估计，估计出每个鱼眼镜头在世界坐标系中的姿态。本申请第二方面还提供了一种应用于全景相机中的全景图像拼接方法，所述全景相机具有N个鱼眼镜头，N为不小于2的整数，所述方法包括：采用如本申请第一方面提供的方法计算出每个鱼眼镜头在世界坐标系中的姿态，并存储到存储器中；在利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像之后，根据所述存储器中存储的每个鱼眼镜头在世界坐标系中的姿态、所述N个鱼眼图像、每个鱼眼镜头的内参数，将所述N个鱼眼图像拼接成全景图像。本申请第三方面还提供了一种全景相机，具有N个鱼眼镜头，N为不小于2的整数，所述全景相机还包括：鱼眼图像获取单元，用于利用所述N个鱼眼镜头在同一时刻获取到N个鱼眼图像；图像对选取单元，用于从所述N个鱼眼图像中选取M对鱼眼图像，其中，每两个具有相交区域的鱼眼图像组成一对鱼眼图像，M为不小于1的整数；图像转换单元，用于根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵；图像校正单元，用于根据每对鱼眼镜头中每个鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，获得校正后的所述M对鱼眼图像；匹配单元，用于对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；三维坐标获取单元，用于根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；姿态获取单元，用于根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。可选的，所述图像转换单元具体包括：向量获取子单元，根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼图像对应的两个鱼眼镜头的中间方向向量；图像转换子单元，用于根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和中间方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵。本申请第四方面还提供了一种全景相机，具有N个鱼眼镜头，N为不小于2的整数，所述全景相机还包括：初始化单元，用于采用如本申请第一方面的方法计算出每个鱼眼镜头在世界坐标系中的姿态，并存储到存储器中；拼接单元，用于在利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像之后，根据所述存储器中存储的每个鱼眼镜头在世界坐标系中的姿态、所述N个鱼眼图像、每个鱼眼镜头的内参数，将所述N个鱼眼图像拼接成全景图像。基于上述技术方案，本专利技术实施例中是将每对鱼眼图像转换到同一方向并进行校正后获取每对鱼眼图像的匹配特征点对，而现有技术中是直接获取每对鱼眼图像的匹配特征点对，使得本申请实施例中获取的每对鱼眼图像的匹配特征点对的准确度得以大幅提高，在每对鱼眼图像的匹配特征点对的准确度提高的基础上，每对鱼眼图像的匹配特征点对的三维坐标集的精确度也随之提高，使得根据每对鱼眼图像的匹配特征点对的三维坐标集获取的每个本文档来自技高网...

【技术保护点】
1.一种全景相机镜头姿态估计方法，所述全景相机具有N个鱼眼镜头，N为不小于2的整数，其特征在于，所述方法包括：利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；从所述N个鱼眼图像中选取M对鱼眼图像，其中，每两个具有相交区域的鱼眼图像组成一对鱼眼图像，M为不小于1的整数；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵；根据每对鱼眼镜头中每个鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，获得校正后的所述M对鱼眼图像；对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。

【技术特征摘要】
1.一种全景相机镜头姿态估计方法，所述全景相机具有N个鱼眼镜头，N为不小于2的整数，其特征在于，所述方法包括：利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；从所述N个鱼眼图像中选取M对鱼眼图像，其中，每两个具有相交区域的鱼眼图像组成一对鱼眼图像，M为不小于1的整数；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵；根据每对鱼眼镜头中每个鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，获得校正后的所述M对鱼眼图像；对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。2.如权利要求1所述的方法，其特征在于，所述从所述N个鱼眼图像中选取M对鱼眼图像，具体包括：根据所述N个鱼眼镜头的分布，从所述N个鱼眼镜头中选取M对鱼眼镜头，其中，每相邻两个鱼眼镜头组成一对鱼眼镜头；根据所述M对鱼眼镜头，从所述N个鱼眼图像中选取与所述M对鱼眼镜头对应的所述M对鱼眼图像。3.如权利要求1所述的方法，其特征在于，所述根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和内部参数，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，具体包括：根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼图像对应的两个鱼眼镜头的中间方向向量；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和中间方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵。4.如权利要求1所述的方法，其特征在于，所述对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对，具体包括：对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的原始匹配特征点对；检测每对鱼眼图像的原始匹配特征点对数量是否大于预设数量；若检测到某对鱼眼图像的原始匹配特征点对数量不大于所述预设数量，则从该对鱼眼图像中选取新增匹配特征点对，并将该对鱼眼图像的原始匹配特征点对加上新增匹配特征点对作为该对鱼眼图像的匹配特征点对，其中，该对鱼眼图像的原始匹配特征点对加上新增匹配特征点对的数量大于所述预设数量；若检测到某对鱼眼图像的原始匹配特征点对数量大于所述预设数量，则将该对鱼眼图像的原始特征点对作为该对鱼眼图像的匹配特征点对。5.如权利要求4所述的方法，其特征在于，在检测到某对鱼眼图像的原始匹配特征点对数量不大于所述预设数量之后，所述方法还包括：获取该对鱼眼图像对应的预设匹配特征点对，并将该对鱼眼图像的原始匹配特征点对加上预设匹配特征点对作为该对鱼眼...

【专利技术属性】
技术研发人员：曾智，邓旭，
申请(专利权)人：成都观界创宇科技有限公司，
类型：发明
国别省市：四川,51