实时全景拼接方法和装置制造方法及图纸

本发明专利技术提供了一种实时全景拼接方法，包括以下步骤：获取多个鱼眼镜头的映射参数和镜头视场角；根据鱼眼镜头的映射参数获取拟合映射曲线；获取鱼眼图中第一鱼眼圆和第二鱼眼圆的圆心坐标和半径；创建用于鱼眼图矫正图的第一球面模型和第二球面模型；将第一鱼眼圆和第二鱼眼圆中的点映射到矫正图的相应的第一球面模型和第二球面模型上，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及将解码后每一幅图片绘制到360度的球面模型上，以便实时观看全景视频。本发明专利技术还提供了一种实时全景拼接装置。本发明专利技术的方法和装置的优点在于：用于对利用双鱼眼镜头拍摄的视频进行实时处理，以便实时以360度视角观看视频。

【技术实现步骤摘要】

本专利技术涉及一种全景拼接方法和装置，具体而言，涉及一种实时全景拼接方法和装置。
技术介绍
鱼眼镜头是一种超广角镜头，一般的定义是视角达到180度的镜头就称之为鱼眼镜头。全景图像是指利用专业全景图像制作工具(例如panatools)对采用鱼眼镜头拍摄的图片进行拼接而形成的360度的图像。图1示出了鱼眼镜头成像原理图。如图1所示，入射光线经过镜头折射后最终成像在胶片上，其中经过光轴的光线不会发生折射直接成像在图像的中心，而对于入射角为θ的入射光线，如果没有发生折射则沿虚线成像在胶片上，其距离胶片中心的距离为rRef，rRef＝f×tan(θ)，f为透镜焦点与胶片之间的距离。实际情况是，入射角度为θ的入射光线经过透镜会发生折射，折射后的光线映射在胶片上，其与胶片中心的距离为rReal，rReal与θ之间的关系用函数rReal＝F(θ)表示，该函数称为镜头的映射曲线。镜头的映射参数可以通过厂家获得。表1为从镜头厂商直接获得的某鱼眼镜头的一部分映射参数。表1：镜头映射参数表表1只给出了一部分入射角度的映射参数，完整的映射参数表包含范围为每间隔0.5度的入射角度的映射参数，fov为镜头的视场角。根据映射参数表绘制散点图，并通过线性回归的方法获得一条拟合曲线。如表1得到拟合曲线为：rReal＝F(θ)＝1.0×10-9θ4-6.0×10-7θ3+8.5×10-6θ2+0.0183θ+0.0007 (公式1)把拟合出来的曲线计算的结果和实际结果对比，得到误差：误差＝(rReal拟合-rReal)/rReal×100％ (公式2)得到的拟合曲线误差在0.5％以内。当然，可以通过增加多项式的阶来获取误差更小的拟合曲线。需要一种实时拼接方法和装置，用于对利用双鱼眼镜头拍摄的视频进行实时处理，以便以360度视角呈现视频。
技术实现思路
本专利技术的一个实施方式提供了一种实时全景拼接方法，其中，所述方法包括以下步骤：步骤1：获取多个鱼眼镜头的映射参数和镜头视场角；步骤2：根据鱼眼镜头的映射参数获取拟合映射曲线；步骤3：获取鱼眼图中第一鱼眼圆和第二鱼眼圆的圆心坐标和半径；步骤4：创建用于鱼眼图矫正图的第一球面模型和第二球面模型；步骤5：基于镜头视场角、拟合映射曲线、鱼眼圆的圆心坐标和半径将第一鱼眼圆和第二鱼眼圆中的点映射到矫正图的相应的第一球面模型和第二球面模型上，使得第二球面模型绕Z轴旋转180度，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及步骤6：将使用视频解码器对视频解码后每一幅图片绘制到360度的球面模型上，以便实时观看全景视频。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤1中，鱼眼镜头映射参数和镜头视场角通过鱼眼镜头供应商获得。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤2中，根据镜头映射参数获取拟合映射曲线是指利用映射参数结合公式1:rReal＝F(θ)＝1.0×10-9θ4-6.0×10-7θ3+8.5×10-6θ2+0.0183θ+0.0007获得拟合映射曲线，其中θ为入射角，rReal为角度为θ的入射光线经过透镜折射后映射在胶片时与胶片中心的距离。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤3中，鱼眼图包括第一鱼眼圆和第二鱼眼圆，第一鱼眼圆的半径为R，第一鱼眼圆的圆心坐标为(x0，y0)，第二鱼眼圆的半径为R1，第二鱼眼圆的圆心坐标为(x1，y1)。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤5中，鱼眼图矫正图的第一球面模型和第二球面模型与第一鱼眼圆和第二鱼眼圆中的点相对应。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中上述步骤5还包括以下步骤：步骤5a:由球面模型上的点p(x，y，z)获得入射角θ和偏移角φ的大小；步骤5b:基于入射角度、镜头视场角度、鱼眼圆的半径获得半径radius；以及步骤5c:基于半径radius、偏移角φ、鱼眼圆心坐标和原始鱼眼图的宽度W和高度H获得球面模型上的点p(x，y，z)对应的纹理坐标(u，v)。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤5a中，由球面模型上的点p(x，y，z)根据公式3：公式4：公式5：Φ＝a tan 2(y,x)获得入射角θ和偏移角φ的大小。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤5b中，基于公式6：radius＝R×F(θ)/F(fov/2)和fov获得中间变量radius。根据本专利技术的上述一个实施方式提供的实时全景拼接方法，其中在上述步骤5c中，基于半径radius、偏移角φ、鱼眼圆心坐标和原始鱼眼图的宽度W和高度H、公式7：u＝(radius×cos(Φ)+x0)/W和公式8：v＝(radius×sin(Φ)+y0)/H获得球面模型上的点p(x，y，z)对应的纹理坐标(u，v)。本专利技术的另一个实施方式提供了一种实时全景拼接装置，其中，所述装置包括：第一数据获取模块，用于获取鱼眼镜头映射参数和镜头视场角；映射曲线拟合模块，用于根据镜头映射参数获取拟合映射曲线；第二数据获取模块，获取鱼眼图中第一鱼眼圆和第二鱼眼圆的圆心坐标和半径；模型创建模块，用于创建用于鱼眼图矫正图的第一球面模型和第二球面模型；映射模块：基于镜头视场角、拟合映射曲线、鱼眼圆的圆心坐标和半径将第一鱼眼圆和第二鱼眼圆中的点映射到矫正图的相应的第一球面模型和第二球面模型上，使得第二球面模型绕Z轴旋转180度，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及绘制模块：用于将使用视频解码器对视频解码后的每一幅图片绘制到360度的球面模型上，以便实时观看全景视频。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，鱼眼镜头映射参数和镜头视场角通过鱼眼镜头供应商获得。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，根据镜头映射参数获取拟合映射曲线是指利用映射参数结合公式1:rReal＝F(θ)＝1.0×10-9θ4-6.0×10-7θ3+8.5×10-6θ2+0.0183θ+0.0007获得拟合映射曲线，其中θ为入射角，rReal为角度为θ的入射光线经过透镜折射后映射在胶片时与胶片中心的距离。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，鱼眼图包括第一鱼眼圆和第二鱼眼圆，第一鱼眼圆的半径为R，第一鱼眼圆的圆心为(x0，y0)，第二鱼眼圆的半径为R1，第二鱼眼圆的圆心为(x1，y1)。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，鱼眼图矫正图的第一球面模型和第二球面模型与第一鱼眼圆和第二鱼眼圆中的点相对应。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，映射模块包括以下转化模块：第一转化模块，用于经由球面模型上的点p(x，y，z)获得入射角θ和偏移角φ的大小；第二转化模块，用于基于入射角度、镜头视场角度、鱼眼圆的半径获得半径radius；以及第三转化模块，用于基于半径radius、偏移角φ、鱼眼圆心坐标和原始鱼眼图的宽度W和高度H获得球面模型上的点p(x，y，z)对应的纹理坐标(u，v)。本专利技术的另一个实施方式提供的实时全景拼接装置，其中，第一转化模块经由球面模型上的点p(x，y，z本文档来自技高网...

【技术保护点】
一种实时全景拼接方法，其中，所述方法包括以下步骤：步骤1：获取多个鱼眼镜头的映射参数和镜头视场角；步骤2：根据鱼眼镜头的映射参数获取拟合映射曲线；步骤3：获取鱼眼图中第一鱼眼圆和第二鱼眼圆的圆心坐标和半径；步骤4：创建用于鱼眼图矫正图的第一球面模型和第二球面模型；步骤5：基于镜头视场角、拟合映射曲线、鱼眼圆的圆心坐标和半径将第一鱼眼圆和第二鱼眼圆中的点映射到矫正图的相应的第一球面模型和第二球面模型上，使得第二球面模型绕Z轴旋转180度，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及步骤6：将使用视频解码器对视频解码后每一幅图片绘制到360度的球面模型上，以便实时观看全景视频。

【技术特征摘要】
1.一种实时全景拼接方法，其中，所述方法包括以下步骤：步骤1：获取多个鱼眼镜头的映射参数和镜头视场角；步骤2：根据鱼眼镜头的映射参数获取拟合映射曲线；步骤3：获取鱼眼图中第一鱼眼圆和第二鱼眼圆的圆心坐标和半径；步骤4：创建用于鱼眼图矫正图的第一球面模型和第二球面模型；步骤5：基于镜头视场角、拟合映射曲线、鱼眼圆的圆心坐标和半径将第一鱼眼圆和第二鱼眼圆中的点映射到矫正图的相应的第一球面模型和第二球面模型上，使得第二球面模型绕Z轴旋转180度，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及步骤6：将使用视频解码器对视频解码后每一幅图片绘制到360度的球面模型上，以便实时观看全景视频。2.根据权利要求1所述的实时全景拼接方法，其中，在上述步骤1中，鱼眼镜头映射参数和镜头视场角通过鱼眼镜头供应商获得。3.根据权利要求1所述的实时全景拼接方法，其中，在上述步骤2中，根据镜头映射参数获取拟合映射曲线是指利用映射参数结合公式1:rReal＝F(θ)＝1.0×10-9θ4-6.0×10-7θ3+8.5×10-6θ2+0.0183θ+0.0007获得拟合映射曲线，其中θ为入射角，rReal为角度为θ的入射光线经过透镜折射后映射在胶片时与胶片中心的距离。4.根据权利要求1所述的实时全景拼接方法，其中，在上述步骤3中，鱼眼图包括第一鱼眼圆和第二鱼眼圆，第一鱼眼圆的半径为R，第一鱼眼圆的圆心坐标为(x0，y0)，第二鱼眼圆的半径为R1，第二鱼眼圆的圆心坐标为(x1和y1)。5.根据权利要求1所述的实时全景拼接方法，其中，在上述步骤5中，鱼眼图矫正图的第一球面模型和第二球面模型与第一鱼眼圆和第二鱼眼圆中的点相对应。6.根据权利要求1所述的实时全景拼接方法，其中，上述步骤5还包括以下步骤：步骤5a:由球面模型上的点p(x，y，z)获得入射角θ和偏移角φ的大小；步骤5b:基于入射角度、镜头视场角度、鱼眼圆的半径获得半径radius；以及步骤5c:基于半径radius、偏移角φ、鱼眼圆心坐标和原始鱼眼图的宽度W和高度H获得球面模型上的点p(x，y，z)对应的纹理坐标(u，v)。7.根据权利要求6所述的实时全景拼接方法，其中，在上述步骤5a中，由球面模型上的点p(x，y，z)根据公式3：公式4：公式5：Φ＝a tan 2(y,x)获得入射角θ和偏移角φ的大小。8.根据权利要求7所述的实时全景拼接方法，其中，在上述步骤5b中，基于公式6：radius＝R×F(θ)/F(fov/2)和fov获得中间变量radius。9.根据权利要求8所述的实时全景拼接方法，其中，在上述步骤5c中，基于半径radius、偏移角φ、鱼眼圆心坐标和原始鱼眼图的宽度W和高度H、公式7：u＝(radius×cos(Φ)+x0)/W和公式8：v＝(radius×sin(Φ)+y0)/H获得球面模型上的点p(x，y，z)对应的纹理坐标(u，v)。10.一...

【专利技术属性】
技术研发人员：贾顺，刘靖康，
申请(专利权)人：北京岚锋创视网络科技有限公司，
类型：发明
国别省市：北京;11