全景图像拼接方法及装置制造方法及图纸

本发明专利技术实施例涉及图像处理技术领域，具体而言，涉及一种全景图像拼接方法及装置。该方法包括：提取双鱼眼相机拍摄的第一图像中的第一有效区域和第二图像中的第二有效区域，对第一有效区域和第二有效区域进行畸变校正，获得完成畸变矫正的第一有效区域和完成畸变矫正的第二有效区域，以完成畸变矫正的第二有效区域为标准，对完成畸变矫正的第一有效区域进行旋转校正，获得完成旋转校正的第一有效区域，获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像。采用该全景图像拼接方法及装置能够改善双鱼眼相机的全景拼接效果。

【技术实现步骤摘要】
全景图像拼接方法及装置
本专利技术实施例涉及图像处理
，具体而言，涉及一种全景图像拼接方法及装置。
技术介绍
随着科学技术的发展，全景拼接技术逐渐应用于安防、会议和虚拟现实等领域，其特点在于能够三百六十度地呈现场景画面，增强用户的互动和体验效果。但是通过现有的全景拼接技术获得的全景图像大多质量较差。
技术实现思路
有鉴于此，本专利技术提供了一种全景图像拼接方法及装置，能够改善双鱼眼相机的全景拼接效果。为实现上述目的，本专利技术实施例提供了一种全景图像拼接方法，应用于一电子设备，所述电子设备与双鱼眼相机通信连接，所述方法包括：获取所述双鱼眼相机拍摄的第一图像和第二图像，提取所述第一图像中的第一有效区域和所述第二图像中的第二有效区域；对所述第一有效区域和所述第二有效区域进行畸变校正，获得完成畸变矫正的第一有效区域和完成畸变矫正的第二有效区域；其中，完成畸变矫正的第一有效区域中包括多个完成畸变矫正的第一像素，完成畸变矫正的第二有效区域中包括多个完成畸变矫正的第二像素；针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正，获得完成旋转校正的第一有效区域；其中，完成旋转校正的第一有效区域中包括多个完成旋转校正的第一像素；获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像。可选地，所述第一有效区域中已完成畸变校正的第一像素为所述第一有效区域中未完成畸变校正的第一像素为(xA,yA)，所述第二有效区域中已完成畸变校正的第二像素为所述第二有效区域中未完成畸变校正的第二像素为(xB,yB)；对所述第一有效区域和所述第二有效区域进行畸变校正的步骤，包括：根据畸变公式、(xA,yA)和(xB,yB)获得和其中，所述畸变公式为：其中，为第一图像的中心坐标，为第二图像的中心坐标，αA为拍摄所述第一图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄第一图像的镜头的畸变参数，αB为拍摄所述第二图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄所述第二图像的镜头的畸变参数。可选地，针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正的步骤，包括：对该完成畸变矫正的第一像素进行扩维处理，获得该完成扩维处理的第一像素，采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素。可选地，所述完成扩维处理的第一像素为完成旋转校正且未完成降维处理的第一像素为所述完成旋转校正的第一像素为所述旋转矩阵为R3×3；采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素的步骤，包括：根据旋转校正公式获得对进行降维处理获得其中，所述旋转校正公式为：其中，ε为误差项。可选地，获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像的步骤，包括：获得完成旋转校正的第一有效区域的第一平面图像，获得完成畸变校正的第二有效区域的第二平面图像，获得所述第一平面图像和所述第二平面图像的重叠区域；获得所述第一平面图像在该重叠区域处的多个第一特征像素，获得所述第二平面图像在该重叠区域处的多个第二特征像素，其中，所述第一特征像素为完成旋转校正的第一像素，所述第二特征像素为完成畸变校正的第二像素；针对每个第一特征像素，匹配与该第一特征像素对应的第二特征像素，根据匹配结果将所述第一平面图像和所述第二平面图像进行透视变换和拼接处理，以获得全景图像。本专利技术实施例还提供了一种全景图像拼接装置，应用于一电子设备，所述电子设备与双鱼眼相机通信连接，所述装置包括：获取模块，用于获取所述双鱼眼相机拍摄的第一图像和第二图像，提取所述第一图像中的第一有效区域和所述第二图像中的第二有效区域；畸变校正模块，用于对所述第一有效区域和所述第二有效区域进行畸变校正，获得完成畸变矫正的第一有效区域和完成畸变矫正的第二有效区域；其中，完成畸变矫正的第一有效区域中包括多个完成畸变矫正的第一像素，完成畸变矫正的第二有效区域中包括多个完成畸变矫正的第二像素；旋转校正模块，用于针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正，获得完成旋转校正的第一有效区域；其中，完成旋转校正的第一有效区域中包括多个完成旋转校正的第一像素；全景图像拼接模块，用于获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像。可选地，所述第一有效区域中已完成畸变校正的第一像素为所述第一有效区域中未完成畸变校正的第一像素为所述第二有效区域中已完成畸变校正的第二像素为所述第二有效区域中未完成畸变校正的第二像素为所述畸变校正模块通过以下方式对所述第一有效区域和所述第二有效区域进行畸变校正：根据畸变公式、和获得和其中，所述畸变公式为：其中，为第一图像的中心坐标，为第二图像的中心坐标，αA为拍摄所述第一图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄第一图像的镜头的畸变参数，αB为拍摄所述第二图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄所述第二图像的镜头的畸变参数。可选地，所述旋转校正模块通过以下方式实现对该完成畸变矫正的第一像素进行旋转校正：对该完成畸变矫正的第一像素进行扩维处理，获得该完成扩维处理的第一像素，采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素。可选地，所述完成扩维处理的第一像素为完成旋转校正且未完成降维处理的第一像素为所述完成旋转校正的第一像素为所述旋转矩阵为R3×3；采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素，具体包括：根据旋转校正公式获得对进行降维处理获得其中，所述旋转校正公式为：其中，ε为误差项。可选地，所述全景图像拼接模块通过以下方式获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像：获得完成旋转校正的第一有效区域的第一平面图像，获得完成畸变校正的第二有效区域的第二平面图像，获得所述第一平面图像和所述第二平面图像的重叠区域；获得所述第一平面图像在该重叠区域处的多个第一特征像素，获得所述第二平面图像在该重叠区域处的多个第二特征像素，其中，所述第一特征像素为完成旋转校正的第一像素，所述第二特征像素为完成畸变校正的第二像素；针对每个第一特征像素，匹配与该第一特征像素对应的第二特征像素，根据匹配结果将所述第一平面图像和所述第二平面图像进行透视变换和拼接处理，以获得全景图像。本专利技术实施例所提供的全景图像拼接方法及装置，通过对第一有效区域和第二有效区域进行畸变校正和旋转校正，能够去除由于镜头工艺和安装等产生的误差，并能够保证两个有效区域的重叠区域的位置相对一致，进而实现对重叠区域的准确拼接，能够改善双鱼眼相机的全景拼接效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简本文档来自技高网...

【技术保护点】
1.一种全景图像拼接方法，其特征在于，应用于一电子设备，所述电子设备与双鱼眼相机通信连接，所述方法包括：获取所述双鱼眼相机拍摄的第一图像和第二图像，提取所述第一图像中的第一有效区域和所述第二图像中的第二有效区域；对所述第一有效区域和所述第二有效区域进行畸变校正，获得完成畸变矫正的第一有效区域和完成畸变矫正的第二有效区域；其中，完成畸变矫正的第一有效区域中包括多个完成畸变矫正的第一像素，完成畸变矫正的第二有效区域中包括多个完成畸变矫正的第二像素；针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正，获得完成旋转校正的第一有效区域；其中，完成旋转校正的第一有效区域中包括多个完成旋转校正的第一像素；获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像。

【技术特征摘要】
1.一种全景图像拼接方法，其特征在于，应用于一电子设备，所述电子设备与双鱼眼相机通信连接，所述方法包括：获取所述双鱼眼相机拍摄的第一图像和第二图像，提取所述第一图像中的第一有效区域和所述第二图像中的第二有效区域；对所述第一有效区域和所述第二有效区域进行畸变校正，获得完成畸变矫正的第一有效区域和完成畸变矫正的第二有效区域；其中，完成畸变矫正的第一有效区域中包括多个完成畸变矫正的第一像素，完成畸变矫正的第二有效区域中包括多个完成畸变矫正的第二像素；针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正，获得完成旋转校正的第一有效区域；其中，完成旋转校正的第一有效区域中包括多个完成旋转校正的第一像素；获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像。2.根据权利要求1所述的全景图像拼接方法，其特征在于，所述第一有效区域中已完成畸变校正的第一像素为所述第一有效区域中未完成畸变校正的第一像素为(xA,yA)，所述第二有效区域中已完成畸变校正的第二像素为所述第二有效区域中未完成畸变校正的第二像素为(xB,yB)；对所述第一有效区域和所述第二有效区域进行畸变校正的步骤，包括：根据畸变公式、(xA,yA)和(xB,yB)获得和其中，所述畸变公式为：其中，为第一图像的中心坐标，为第二图像的中心坐标，αA为拍摄所述第一图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄第一图像的镜头的畸变参数，αB为拍摄所述第二图像的镜头的径向畸变与切向畸变的平衡因子，和为拍摄所述第二图像的镜头的畸变参数。3.根据权利要求1所述的全景图像拼接方法，其特征在于，针对每个完成畸变矫正的第一像素，以该完成畸变矫正的第一像素对应的完成畸变矫正的第二像素为标准，对该完成畸变矫正的第一像素进行旋转校正的步骤，包括：对该完成畸变矫正的第一像素进行扩维处理，获得该完成扩维处理的第一像素，采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素。4.根据权利要求3所述的全景图像拼接方法，其特征在于，所述完成扩维处理的第一像素为完成旋转校正且未完成降维处理的第一像素为所述完成旋转校正的第一像素为所述旋转矩阵为R3×3；采用旋转矩阵对该完成扩维处理的第一像素进行旋转校正和降维处理，获得完成旋转校正的第一像素的步骤，包括：根据旋转校正公式获得对进行降维处理获得其中，所述旋转校正公式为：其中，ε为误差项。5.根据权利要求1所述的全景图像拼接方法，其特征在于，获得完成旋转校正的第一有效区域和完成畸变校正的第二有效区域之间的重叠区域，对该重叠区域进行拼接处理以获得全景图像的步骤，包括：获得完成旋转校正的第一有效区域的第一平面图像，获得完成畸变校正的第二有效区域的第二平面图像，获得所述第一平面图像和所述第二平面图像的重叠区域；获得所述第一平面图像在该重叠区域处的多个第一特征像素，获得所述第二平面图像在该重叠区域处的多个第二特征像素，其中，所述第一特征像素为完成旋转校正的第一像素，所述第二特征像素为完成畸变校正的第二像素；针对每个第一特征像素，匹配与该第一特征像素对应的第二特征像素，根据匹配结果将所述第一平面图像和所述第二平面图像进行透视变换和拼接处理，以获得全景图像。6.一种全景图像...

【专利技术属性】
技术研发人员：付达，潘宇清，谭发军，
申请(专利权)人：四川易为智行科技有限公司，
类型：发明
国别省市：四川,51