一种基于鱼眼摄像头的全景图像合成方法及系统技术方案

本发明专利技术公开了一种基于鱼眼摄像头的全景图像合成方法及系统，方法包括：预先将两个鱼眼摄像头相向设置，分别获取两个鱼眼摄像头同步拍摄的第一原始图像和第二原始图像并存储；分别对第一原始图像和第二原始图像分别进行矫正，生成矫正后的第一矫正图像和第二矫正图像；拼接第一矫正图像和第二矫正图像并进行校正后，生成对应的第三矫正图像和第四矫正图像；将第三矫正图像和第四矫正图像的交叠区域根据距离加权叠加融合，生成加权叠加融合后的全景图像。本发明专利技术通过两个大广角鱼眼摄像头实现360度图像的拼接，摄像头数目的减少，可以大幅度降低标定校准的难度，运算量比较低，可在嵌入式设备中实时实现，拼接区域过渡自然。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种基于鱼眼摄像头的全景图像合成方法及系统。
技术介绍
现在虚拟现实技术中一个关键部件就是自然全景图像的合成，现在常用无失真摄像头的视野一般是60度左右，为了合成360度的全景图像，需要多个摄像头组合成摄像头球面矩阵进行拍摄，现在也有采用广角鱼眼摄像头进行全景拍摄的方案，摄像头个数会大幅度减少，成本有所降低。若采用摄像头球面矩阵的方法，普遍存在成本高，多摄像头精准同步控制的问题。另外为了合成360度全景图像，多个摄像头需要标定校准，批量生产有不少难度，对图像拼接算法的实时要求也比较高，无法在低成本的嵌入式平台上做实时实现。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于现有技术的不足，本专利技术目的在于提供一种基于鱼眼摄像头的全景图像合成方法及系统，旨在解决现有技术中多摄像头成本高，无法精准控，多个摄像头需要标定校准，无法实现批量生产的问题。本专利技术的技术方案如下：一种基于鱼眼摄像头的全景图像合成方法，其中，方法包括：A、预先将视角大于一预定角度的两个鱼眼摄像头相向设置，分别获取相向摆设的两个鱼眼摄像头同步拍摄的第一原始图像和第二原始图像并存储；B、根据预设的鱼眼摄像头的参数分别对第一原始图像和第二原始图像分别进行矫正，生成矫正后的第一矫正图像和第二矫正图像；C、拼接第一矫正图像和第二矫正图像，调整鱼眼摄像头的参数对第一矫正图像和第二矫正图像进行校正后，生成对应的第三矫正图像和第四矫正图像；D、将第三矫正图像和第四矫正图像的交叠区域根据距离加权叠加融合，生成加权叠加融合后的全景图像。所述的基于鱼眼摄像头的全景图像合成方法，其中，两个鱼眼摄像头分别记为第一鱼眼摄像头，第二鱼眼摄像头，所述C具体包括：C1、获取第一矫正图像和第二矫正图像中像素相同的点进行图像拼接；C2、固定第二鱼眼摄像头的投影参数，调整第一鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C3、固定调整后的第一鱼眼摄像头的投影参数，调整第二鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C4、根据调整后的投影参数分别对第一矫正图像和第二矫正图像进行校正，生成对应的第三矫正图像和第四矫正图像。任一项所述的基于鱼眼摄像头的全景图像合成方法，其中，所述鱼眼摄像头的参数包括焦距、视角、旋转角度、中心点坐标、径向失真参数和切向失真参数。所述的基于鱼眼摄像头的全景图像合成方法，其中，所述C2具体包括：C21、分别获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标；C22、获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标中的一个参数，固定第一鱼眼摄像头的其他参数，固定第二鱼眼摄像头的投影参数，调整获取的参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C23、依次调整第一鱼眼摄像头的其他参数，重复步骤C22，直到第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标全部调整完毕。所述的基于鱼眼摄像头的全景图像合成方法，其中，所述D具体包括：D1、获取第三矫正图像和第四矫正图像中的交叠区域中的像素点分别在第三矫正图像中的第一像素值和在第四矫正图像中的第二像素值；D2、计算第一像素值及第二像素值加权平均后，生成叠加后的像素点的像素值；D3、重复步骤D1和D2，直到叠加区域的所有像素点的叠加像素值全部计算完成后，生成叠加区域的融合拼接结果；D4、获取叠加区域的融合拼接结果及第三矫正图像和第四矫正图像中的未交叠区域，生成加权叠加融合后的全景图像。一种基于鱼眼摄像头的全景图像合成系统，其中，系统包括：预先设置模块，用于预先将视角大于一预定角度的两个鱼眼摄像头相向设置，分别获取相向摆设的两个鱼眼摄像头同步拍摄的第一原始图像和第二原始图像并存储；校正模块，用于根据预设的鱼眼摄像头的参数分别对第一原始图像和第二原始图像分别进行矫正，生成矫正后的第一矫正图像和第二矫正图像；拼接与校正模块，用于拼接第一矫正图像和第二矫正图像，调整鱼眼摄像头的参数对第一矫正图像和第二矫正图像进行校正后，生成对应的第三矫正图像和第四矫正图像；加权叠加模块，用于将第三矫正图像和第四矫正图像的交叠区域根据距离加权叠加融合，生成加权叠加融合后的全景图像。所述的基于鱼眼摄像头的全景图像合成系统，其中，两个鱼眼摄像头分别记为第一鱼眼摄像头，第二鱼眼摄像头，所述拼接与校正模块具体包括：拼接单元，用于获取第一矫正图像和第二矫正图像中像素相同的点进行图像拼接；第一调整单元，用于固定第二鱼眼摄像头的投影参数，调整第一鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；第二调整单元，用于固定调整后的第一鱼眼摄像头的投影参数，调整第二鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；校正单元，用于根据调整后的投影参数分别对第一矫正图像和第二矫正图像进行校正，生成对应的第三矫正图像和第四矫正图像。任一项所述的基于鱼眼摄像头的全景图像合成系统，其中，所述鱼眼摄像头的参数包括焦距、视角、旋转角度、中心点坐标、径向失真参数和切向失真参数。所述的基于鱼眼摄像头的全景图像合成系统，其中，所述第一调整单元具体包括：参数获取单元，用于分别获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标；单个参数调整单元，用于获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标中的一个参数，固定第一鱼眼摄像头的其他参数，固定第二鱼眼摄像头的投影参数，调整获取的参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；参数调整单元，用于依次调整第一鱼眼摄像头的其他参数，直到第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标全部调整完毕。所述的基于鱼眼摄像头的全景图像合成系统，其中，所述加权叠加模块具体包括：像素值获取单元，用于获取第三矫正图像和第四矫正图像中的交叠区域中的像素点分别在第三矫正图像中的第一像素值和在第四矫正图像中的第二像素值；像素值加权叠加单元，用于计算第一像素值及第二像素值加权平均后，生成叠加后的像素点的叠加像素值；叠加区域拼接单元，用于获取叠加区域的像素点全部计算完成后的叠加像素值，根据所有像素点的叠加像素值生成叠加区域的融合拼接结果；全景图像生成单元，用于获取叠加区域的融合拼接结果及第三矫正图像和第四矫正图像中的未交叠区域，生成加权叠加融合后的全景图像。本专利技术提供了一种基于鱼眼摄像头的全景图像合成方法及系统，本专利技术试图通过两个大广角鱼眼摄像头实现360度视频图像的拼接，由于摄像头数目的减少，可以大幅度降低标定校准的难度，提高可生产性，拼接算法可通过参数调整适用于多种不同的鱼眼摄像头，运算量比较低，可在嵌入式设备中实时实现，无缝自然的混叠方法可使拼接区域过渡自然。附图说明图1为本专利技术的一种基于鱼眼摄像头的全景图像合成方法的较佳实施例的流程图。图2a为本专利技术的一种基于鱼眼摄像头的全景图像合成方法的具体应用实施例的两个相向设置的鱼眼摄像头示意图。图2b为本专利技术的一种基于鱼眼摄像头的全景图像合成方法的具体应用实施例的图2a中的两个鱼眼摄像头的视角示意图。图3a为本专利技术的一种基于鱼本文档来自技高网...

【技术保护点】
一种基于鱼眼摄像头的全景图像合成方法，其特征在于，所述方法包括：A、预先将视角大于一预定角度的两个鱼眼摄像头相向设置，分别获取相向摆设的两个鱼眼摄像头同步拍摄的第一原始图像和第二原始图像并存储；B、根据预设的鱼眼摄像头的参数分别对第一原始图像和第二原始图像进行矫正，生成矫正后的第一矫正图像和第二矫正图像；C、拼接第一矫正图像和第二矫正图像，调整鱼眼摄像头的参数对第一矫正图像和第二矫正图像进行校正后，生成对应的第三矫正图像和第四矫正图像；D、将第三矫正图像和第四矫正图像的交叠区域根据距离加权叠加融合，生成加权叠加融合后的全景图像。

【技术特征摘要】
1.一种基于鱼眼摄像头的全景图像合成方法，其特征在于，所述方法包括：A、预先将视角大于一预定角度的两个鱼眼摄像头相向设置，分别获取相向摆设的两个鱼眼摄像头同步拍摄的第一原始图像和第二原始图像并存储；B、根据预设的鱼眼摄像头的参数分别对第一原始图像和第二原始图像进行矫正，生成矫正后的第一矫正图像和第二矫正图像；C、拼接第一矫正图像和第二矫正图像，调整鱼眼摄像头的参数对第一矫正图像和第二矫正图像进行校正后，生成对应的第三矫正图像和第四矫正图像；D、将第三矫正图像和第四矫正图像的交叠区域根据距离加权叠加融合，生成加权叠加融合后的全景图像。2.根据权利要求1所述的基于鱼眼摄像头的全景图像合成方法，其特征在于，两个鱼眼摄像头分别记为第一鱼眼摄像头，第二鱼眼摄像头，所述C具体包括：C1、获取第一矫正图像和第二矫正图像中像素相同的点进行图像拼接；C2、固定第二鱼眼摄像头的投影参数，调整第一鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C3、固定调整后的第一鱼眼摄像头的投影参数，调整第二鱼眼摄像头的投影参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C4、根据调整后的投影参数分别对第一矫正图像和第二矫正图像进行校正，生成对应的第三矫正图像和第四矫正图像。3.根据权利要求1～2任一项所述的基于鱼眼摄像头的全景图像合成方法，其特征在于，所述鱼眼摄像头的参数包括焦距、视角、旋转角度、中心点坐标、径向失真参数和切向失真参数。4.根据权利要求3所述的基于鱼眼摄像头的全景图像合成方法，其特征在于，所述C2具体包括：C21、分别获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标；C22、获取第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标中的一个参数，固定第一鱼眼摄像头的其他参数，固定第二鱼眼摄像头的投影参数，调整获取的参数直到第一矫正图像和第二矫正图像拼接区域间误差最小；C23、依次调整第一鱼眼摄像头的其他参数，重复步骤C22，直到第一鱼眼摄像头的径向失真参数、切向失真参数及旋转角度、焦距、中心点坐标全部调整完毕。5.根据权利要求4所述的基于鱼眼摄像头的全景图像合成方法，其特征在于，所述D具体包括：D1、获取第三矫正图像和第四矫正图像中的交叠区域中的像素点分别在第三矫正图像中的第一像素值和在第四矫正图像中的第二像素值；D2、计算第一像素值及第二像素值加权平均后，生成叠加后的像素点的像素值；D3、重复步骤D1和D2，直到叠加区域的所有像素点的叠加像素值全部计算完成后，生成叠加区域的融合拼接结果；D4、获取叠加区域的融合拼接结果及第三矫正图像和第四矫正图像中的未交叠区域，生成加权叠加融合后的全景图像。6.一种基于鱼眼摄像头的全景图像合成系统，其特征在于，系统包括：预先设置模块，用于预先将视角大于一预定角度...

【专利技术属性】
技术研发人员：火焰，赖长明，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44