基于四路摄像头新型结构的全景实时成像拼接方法技术

基于四路摄像头新型结构的全景实时成像拼接方法，通过四路广角镜头拍摄图像，并通过USB集线器将图像输入到MINI PC端，根据透视变换原理，确定源图像中待测矩形的四点坐标，再确定目标图像中矩形的四点坐标，将图像信息通过透视变换成为一个矩阵，再把变换后的矩阵输入到透视变换函数接口中，可得到相应变换后的图像；依次将四路摄像机拍摄的图片进行处理后，将变换后的图像全部拼接在一起得到一张完整的全景图；与现有技术相比，本发明专利技术解决现在的四路输入的360度全景图拍摄存在盲区的问题，可以实时地显示出来画面，避免了通过算法合成的全景图需要消耗大量的算力而且在全景图像实时的显示上面还存在问题。

【技术实现步骤摘要】
基于四路摄像头新型结构的全景实时成像拼接方法
本专利技术涉及全景实时成像
，具体是基于四路摄像头新型结构的全景实时成像拼接方法。
技术介绍
目前，对于图像的拼接已经有相对成熟的算法完成，但同时存在着自动化程度不够高，拼接速度较慢，无法满足实时性的要求。在全景成像系统方面，目前，主要有两种实现办法。其一，是利用鱼眼镜头的视角大的特性对周围场景采集，这种方法存在两个问题，首先，鱼眼镜头会产生较大的畸变，增大了后续的处理难度，其次，鱼眼镜头的成本高，推广难度大。其二，是利用FPGA+CPU的架构，利用多个摄像头同时采集，再进行拼接，从而形成全景图，这种方法，在开发时难度较大，实时性一般。
技术实现思路
本专利技术提供基于四路摄像头新型结构的全景实时成像拼接方法，可以有效解决上述
技术介绍
中提出的问题。本专利技术所采取的技术方案是：基于四路摄像头新型结构的全景实时成像拼接方法，通过四路广角镜头拍摄图像，并通过USB集线器将图像输入到MINIPC端，根据透视变换原理，依次将四路摄像机拍摄的图片进行图像透视变换处理后，将变换后的图像全部拼接在一起得到一张完整的全景图，然后进行全景图实时输出；其中图像透视变换步骤包括：步骤一：创建第一个掩膜，以及创建第一图像掩膜、第二图像掩膜，将第一个摄像头的画面的进行像素拆分，分别赋值给第一图像掩膜、第二图像掩膜，第一图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第二图像掩膜变换为矩阵H，把变换后的矩阵H输入到透视变换函数接口中进行透视变换；透视变换后，将第一图像掩膜、第二图像掩膜赋值给第一个掩膜可以得到第一摄像头画面处理图像；步骤二：创建第二个掩膜，以及创建第三图像掩膜、第四图像掩膜，将第二个摄像头的画面进行的像素拆分，分别赋值给第三图像掩膜、第四图像掩膜；确定第三图像掩膜、第四图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第三图像掩膜、第四图像掩膜变换为矩阵I、矩形J；把变换后的矩阵I、矩形J输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第三图像掩膜、第四图像掩膜赋值给第二个掩膜，将得到第二摄像头画面处理图像；步骤三：通过使用顺序堆叠数组将第一个掩膜和第二个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图左边部分处理；步骤四：创建第三个掩膜，以及创建第五图像掩膜、第六图像掩膜，将第三个摄像头的画面进行的像素拆分，分别赋值给第五图像掩膜、第六图像掩膜；确定第五图像掩膜、第六图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第五图像掩膜、第六图像掩膜变换为矩阵K、矩形L；把变换后的矩阵K、矩形L输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第五图像掩膜、第六图像掩膜赋值给第三个掩膜，将得到第三摄像头画面处理图像；步骤五：创建第四个掩膜，以及创建第七图像掩膜、第八图像掩膜，将第四个摄像头的画面的进行像素拆分，分别赋值给第七图像掩膜、第八图像掩膜，第八图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第七图像掩膜变换为矩阵M，把变换后的矩阵M输入到透视变换函数接口中进行透视变换；透视变换后，将第七图像掩膜、第八图像掩膜赋值给第四个掩膜可以得到第四摄像头画面处理图像；步骤六：通过使用顺序堆叠数组将第三个掩膜和第四个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图右边部分处理；步骤七：最后将图像按水平方向全部拼接在一起即可得到一张完整的全景图，然后对其进行相应高度上的裁剪，最后输出一张360度全景图。作为本专利技术的进一步优选方案，第一个掩膜、第二个掩膜、第三个掩膜与第四个掩膜的大小为1280×720；第一图像掩膜、第二图像掩膜的大小为第一个掩膜的一半像素即640×720。作为本专利技术的进一步优选方案，透视变换矩阵函数为cv2.getPerspectiveTransform；透视变换函数为cv2.warpPerspective；顺序堆叠数组为顺序堆叠数组。作为本专利技术的进一步优选方案，步骤一中将第二图像掩膜进行透视变换前，先确定好四个坐标点的变换前坐标：src=[[0,0],[0,height1-1],[width1-1,0],[width1-1,height1-1]],以及变换后坐标：dst=[[0,0],[0,height1-1],[width1+30,140],[width1+30,height1-140]]。作为本专利技术的进一步优选方案，步骤二中对第三图像掩膜进行透视变换前，先确定好四个坐标点的变换前坐标：src=[[0,0],[0,height1-1],[width1-1,0],[width1-1,height1-1]],以及变换后坐标dst=[[-30,140],[-30,height1-140],[width1-1,0],[width1-1,height1-1]]。作为本专利技术的进一步优选方案，，步骤二中对第四图像掩膜进行透视变换前，先确定好四个坐标点的变换前坐标：src=[[0,0],[0,height1-1],[width1-1,0],[width1-1,height1-1]],以及变换后坐标dst=[[0,0],[0,height1-1],[width1-1,140],[width1-1,height1-140]]。作为本专利技术的进一步优选方案，MINIPC端采用Windows或Linux操作系统，处理器为双核处理器，内存为2G或2G以上。与现有技术相比，本专利技术提供了基于四路摄像头新型结构的全景实时成像拼接方法，具备以下有益效果：本专利技术解决了现在的四路输入的360度全景图拍摄存在盲区的问题，可以实时地显示出来画面，避免了通过算法合成的全景图需要消耗大量的算力的问题，而且解决了现有技术在全景图像实时的显示上面存在的问题。附图说明图1为本专利技术全景实时成像拼接方法流程图；图2为本专利技术第一摄像头画面处理图像；图3为本专利技术第二摄像头画面处理图像；图4为本专利技术两个摄像头画面处理图像；图5为本专利技术两个摄像头画面处理示意图；图6为本专利技术四个摄像头画面处理图像；图7为本专利技术四路广角相机安装示意图；图8为本专利技术四路广角相机连接示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。作为本专利技术的一个具体实施例:本专利技术通过一组四个摄像头对周围环境进行拍摄，四路摄像机分布在四个隔板层同轴的中心上面，通过调整好摄像机的角度拼接出全景图；摄像头为120度的广角镜头，从上往下第一个摄像头调整为仰角4度左右，并且以此为基准来调整其余的三个摄像头，第二个摄像头位置水平，第三个摄像头俯角4度左右，第四个摄像头俯角8度左右，其中每相邻两个摄像头间的偏转角度为80度，这本文档来自技高网...

【技术保护点】
1.基于四路摄像头新型结构的全景实时成像拼接方法，通过四路广角镜头拍摄图像，并通过USB集线器将图像输入到MINI PC端，根据透视变换原理，依次将四路摄像机拍摄的图片进行图像透视变换处理后，将变换后的图像全部拼接在一起得到一张完整的全景图，然后进行全景图实时输出；其中图像透视变换步骤包括：/n步骤一：创建第一个掩膜，以及创建第一图像掩膜、第二图像掩膜，将第一个摄像头的画面的进行像素拆分，分别赋值给第一图像掩膜、第二图像掩膜，第一图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第二图像掩膜变换为矩阵H，把变换后的矩阵H输入到透视变换函数接口中进行透视变换；透视变换后，将第一图像掩膜、第二图像掩膜赋值给第一个掩膜可以得到第一摄像头画面处理图像；/n步骤二：创建第二个掩膜，以及创建第三图像掩膜、第四图像掩膜，将第二个摄像头的画面进行的像素拆分，分别赋值给第三图像掩膜、第四图像掩膜；确定第三图像掩膜、第四图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第三图像掩膜、第四图像掩膜变换为矩阵I、矩形J；把变换后的矩阵I、矩形J输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第三图像掩膜、第四图像掩膜赋值给第二个掩膜，将得到第二摄像头画面处理图像；/n步骤三：通过使用顺序堆叠数组将第一个掩膜和第二个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图左边部分处理；/n步骤四：创建第三个掩膜，以及创建第五图像掩膜、第六图像掩膜，将第三个摄像头的画面进行的像素拆分，分别赋值给第五图像掩膜、第六图像掩膜；确定第五图像掩膜、第六图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第五图像掩膜、第六图像掩膜变换为矩阵K、矩形L；把变换后的矩阵K、矩形L输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第五图像掩膜、第六图像掩膜赋值给第三个掩膜，将得到第三摄像头画面处理图像；/n步骤五：创建第四个掩膜，以及创建第七图像掩膜、第八图像掩膜，将第四个摄像头的画面的进行像素拆分，分别赋值给第七图像掩膜、第八图像掩膜，第八图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第七图像掩膜变换为矩阵M，把变换后的矩阵M输入到透视变换函数接口中进行透视变换；透视变换后，将第七图像掩膜、第八图像掩膜赋值给第四个掩膜可以得到第四摄像头画面处理图像；/n步骤六：通过使用顺序堆叠数组将第三个掩膜和第四个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图右边部分处理；/n步骤七：最后将图像按水平方向全部拼接在一起即可得到一张完整的全景图，然后对其进行相应高度上的裁剪，最后输出一张360度全景图。/n...

【技术特征摘要】
1.基于四路摄像头新型结构的全景实时成像拼接方法，通过四路广角镜头拍摄图像，并通过USB集线器将图像输入到MINIPC端，根据透视变换原理，依次将四路摄像机拍摄的图片进行图像透视变换处理后，将变换后的图像全部拼接在一起得到一张完整的全景图，然后进行全景图实时输出；其中图像透视变换步骤包括：
步骤一：创建第一个掩膜，以及创建第一图像掩膜、第二图像掩膜，将第一个摄像头的画面的进行像素拆分，分别赋值给第一图像掩膜、第二图像掩膜，第一图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第二图像掩膜变换为矩阵H，把变换后的矩阵H输入到透视变换函数接口中进行透视变换；透视变换后，将第一图像掩膜、第二图像掩膜赋值给第一个掩膜可以得到第一摄像头画面处理图像；
步骤二：创建第二个掩膜，以及创建第三图像掩膜、第四图像掩膜，将第二个摄像头的画面进行的像素拆分，分别赋值给第三图像掩膜、第四图像掩膜；确定第三图像掩膜、第四图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第三图像掩膜、第四图像掩膜变换为矩阵I、矩形J；把变换后的矩阵I、矩形J输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第三图像掩膜、第四图像掩膜赋值给第二个掩膜，将得到第二摄像头画面处理图像；
步骤三：通过使用顺序堆叠数组将第一个掩膜和第二个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图左边部分处理；
步骤四：创建第三个掩膜，以及创建第五图像掩膜、第六图像掩膜，将第三个摄像头的画面进行的像素拆分，分别赋值给第五图像掩膜、第六图像掩膜；确定第五图像掩膜、第六图像掩膜四个坐标点的变换前后坐标，通过透视变换矩阵函数将第五图像掩膜、第六图像掩膜变换为矩阵K、矩形L；把变换后的矩阵K、矩形L输入到透视变换函数接口中进行透视变换；在进行透视变换后,分别将第五图像掩膜、第六图像掩膜赋值给第三个掩膜，将得到第三摄像头画面处理图像；
步骤五：创建第四个掩膜，以及创建第七图像掩膜、第八图像掩膜，将第四个摄像头的画面的进行像素拆分，分别赋值给第七图像掩膜、第八图像掩膜，第八图像掩膜不作透视变换处理；确定四个坐标点的变换前后坐标，通过透视变换矩阵函数将第七图像掩膜变换为矩阵M，把变换后的矩阵M输入到透视变换函数接口中进行透视变换；透视变换后，将第七图像掩膜、第八图像掩膜赋值给第四个掩膜可以得到第四摄像头画面处理图像；
步骤六：通过使用顺序堆叠数组将第三个掩膜和第四个掩膜按水平方向拼接起来即可得到两个摄像头画面处理图像，完成全景图右...

【专利技术属性】
技术研发人员：黄伟锋，梁境鑫，张世昂，朱立学，陈家政，李超，曾沛怡，
申请(专利权)人：仲恺农业工程学院，
类型：发明
国别省市：广东;44