全景摄像机及其拍摄方法技术

本发明专利技术公开了一种全景摄像机及其拍摄方法，本发明专利技术的全景摄像机包括：N个子摄像头；同步控制模块；拼接校正模块，用于以滑动窗口的方式缓存拍摄图像中连续的m行像素值，并根据预先设定的校正表和所述缓存的m行像素值，完成对所述像素值的校正，并依次输出校正后的每一行像素值，其中，m大于预先设定的图像最大畸变行数+2，并且m小于所述拍摄图像的总行数；拼接融合模块，用于根据所述各子摄像头的拍摄图像的重合部分，将所述各个子摄像头在所述同步控制模块控制下同步拍摄的拍摄图像拼接成一个拼接图像；以及传输模块。本发明专利技术的全景摄像机处理效率更好，处理质量更好，并且更有利于系统设计小型化。

Panoramic camera and its shooting method

The invention discloses a panoramic camera and shooting method, panoramic camera of the invention includes: N sub camera; synchronous control module; splicing correction module, for sliding window method for continuous shooting buffer m pixel value in an image, and according to the m pixel correction table preset and the cached value complete, correction of the pixel value, and sequentially outputs after correction of each row of pixel value, which is greater than the maximum distortion for M image preset number +2, and M is less than the total number of shooting image; fusion splicing module, according to the overlap images of each sub camera and the sub camera in the synchronization control module under the control of synchronous shooting images spliced into a mosaic image; and a transmission module. The panoramic camera has the advantages of better processing efficiency, better processing quality, and better miniaturization of the system design.

【技术实现步骤摘要】
全景摄像机及其拍摄方法
本专利技术涉及视频监控领域，特别涉及全景摄像机的拍摄技术。
技术介绍
为了实现重点监控区域的全覆盖，一般采用多个相机进行拍摄。举例来说，对于一条城市主干道的十字路口的视频监控，从各个方向安装布置多个网络摄像机，从而形成360度、无死角的监控。然而，上述技术方案中，每一台网络摄像机独立地将视频数据传输到监控中心，并在监控中心的大屏上独立地显示，这样做不但成本高，而且独立画面场景带给观看者的视觉体验也受到较大影响。为了解决上述问题，通常先将前端多台网络摄像机采集的实时视频分别发送给中心端服务器，进行后端合成处理后，形成完整的全景图像。但是，由于每一个网络摄像机采集视频图像，并通过网络传输后，会导致分别产生不同的时延。由于不同的时延，在图像拼接时有可能存在不匹配的现象，导致合成图像中的运动物体错位或重叠等问题。另一方面，虽然也有通过将前端多台网络摄像机或网络摄像机的多个摄像头采集的实时视频在前端直接进行拼接，获得全景图像的解决方案，但存在对系统资源的消耗大、拼接效果不好的问题。
技术实现思路
本专利技术的目的就是提供一种全景摄像机及其拍摄方法，能够使得处理效率更好，处理质量更好，并且更有利于系统设计小型化。在本专利技术的第一个方面，提供了一种全景摄像机，包括：N个子摄像头，N大于2；每个子摄像头拍摄的角度不同；每个子摄像头拍摄的拍摄图像与该全景摄像机中至少一个其他子摄像头拍摄的拍摄图像有部分重合；同步控制模块，用于控制N个子摄像头同步拍摄；拼接校正模块，用于以滑动窗口的方式缓存拍摄图像中连续的m行像素值，并根据预先设定的校正表和该缓存的m行像素值，完成对该像素值的校正，并依次输出校正后的每一行像素值，其中，m大于预先设定的图像最大畸变行数+2，并且m小于该拍摄图像的总行数；拼接融合模块，用于根据各子摄像头的拍摄图像的重合部分，将各个子摄像头在该同步控制模块控制下同步拍摄的拍摄图像拼接成一个拼接图像；传输模块，用于通过通信网络发送该拼接融合模块输出的拼接图像。在本专利技术的另一实施方式中，N个子摄像头的拍摄图像为Bayer格式的图像，并且，该全景摄像机还包括：插值模块，用于对N个子摄像头拍摄的拍摄图像进行RGB插值，并将RGB插值后的拍摄图像发送给所述拼接校正模块。在本专利技术的另一实施方式中，N个子摄像头的拍摄图像为Bayer格式的图像，并且，该全景摄像机还包括包括G插值模块和RB插值模块，其中，G插值模块用于对N个子摄像头拍摄的Bayer格式的图像进行G插值，并将经G插值后的拍摄图像发送给拼接校正模块；拼接校正模块用于对经G插值后的拍摄图像进行校正，并将校正后的拍摄图像发送给RB插值模块；RB插值模块用于对校正后的拍摄图像进行R插值和B插值。在本专利技术的另一实施方式中，全景摄像机还包含：双线性插值模块，用于对由拼接校正模块校正后的拍摄图像，根据目标点在原拍摄图像上的位置，参考目标点周边四个像素，生成第二像素值，完成双线性插值，并将经双线性插值后的拍摄图像发送给拼接融合模块。在本专利技术的另一实施方式中，全景摄像机还包含：图像旋转模块，用于对子摄像头同步拍摄的拍摄图像进行90°旋转，并将经旋转的拍摄图像发送给拼接校正模块。在本专利技术的另一实施方式中，该拼接校正模块还用于接收该G插值模块进行插值后的图像，并将校正后的拍摄图像发送给该RB插值模块。在本专利技术的另一实施方式中，每个子摄像头包括一个感光传感器和一个透镜，每个子摄像头间隔相同的角度，且每个子摄像头与地平面夹角相同。在本专利技术的第二个方面，提供了一种全景摄像机的拍摄方法，该全景摄像机包括N个子摄像头，N大于2；每个子摄像头拍摄的角度不同；每个子摄像头拍摄的拍摄图像与该全景摄像机中至少一个其他子摄像头拍摄的拍摄图像有部分重合；该方法包括以下步骤：控制N个子摄像头同步拍摄；对各子摄像头同步拍摄的拍摄图像进行拼接校正，包含以下子步骤：以滑动窗口的方式缓存拍摄图像中连续的m行像素值，并根据预先设定的校正表和该缓存的m行像素值，完成对该像素值的校正，并依次输出校正后的每一行像素值，其中，m大于预先设定的图像最大畸变行数+2，并且m小于该拍摄图像的总行数；根据各子摄像头拍摄的拍摄图像的重合部分，将各子摄像头同步拍摄的拍摄图像拼接成一个拼接图像；通过通信网络发送该拼接图像。在本专利技术的另一实施方式中，N个子摄像头拍摄的图像为Bayer格式，并且，该方法还包含以下步骤：对各个子摄像头拍摄的拍摄图像进行RGB插值。在本专利技术的另一实施方式中，N个子摄像头拍摄的图像为Bayer格式，并且，在对各子摄像头同步拍摄的拍摄图像进行拼接校正的步骤之前，还包含以下步骤：对各子摄像头的拍摄图像进行G插值；在对各子摄像头同步拍摄的拍摄图像进行拼接校正的步骤之后，还包含以下步骤：对经G插值和拼接校正之后的拍摄图像进行R插值和B插值。在本专利技术的另一实施方式中，在所述控制所述N个子摄像头同步拍摄的步骤之后，还包含以下步骤：对所述N个子摄像头同步拍摄的拍摄图像进行90°旋转。在本专利技术的另一实施方式中，通过通信网络发送该拼接图像的步骤之前，还包括以下步骤：对该拼接图像进行图像压缩。本专利技术实施方式与现有技术相比，至少具有以下区别和效果：通过拼接校正模块对拍摄图像进行局部缓存(行缓存)，有效解决了现有技术中需要对拍摄图像进行整帧缓存再逐一读取并校正的过程中产生的问题，能够使拼接校正的过程本身不需要消耗内存带宽，从而极大地减小了对系统资源的消耗。进一步的，通过对拍摄图像先进行G插值处理，然后进行拼接校正，最后进行RB插值处理，能够使拼接校正模块的存储控制减少一半，明显降低了对资源的消耗。进一步的，整个系统设计简单，有利于设计小型化。进一步的，基于行缓存的拼接校正处理与Bayer插值算法结合，能够保证拍摄图像质量的同时很好地实现拼接校正处理。应理解，在本专利技术范围内中，本专利技术的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。附图说明图1是本专利技术一个实施方式中一种全景摄像机的结构示意图；图2是本专利技术另一个实施方式中一种全景摄像机的结构示意图；图3是本专利技术另一个实施方式中一种全景摄像机的结构示意图；图4是本专利技术一个实施方式中全景摄像机的网络结构示意图；图5是本专利技术一个实施方式中全景摄像机的示意图；图6是本专利技术的全景摄像机的拍摄图像拼接效果示意图；图7是本专利技术一个实施方式中一种全景摄像机的主要模块示意图；图8是本专利技术的Bayer格式图像的数据格式示意图；图9是本专利技术一个实施方式中插值与校正过程示意图；图10是本专利技术一个实施方式中插值过程示意图；图11是本专利技术一个实施方式中图像在拼接校正前后的存储架构示意图；图12是本专利技术一个实施方式中双线性插值示意图；图13是本专利技术一个实施方式中插值与校正过程示意图；图14是一个实施方式中对Bayer数据进行G插值后的图像数据示意图；图15是本专利技术一个实施方式中图像垂直拼接效果示意图；图16是本专利技术一个实施方式中图像旋转示意图；图17是本专利技术一个实施方式中全景摄像机的主要模块示意图；图18是本专利技术一个实施方式中一种全景摄像机的拍摄方法的流程示意图；图19是本专利技术一个实施方式中一种本文档来自技高网...

【技术保护点】
一种全景摄像机，其特征在于，包括：N个子摄像头，N大于2；每个所述子摄像头拍摄的角度不同；每个所述子摄像头拍摄的拍摄图像与所述全景摄像机中至少一个其他子摄像头拍摄的拍摄图像有部分重合；同步控制模块，用于控制所述N个子摄像头进行同步拍摄；拼接校正模块，用于以滑动窗口的方式缓存所述拍摄图像中连续的m行像素值，并根据预先设定的校正表和所述缓存的m行像素值，对所述像素值进行校正，并依次输出校正后的每一行像素值，得到校正后的拍摄图像，其中，m大于预先设定的图像最大畸变行数+2，并且m小于所述拍摄图像的总行数；拼接融合模块，用于根据所述各子摄像头的拍摄图像的重合部分，将所述各个子摄像头在所述同步控制模块控制下同步拍摄的校正后的拍摄图像拼接成一个拼接图像；传输模块，用于通过通信网络发送所述拼接融合模块输出的拼接图像。

【技术特征摘要】
1.一种全景摄像机，其特征在于，包括：N个子摄像头，N大于2；每个所述子摄像头拍摄的角度不同；每个所述子摄像头拍摄的拍摄图像与所述全景摄像机中至少一个其他子摄像头拍摄的拍摄图像有部分重合；同步控制模块，用于控制所述N个子摄像头进行同步拍摄；拼接校正模块，用于以滑动窗口的方式缓存所述拍摄图像中连续的m行像素值，并根据预先设定的校正表和所述缓存的m行像素值，对所述像素值进行校正，并依次输出校正后的每一行像素值，得到校正后的拍摄图像，其中，m大于预先设定的图像最大畸变行数+2，并且m小于所述拍摄图像的总行数；拼接融合模块，用于根据所述各子摄像头的拍摄图像的重合部分，将所述各个子摄像头在所述同步控制模块控制下同步拍摄的校正后的拍摄图像拼接成一个拼接图像；传输模块，用于通过通信网络发送所述拼接融合模块输出的拼接图像。2.如权利要求1所述的全景摄像机，其特征在于，所述N个子摄像头的拍摄图像为Bayer格式的图像，并且，所述全景摄像机还包括：插值模块，用于对所述N个子摄像头拍摄的Bayer格式的图像进行RGB插值，并将RGB插值后的拍摄图像发送给所述拼接校正模块。3.如权利要求1所述的全景摄像机，其特征在于，所述N个子摄像头的拍摄图像为Bayer格式的图像，并且，所述全景摄像机还包括G插值模块和RB插值模块，其中，所述G插值模块用于对所述N个子摄像头拍摄的Bayer格式的图像进行G插值，并将经G插值后的拍摄图像发送给所述拼接校正模块；所述拼接校正模块用于对所述经G插值后的拍摄图像进行校正，并将校正后的拍摄图像发送给所述RB插值模块；所述RB插值模块用于对所述校正后的拍摄图像进行R插值和B插值。4.如权利要求1所述的全景摄像机，其特征在于，还包含双线性插值模块，用于对由所述拼接校正模块校正后的拍摄图像，根据目标点在原拍摄图像上的位置，参考所述目标点周边四个像素，生成第二像素值，完成双线性插值，并将经双线性插值后的拍摄图像发送给所述拼接融合模块。5.如权利要求1所述的全景摄像机，其特征在于，还包含图像旋转模块，用于对所述子摄像头同步拍摄的拍摄图像进行90°旋转，并将经旋转的拍摄图像发送给所述拼接校正模块。6.根据权利要求1所述的全景摄像机，其特征在于，每个所述子摄像头包...

【专利技术属性】
技术研发人员：张铧铧，王晓江，柯常志，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33