一种超高分辨率全景高速球一体机系统技术方案

本发明专利技术涉及图像信息处理技术，提供了一种超高分辨率全景高速球一体机系统及其视频拼接和空间配准方法，装置包括机座元件、包括多个摄像机的全景拼接视频摄像机、高速球、控制器、壳体和支架；视频拼接方法包括计算查找表、计算拼接线、图像融合等步骤；空间配准方法包括建立全景拼接图像坐标系、将全景拼接图像平均分成若干个矩形区域、采样并计算采样点的映射关系和采用双线性插值方法计算非采样点映射关系。本发明专利技术既能实现全景的监控，也能同时提供高分辨率的监控场景，通过全景实时拼接摄像机与高速球的配准联动，实现对感兴趣目标快速精准的聚焦定位、缩小放大和快速平稳浏览。

【技术实现步骤摘要】
一种超高分辨率全景高速球一体机系统
本专利技术涉及图像信息处理技术，特指一种超高分辨率的全景高速球一体机的装置与配准方法。
技术介绍
目前，在军事侦查领域，大量的摄像机被安装在无人机等侦查装备上。随着军事侦查对视频图像的分辨率以及视频图像中的目标信息要求越来越高，传统摄像机的不足日益显现。由于拍摄视角范围有限，传统摄像机只能侦查前方某一固定角度空间内的场景，这很大程度上限制侦查范围，降低了侦查效率。近年来，随着视频监控技术的发展，利用鱼眼镜头获取180°全景图像的技术越来越成熟。全景摄像机是采用鱼眼镜头装置，生成包含空间180°场景信息的全景视频图像，使得军事侦查可以实现全景全方位。虽然全景图像可以给用户提供大范围的侦查监控，但是较低的分辨率成为侦查过程中的短板。高速球是现今市场中的高端一体化摄像设备。这种摄像机能够快速精准的聚焦定位、缩小放大和快速平稳的环视浏览，使得用户可以快速侦查目标的细节如可疑目标的特征等。但高速球的观察范围有限，不能同时兼顾多个不同的场景。因此，仅仅利用单一的高速球摄像机无法满足侦查需求。
技术实现思路
：为了克服以上缺陷，本专利技术提出了超高分辨率全景摄像机与高速球相配合的超高分辨率全景凝视摄像机装置。超高分辨率全景摄像机采用视频实时拼接技术，将多路视频拼接成大视角、高分辨率的视频，克服了鱼眼镜头摄像机分辨率低的缺点。高速球可以对侦查目标快速精准的聚焦定位、缩小放大和快速平稳环视浏览。本专利技术它创新性的将全景实时拼接超高分辨率摄像机和高速球摄像机一体化相结合，充分发挥两者在侦查领域的优势，达到最佳的侦查效果。本专利技术提出的装置可以安装到无人机等高空侦查设备上，实时获取地面的大范围、高分辨的视频图像，实现对地面的监控侦查。本专利技术采用的技术方案是：一种超高分辨率全景高速球一体机系统，包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准实现全景拼接视频摄像机与高速球的配准联动。进一步地，每个所述摄像机分别旋转90度后再固定安装，即每个摄像机有效图幅的水平边长小于其有效图幅的竖直边长；每个所述摄像机均采用CMOS或者CCD元件。进一步地，每个所述摄像机均为1080P摄像机，共有14个，每个摄像机的视角为30度，每组相邻摄像机的重叠视角为5度；每个摄像机与水平轴的角度为30度。本专利技术还提供了一种用于上述超高分辨率全景高速球一体机系统的视频实时拼接方法，包括以下步骤：S101.对各摄像机进行配准，计算各相邻摄像机之间的查找表；S102.计算相邻摄像机图像的重叠区域以及各重叠区域的缝合线；S103.采用金字塔融合方法对图像进行融合。进一步地，所述步骤S101的具体方法为：（1）通过SIFT特征点检测与匹配，得到初始匹配特征点集合；（2）利用RANSAC算法滤除误匹配点，获得最终匹配特征点集合；（3）根据所述最终匹配特征点集合求解变换关系，获得查找表，并根据全景拼接图像的尺寸对查找表进行裁剪。进一步地，所述步骤S102的具体方法为：（1）确定相邻摄像机图像的重叠区域；（2）计算各重叠区域的图像差异；（3）采用动态规划算法计算查找各重叠区域的缝合线。本专利技术还提供了一种用于上述超高分辨率全景高速球一体机系统的空间配准方法，包括以下步骤：S201.建立全景拼接图像坐标系：全景拼接图像左上方顶点为坐标原点O，水平向右为X轴正向，竖直向下为Y轴正向；S202.将全景拼接图像平均分成若干个矩形区域：全景拼接图像的大小记为Upano×Vpano，将全景拼接图像平均分成M×N个矩形区域，M是列数，N是行数，则每个矩形区域的大小为(Upano/M)×(Vpano/N)；S203.采样并计算采样点的映射关系：选取每个矩形区域四个顶点位置像素点作为采样点，则得到(M+1)×(N+1)个采样点；对于每一个采样点Pi(xi,yi)，其中下标i表示采样点的序号，xi,yi分别表示该采样点的坐标，控制高速球转动到该采样点对应的实际目标点位置，使该实际目标点位置调整到高速球图像的中心位置，记录此时高速球的旋转角度表示偏航角，θi表示俯仰角；这样就得到了每个采样点对应的高速球旋转角度；S204.采用双线性插值方法计算非采样点映射关系：对于任意一个非采样点P(x,y)，先判断该非采样点所在矩形区域；再通过其所在矩形区域的四个采样点来计算该非采样点对应高速球摄像机的旋转角度设对应的四个采样点分别为求解的具体公式为：则：则：其中θ'和θ''为计算过程中的中间变量。在得到该非采样点P(x,y)对应的高速球旋转角度后，控制调整高速球按照该角度进行旋转，则可以得到用户感兴趣位置的高分辨率细节图像。本专利技术取得的技术效果是：能够实现大场景、宽视角同时拥有高分辨率的视频监控，解决了高分辨率与大场景不能同时获得的矛盾，既能实现全景的监控，也能同时提供高分辨率的监控场景。运用上述装置与方法能够最终实现侦查监控大范围场景，360度视角并且拥有超高分辨率的监控视频，同时通过全景拼接视频摄像机与高速球之间的配准联动，实现对感兴趣目标的快速精准的聚焦定位、缩小放大和快速平稳浏览。附图说明：图1是本专利技术的一个实施例中全景拼接视频摄像机示意图。该实施例共安装有14个摄像机安装位置，序号1到7表示半圆上七个摄像机的安装相对位置。图2高速球实物图。图3机座元件设计示意图。Li表示第i个摄像机水平视野最左端，Ri表示第i个摄像机水平视野最右端。对于第i个摄像机，Li到Ri的视角为30度。每相邻两个摄像机之间的重叠视角角度为5度，即图中L4到R3的角度为5度，L5到R4的角度为5度。7个摄像机视角达到180度。图4摄像机安装角度。摄像机轴与水平轴成30度角。图5CMOS旋转90度示意图。将CMOS旋转90度，增加竖直视角的宽度，达到两排摄像机镜头拼接的效果。图6全景拼接视频摄像机与高速球相对位置示意图。图7是配准后图像的相对位置关系以及重叠区域。图8是图像缝合线示意图。其中，S表示缝合线的起点，T表示缝合线的终点，黑线表示缝合线。黑线经过的位置的差异值之和是所有路线中差异最小的。图9全景图像坐标，全景图像分块以及双线性插值方法计算非采样点映射关系示意图。具体本文档来自技高网...

【技术保护点】
一种超高分辨率全景高速球一体机系统，其特征在于：包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准实现全景拼接视频摄像机与高速球的配准联动。

【技术特征摘要】
1.一种用于超高分辨率全景高速球一体机系统的空间配准方法，所述超高分辨率全景高速球一体机系统包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准方法实现全景拼接视频摄像机与高速球的配准联动；其特征在于所述空间配准方法包括以下步骤：S201.建立全景拼接图像坐标系：全景拼接图像左上方顶点为坐标原点O，水平向右为X轴正向，竖直向下为Y轴正向；S202.将全景拼接图像平均分成若干个矩形区域：全景拼接图像的大小记为Upano×Vpano，将全景拼接图像平均分成M×N个矩形区域，M是列数，N是行数，则每个矩形区域的大小为(Upano/M)×(Vpano/N)；S203.采样并计算采样点的映射关系：选取每个矩形区域四个顶点位置像素点作为采样点，则得到(M+1)×(N+1)个采样点；对于每一个采样点Pi(xi,yi)，其中下标i表示采样点的序号，xi,yi分别表示该采样点的坐标，控制高速球转动到该采样点对应的实际目标点位置，使该实际目标点位置调整到高速球图像的中心位置，记录此时高速球的旋转角度表示偏航角，θi表示俯仰角；这样就得到了每个采样点对应的高速球旋转角度；S204.采用双线性插值方法计算非采样点映射关系：对于任意一个非采样点P(x,y)，先判断该非采样...

【专利技术属性】
技术研发人员：张茂军，王炜，徐玮，彭杨，谭树人，熊志辉，刘煜，张政，尹晓晴，李靖，
申请(专利权)人：中国人民解放军国防科学技术大学，湖南源信光电科技有限公司，
类型：发明
国别省市：