一种基于监控摄像头组的图像融合与畸变矫正的实现方法技术

本发明专利技术公开了一种基于监控摄像头组的图像融合与畸变矫正的实现方法，具体为：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码；通过opencv对鱼眼视频进行矫正处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理；对于处理完的视频使用opengl进行渲染；将同一个点位不同的摄像头的三个视频拼接显示。本发明专利技术最大限度的还原了真实场景，最大程度的满足了监控人员的观看需求和降低了观看难度；增加了图像标注，提高了人机协同。提高了人机协同。提高了人机协同。

【技术实现步骤摘要】
一种基于监控摄像头组的图像融合与畸变矫正的实现方法


[0001]本专利技术属于监控视频数据处理
，尤其涉及一种基于监控摄像头组的图像融合与畸变矫正的实现方法。

技术介绍

[0002]当前高速公路查看监控视频时多个视频流一般采用4宫格和9宫格，由于单个摄像头不能囊括一个监控点位的所有视角，所以需要两个枪机摄像头分别捕捉公路来去两个方向的视角，并且补充鱼眼摄像头照射点位正下方补充照射枪机视野盲区，实际安装如图1、2所示。而在实际安装当中，相同点位不同摄像头照射区域中具体重合区域，这也将影响监控人员的判断，如图8所示。由于监控人员需要同时查看三个摄像头视频以获取当前地点的全部信息，其中4宫格中三个视频不能在一排放置，对于信息利用比较低；而9宫格单个视频窗口太小，不方便观看，并且鱼眼摄像头具有畸变，在实际观看中需要时间对于视频内容进行判断。这些问题极大地影响了高速部门监管人员对于道路情况的判断，从而延长高速事故等情况的处理时间。
[0003]现有技术的缺点：
[0004]1.由于相同点位中不同摄像头之间包含重复视野区域，当同一辆车出现在不同摄像头画面中时，会对监控人员增加判别困难。每个监控摄像头的图像单独显示，虽然现有的每个杆位上有多个摄像头，但是监控画面还是独立的，不利于监控员的监控使用。
[0005]2.1宫格、4宫格、9宫格的显示方式在用户观察时每个画面是割裂独立的，用户无法从一个统一的视角观察同一个物理空间场地通行的车辆，增加了用户观看难度，而且增加了计算机的负载。
[0006]3.在使用时选择视频是按摄像头选择的，在高速公路监控人员使用中一般是需要观看一个观测点的摄像头，在高速重点监测路段，每个观测点具有两枪一鱼三个摄像头，每次需要选择三次才能查看到所有的视频。
[0007]4.传统的鱼眼校正算法需要较长的时间去生成纹理细节，而基于深度学习的鱼眼校正需要大量标签数据，导致常规实验环境下校正算法很难应用在实时高清的鱼眼监控摄像上。

技术实现思路

[0008]为了克服以上技术问题，本专利技术提供一种基于监控摄像头组的图像融合与畸变矫正的实现方法。
[0009]本专利技术的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，具体为：
[0010]步骤1：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码。获取监控摄像头端的实时视频编码数据，根据编码信息查找并打开解码器，将输入数据循环输入到解码器当中进行解码。
[0011]步骤2：通过opencv对视频进行处理，如果有标注信息则对其进行文字的添加，有
划区信息则对于对应的视频进行截取处理。
[0012]步骤3：对于处理完的视频使用opengl进行几何校正。
[0013]通过在模拟镜头/相机组合在给定焦距下确定其物理参数水平偏移量和竖直偏移量Fx、Fy，视场角fov，通过这些参数能够得到原像素点和矫正还原后的像素点的对应位置的转换，然后通过opengl的着色器对这些参数的设定达到校正的效果。
[0014]步骤4：图像融合，将同一个点位的三个监控视频融合，达到将该点位沿道路方向上的1000米道路(杆位前后500米)图像同时显示。图像融合的目的是通过鱼眼摄像头可以显示大视角图像的方法，监控两个枪机摄像头不能监控到的杆位下方的死角位置，并作为连接两个枪机摄像头的桥梁，形成完整道路监控图像。
[0015]步骤5：图像显示，由于监控探头位置的参差不齐，且道路上安装好的摄像头难以调整，所以我们提出了两种图像的显示模式；一种是将角度合适的摄像头组通过图像融合的方式将杆位下的道路完整展示，一种是将角度不满足要求的摄像头组根据监控位置按3宫格显示。
[0016]进一步的，具体为：
[0017]步骤1中：FFmpeg解码模块首先调用流信息分析函数avformat_find_stream_info()将一部分数据流传输进该函数中，函数会通过输入的数据流得到相关的视频信息，通过得到的视频信息，为AVStream结构体对象赋值，并为查找和打开解码器操作提供所需数据信息；然后，再通过获取到的视频流信息，为视频流查找相关的解码器并进行解码操作，为解码结构体对象缓存分配内存空间、初始化操作，之后打开解码器，获取视频流数据，进入解码循环；解码成功的数据则会被送入缓冲区，并且根据当前视频帧时间戳对视频进行同步，使观看更加平滑且连贯。
[0018]步骤2中：鱼眼校正时的参数转换如，与直角相机不同，鱼眼相机不遵循切平面几何形状，而是产生了宽视场的内置畸变。虽然径向镜头失真参数的使用方式与直线镜头和鱼眼镜头相同，但绝不应使用它们来尝试将鱼眼重新映射到直角图像。鱼眼形状遵循快速变化的三角函数，该函数很难用三阶多项式去近似。所以我们通过模拟镜头/相机组合在给定焦距下的物理参数a、b、Fx、Fy和FoV来校正鱼眼镜头，通过优化滚动(roll)、俯仰(pitch)、偏航(yaw)的效果，调整fov、a、b、Fx和Fy等变量达到校正目的。对于视野(fov)通常是指图像的水平视场(hFoV)，但是有时会用到垂直视场(vFoV)，对于鱼眼图像我们可以通过纵横比(AspectRatio)来近似鱼眼图像：
[0019][0020]两者的转换为：
[0021][0022]我们在片元着色器(FragmentShader)部分引入这些参量对图片的渲染进行修正以达到校正鱼眼图像的目的，修正的公式为：
[0023]vMapping.x＝vMapping.x+((pow(vPos.y,2.0)
÷
scale)
×
vPos.x
÷
scale)
×
(
‑
Fx)
[0024]vMapping.y＝vMapping.y+((pow(vPos.x,2.0)
÷
scale)
×
vPos.y
÷
scale)
×
(
‑
Fy)
[0025]vMapping＝vMapping
×
uLensS.xy
[0026]其中vMapping为输出的像素位置，vPos为输入的像素位置，scale为Fov参量，Fx和Fy分别为水平偏移量和竖直偏移量。
[0027]步骤3中：opengl首先接收用户提供的几何数据包括顶点和几何图元，并且将它输入到一系列着色器阶段中进行处理，包括：顶点着色、细分着色以及最后的几何着色；将被送入光栅化单元rasterizer，光栅化单元负责对所有剪切区域clipping region内的图元生成片元数据，然后对每个生成的片元都执行一个片元着色器。
[0028]步骤4中：视频融合的具体实现为由于监控摄像头的位置大都固定，所以为达到实时性的要求，我们不用重复计算摄像头的位置参数，我们采取在一个杆位初始化的时候获取一帧三路监控视频的图像，计算出三个监控图像的单应性矩阵，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，具体为：步骤1：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码；步骤2：通过opencv对鱼眼视频进行矫正处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理；步骤3：对于处理完的视频使用opengl进行矫正；步骤4：图像融合，将同一个点位符合融合条件的三路监控视频融合；步骤5：图像显示，通过计算判断选择合适的显示模式。2.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤1具体为：获取视频编码数据，根据编码信息查找并打开解码器，将输入数据循环输入到解码器当中进行解码；步骤a：FFmpeg解码模块首先调用流信息分析函数avformat_find_stream_info()将一部分数据流传输进该函数中，函数会通过输入的数据流得到相关的视频信息，通过得到的视频信息，为AVStream结构体对象赋值，并为查找和打开解码器操作提供所需数据信息；步骤b：通过获取到的视频流信息，为视频流查找相关的解码器并进行解码操作，为解码结构体对象缓存分配内存空间、初始化操作，之后打开解码器，获取视频流数据，进入解码循环；步骤c：解码成功的数据则会被送入缓冲区。3.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤2具体为：通过模拟镜头/相机组合在给定焦距下的物理参数：水平偏移量Fx、竖直偏移量Fy和视野FoV来校正鱼眼镜头，通过优化滚动roll、俯仰pitch、偏航yaw、Fx和Fy达到校正目的；步骤a：对于视野fov是指图像的水平视场hFoV和垂直视场vFoV，对于鱼眼图像我们通过纵横比AspectRatio来近似鱼眼图像：两者的转换为：步骤b：在片元着色器FragmentShader部分引入这些参量对图片的渲染进行修正以达到校正鱼眼图像的目的，修正的公式为：vMapping.x＝vMapping.x+((pow(vPos.y,2.0)
...

【专利技术属性】
技术研发人员：李凯，代超，雷秉川，胡骞，张骞，任文龙，黎镇宇，袁一平，陈铤沛，向文馗，唐东明，
申请(专利权)人：西南民族大学，
类型：发明
国别省市：