一种基于道路交通场景下的全景视频拼接方法及系统技术方案

本发明专利技术公开一种基于道路交通场景下的全景视频拼接方法及系统，包含图像采集、图像畸变矫正及预处理、图像特征点提取、图像匹配、匹配特征点对过滤、获取投影变换的单应性矩阵和图像融合。本发明专利技术通过深度学习网络实现特征点的提取和特征点匹配，图像特征点提取的时候，分别对动态前景和静态背景进行特征点提取，通过提取不同摄像头之间重叠区域背景和前景的特征点，并对特征点进行匹配，动态获取不同摄像头之间的相对位置关系，实现了对片区道路交通系统中摄像头间图像的实时融合拼接；解决了传统的单摄像头监控体系，需要相关人员人工调出相应多个摄像头图像，进行比对拼合，才能获取到有用信息等问题，同时完美解决了目标跨摄像头追踪问题。像头追踪问题。像头追踪问题。

【技术实现步骤摘要】
一种基于道路交通场景下的全景视频拼接方法及系统


[0001]本专利技术涉及交通管理和视频监控
，具体涉及一种基于道路交通场景下的全景视频拼接方法及系统。

技术介绍

[0002]随着经济的逐步繁荣，科学技术的不断发展，对城市道路交通的全面实时监测变得越发重要，通过科学技术手段建立全面的道路交通图像管理平台成为各地交通管理部门的目标。目前，道路交通监测系统已经基本实现覆盖城市和乡镇主干道，辅道和路口的数字网络系统，并配备了相应的图像监视设备和操作软件，可实时将道路交通的运行状况传送至相应的调度中心，对道路交通运行状况进行监控。一旦出现问题，第一时间做出反馈。但是因为目前现有的监控设备，主要是现有的安防摄像头，存在摄像头之间没有直观的位置关系，一旦查找跨摄像头的情况，需要相关人员人工调出相应多个摄像头的图像，一一进行比对拼合，才能获取到有用信息，费事费力。
[0003]CN113055613A公开“一种基于矿山场景下的全景视频拼接的方法及装置”，其采用传统SURF算法提取特征点，并生成特征描述子，SURF算法在实际应用中不能实现视频帧的实时处理，基本可以排除工程应用；并且，特征匹配算法采用K最近邻分类算法,匹配误差较大。又如，CN103516995A公开“一种基于ORB特征的实时全景视频拼接方法和装置”采用的方法是：开启采集多路同步视频数据；采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；根据单应性矩阵进行视频帧场景的拼接；最后输出拼接后的视频。但是，所述对比文件都是通过传统的图像特征点提取和匹配方法，比如sift或者surf，其存在特征点提取精度不高，提取时间太长，不能实现实时拼接。

技术实现思路

[0004]针对现有技术存在的上述不足，本专利技术的目的在于提供一种基于道路交通场景下的全景视频拼接方法及系统，解决现有技术提取精度不高、查找费时费力和不能实现实时拼接的问题。
[0005]为实现上述目的，本专利技术采用如下技术方案：一种基于道路交通场景下的全景视频拼接方法，包含以下步骤：S1、图像采集：由多个摄像头同步采集测试路段中每路摄像头的图像，要求每个摄像头的时间戳严格一致；S2、图像畸变矫正及预处理：采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理；S3、图像特征点提取：采用深度学习网络superpoint对图像进行特征点的提取；提取摄像头之间重叠区域的特征点，包含角点和梯度变化明显的点，并生成特征描述子；S4、图像匹配：采用基于图卷积神经网络的特征匹配算法superglue对图像进行特
征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子，输出是图像特征之间的匹配关系；S5、匹配特征点对过滤：利用K近邻算法对匹配上的特征点对进行过滤；S6、获取投影变换的单应性矩阵，完成投影变换：过滤后剩余的匹配点对利用Ransac算法循环遍历，直到计算得到图像间投影所需的最佳单应性矩阵，完成图像间的拼接；S7、图像融合：采用动态规划寻找最佳拼接线进行图像融合。
[0006]进一步，所述S3中重叠区域分为静态的背景和动态的前景，分别提取背景和前景特征点。
[0007]所述S4中，图像特征匹配包括静态匹配和动态匹配；静态匹配包括道路场景下的道路、交通标识、树木等静态物体的匹配；动态匹配包括指行人、车辆等的匹配。所述静态匹配对于图像而言基本相当于背景，可以单独对背景的特征点进行匹配；动态匹配对于图像而言相当于前景，可以单独对前景的特征点进行匹配。
[0008]进一步，所述图像融合使用快速颜色插值模型结合邻近最短距离法寻找最佳拼接线进行图像融合。
[0009]本专利技术还提供一种基于道路交通场景下的全景视频拼接系统，包括摄像头和处理器，所述处理器执行上述全景视频拼接方法。
[0010]相比现有技术，本专利技术具有如下有益效果：1、本专利技术通过深度学习网络来实现特征点的提取和特征点匹配，图像特征点提取的时候，分别对动态前景和静态背景进行特征点提取，通过提取不同摄像头之间重叠区域背景和前景的特征点，并对特征点进行匹配，动态获取不同摄像头之间的相对位置关系，也就是单应性矩阵，实现了对片区道路交通系统中摄像头间图像的实时融合拼接。
[0011]2、本专利技术解决了传统的单摄像头监控体系，需要相关人员人工调出相应多个摄像头图像，一一进行比对拼合，才能获取到有用信息，费事费力的问题，同时完美解决了目标跨摄像头追踪问题。
[0012]3、本专利技术将同一片区存在重叠区域的摄像头图像按照相对位置关系，进行全景拼接和融合，然后直接投影到相应的监控大屏，可以更直观更清晰的监测整个片区的交通状况。
附图说明
[0013]图1为本专利技术基于道路交通场景下的全景视频拼接方法的流程图；图2为采用广角摄像头获取的原图像示例；图3为图像经矫正后效果图示例；图4为图像拼接效果图示例；图5为图像融合效果图示。
具体实施方式
[0014]为了使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术作进一步详细说明，但本专利技术的实施方式不仅限于此。
[0015]参见图1，为本专利技术基于道路交通场景下的全景视频拼接方法流程图。
[0016]第一步，图像采集：同步多个摄像头同时采集测试路段中每路摄像头的图像，要求每个摄像头的时间戳严格一致，实际测试过程中对每路摄像头采用单独的进程进行图像采集，基本最快和最慢进程的时间差在0.5ms，是可以满足每秒25帧同步采集的。参见图2，为采用海康广角摄像头获取跨摄像头图像示例。
[0017]第二步，图像畸变矫正及预处理：（2a）由于道路摄像头多采用广角摄像头，图像存在严重径向畸变，表现为桶状畸变（如图2），选取了三路摄像头的原始图像，造成图像特征失真，所以需要校正摄像头参数消除畸变影响，由处理器采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理。矫正后图像的效果示例如图3。
[0018]（2b）采用何凯明暗通道去雾算法对图像进行预处理。摄像头长期处于露天环境，镜头会有灰尘，雨天和雾天等都会造成图像不清晰，需要进行相应的预处理，提升图像质量。
[0019]第三步，图像特征点提取：本专利技术采用深度学习网络superpoint对图像进行特征点的提取。Superpoint的输出不仅仅是特征点还有特征点的描述子。提取摄像头之间重叠区域的特征点，包含角点和梯度变化明显的点，并生成特征描述子。由于重叠区域之外的图像信息容易造成特征点的误匹配，所以可以只在重叠区域提取特征点，既能提升特征点提取的速度，又能提升匹配的准确度。重叠区域又可以分为静态的背景和动态的前景，可以分别对背景和前景提取特征点。
[0020]第四步，图像匹配：图像匹配分静态和动态匹配，静态匹配主要指道路场景下的道路、交通标识、树木等静态物体的匹配，动态匹配是指行人、车辆等的匹配。根据提取的特征描述子，分别对图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于道路交通场景下的全景视频拼接方法，其特征在于，包含以下步骤：S1、图像采集：由多个摄像头同步采集测试路段中每路摄像头的图像，要求每个摄像头的时间戳严格一致；S2、图像畸变矫正及预处理：采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理；S3、图像特征点提取：采用深度学习网络superpoint对图像进行特征点的提取；提取摄像头之间重叠区域的特征点，包含角点和梯度变化明显的点，并生成特征描述子；S4、图像匹配：采用基于图卷积神经网络的特征匹配算法superglue对图像进行特征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子，输出是图像特征之间的匹配关系；S5、匹配特征点对过滤：利用K近邻算法对匹配上的特征点对进行过滤；S6、获取投影变换的单应性矩阵，完成投影变换：过滤后剩余的匹配点对利用Ransac算法循环遍历，直到计算得到图像间投影所需的最佳单应性矩阵，完成图像间的拼接；S7、图像融合：采用动态规划寻找最佳拼接线进行图像融合。2.根...

【专利技术属性】
技术研发人员：杨秋红，董楠，赵晓龙，金涛，倪守城，孙炼杰，王学方，任凡，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：