一种跨相机道路空间融合及车辆目标检测跟踪方法及系统技术方案

本发明专利技术公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，该方法进行两个交通场景的背景图像提取及场景标定，获得标定参数；分别划分场景拼接区域，设置长度、宽度方向像素距离比参数组，生成空白空间融合图像；将分场景中像素取出放入空白空间融合图像中，获得带有空间信息的融合图像；利用针对车辆数据集训练的深度神经网络Yolov3，在连续的图像序列中，对车辆目标进行检测获得二维包络模型参数，结合空间融合信息，完成跨相机车辆目标检测跟踪。本发明专利技术可适应包含公共区域的连续道路交通场景，利用摄像机标定完成跨相机道路空间融合，并结合深度神经网络提取场景中大量车辆目标完成跨相机车辆目标检测跟踪，实现简单且具有较高的通用性。

【技术实现步骤摘要】
一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
本专利技术属于智能交通
，具体涉及一种跨相机道路空间融合及车辆目标检测跟踪方法及系统。
技术介绍
跨相机道路空间融合目前在虚拟现实和计算机视觉等领域得到了广泛应用，常见融合方法主要有专业设备采集和图像处理。前者能够得到较好的融合效果，但是设备昂贵，操作复杂，不利于推广；后者通过相机采集多幅包含公共区域的图像，运用图像融合等技术完成空间融合，这种方法成本低，融合效果较好，具有较好的应用型，是目前空间融合的主要方法。图像融合技术通常需要依赖图像灰度、频域和特征信息。灰度信息实现简单，但是计算量较大，算法效率较低；频域信息对于场景之间仅存在平移的情况适应性较好，如果场景之间有旋转，会大大降低算法的效率；特征信息需要通过对场景之间寻找特征点对获得，算法效率与精度与提取的特征点对数量和准确定有很大关系。
技术实现思路
针对现有技术中的缺陷和不足，本专利技术提供了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，克服现有摄像头传感器监控范围有限等缺陷。为达到上述目的，本专利技术采取如下的技术方案：一种跨相机道路空间融合及车辆目标检测跟踪方法，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；具体包括如下步骤：步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p1和p2中提取消失点，建立相机模型和坐标系，世界坐标系包含x，y，z轴，图像坐标系包含u，v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H1和H2，H表示二维图像与三维真实世界空间的映射关系矩阵；步骤3，设置控制点标识道路区域范围：在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为和图像坐标为和设场景2控制点世界坐标为和图像坐标为和其中为场景1和2对应控制点在世界坐标系中x轴上的值，Y11，Y21，Y12，Y22为场景1和2对应控制点在世界坐标系中y轴上的值；为场景1和2对应控制点在图像坐标系中u轴上的值，为场景1和2对应控制点在图像坐标系中v轴上的值；步骤4，生成带空间信息的道路空间融合图像Mp：步骤4.1，设置控制参数组，划定Mp中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为场景1部分对应像素长度为场景2部分对应像素长度为步骤4.2，生成空间融合图像Mp：分别遍历空间融合图像Mp中场景1部分像素和场景2部分像素对应场景1世界坐标中取对应像素值至空间融合图场景1部分，对应场景2世界坐标中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；步骤4.3，解析空间信息：(1)由融合图Mp上任一像素坐标(u，v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：统一世界坐标：(v/rw，u/rl+Y11，0)场景1世界坐标：场景2世界坐标：(2)由地面任意点世界坐标(X，Y，0)解析其在融合图Mp中图像坐标：世界坐标在场景1中：世界坐标在场景2中：步骤5，跨相机目标检测：使用道路车辆数据集训练的目标检测网络Yolov3，对步骤1的视频帧图像序列组s1和s2分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型：上式中，为第t个场景的第i帧图像，S为场景数，F为每个场景下的视频帧数，xtp，ytp分别为二维包围框左上角点在图像坐标u，v轴的值，w为二维包围框在图像中的像素宽度，h为二维包围框在图像中的像素高度，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(xtp+w/2，ytp+h)，先利用步骤2中的H矩阵将其转换为分场景中的世界坐标，再由步骤4转换至Mp中图像坐标，完成跨相机目标检测；步骤6，跨相机目标跟踪：在目标检测的基础上，对每个目标提取3个特征点进行跟踪，获得其图像坐标其中，为第i个特征点的图像坐标，xf，yf分别为特征点在图像坐标u，v轴的值；在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。一种跨相机道路空间融合及车辆目标检测跟踪系统，该系统包括：数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维-三维变换矩阵；控制点标识道路区域设置模块，用于在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。本专利技术与现有技术相比，有益的技术效果是：本专利技术的方法实现简单，可以应用于包含公共区域的跨相机道路空间融合及车辆目标检测跟踪，保证道路监控环境下的通用性，满足智能交通监控系统中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测的方法，因为其稳定性和精度都很高，具有较为广泛的应用。附图说明图1为本专利技术提供的跨相机道路空间融合及车辆目标检测跟踪的算法流程；图2为本专利技术中摄像机模型的坐标系的示意图；其中，(a)为摄像机模型的世界坐标系的侧视图，(b)为摄像机模型的相机坐标系的俯视图；图3为本专利技术中标定条件在坐标系下的表示示意图；其中，(a)为标定条件在世界坐标系下的表示示意图，(b)为标定条件在图像坐标系下的表示示意图；图4为本专利技术实施例所采用的跨相机交通图像；图5为本专利技术实施例中跨相机道路空间融合图像；图6为本专利技术车辆目标二维包络框模型图；图7为本专利技术实施例中跨相机车辆目标检测跟踪结果；具体实施方式以下本文档来自技高网...

【技术保护点】
1.一种跨相机道路空间融合及车辆目标检测跟踪方法，其特征在于，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；/n具体包括如下步骤：/n步骤1，输入场景1和场景2交通场景背景图像p

【技术特征摘要】
1.一种跨相机道路空间融合及车辆目标检测跟踪方法，其特征在于，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；
具体包括如下步骤：
步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；
步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p1和p2中提取消失点，建立相机模型和坐标系，世界坐标系包含x,y,z轴，图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H1和H2，H表示二维图像与三维真实世界空间的映射关系矩阵；
步骤3，设置控制点标识道路区域范围：在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为和图像坐标为和设场景2控制点世界坐标为和图像坐标为和其中为场景1和2对应控制点在世界坐标系中x轴上的值，Y11,Y12,为场景1和2对应控制点在世界坐标系中y轴上的值；为场景1和2对应控制点在图像坐标系中u轴上的值，为场景1和2对应控制点在图像坐标系中v轴上的值；
步骤4，生成带空间信息的道路空间融合图像Mp：
步骤4.1，设置控制参数组，划定Mp中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为场景1部分对应像素长度为场景2部分对应像素长度为
步骤4.2，生成空间融合图像Mp：分别遍历空间融合图像Mp中场景1部分像素和场景2部分像素对应场景1世界坐标中取对应像素值至空间融合图场景1部分，对应场景2世界坐标中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；
步骤4.3，解析空间信息：
(1)由融合图Mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：
统一世界坐标：(v/rw,u/rl+Y11,0)
场景1世界坐标：
场景2世界坐标：
(2)由地面任...

【专利技术属性】
技术研发人员：王伟，唐心瑶，宋焕生，穆勃辰，李聪亮，梁浩翔，张文涛，雷琪，刘莅辰，戴喆，云旭，侯景严，贾金明，赵锋，余宵雨，靳静玺，王滢暄，崔子晨，赵春辉，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西;61