一种基于交通摄像头的深度图估计方法技术

本发明专利技术公开了一种基于交通摄像头的深度图估计方法，具体步骤为：S1通过固定位置和定焦的交通摄像头采集交通视频数据；S2对交通视频数据采用语义分割方法进行车辆分割和跟踪；S3对步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；S4对步骤S3处理后的车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；S5步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度计算网络计算每帧基于像素的深度值；S6根据步骤S4的虚拟位姿和步骤S5的像素的深度值合成目标帧图像，获得合成帧；S7根据步骤S6的合成帧和步骤S3中的原始帧，构建目标函数，训练深度计算网络相对应的深度模型，得到交通摄像头视频的深度计算图。得到交通摄像头视频的深度计算图。得到交通摄像头视频的深度计算图。

【技术实现步骤摘要】
一种基于交通摄像头的深度图估计方法


[0001]本专利技术涉及视频监控
，具体涉及一种基于交通摄像头的深度图估计方法。

技术介绍

[0002]通过交通监控摄像头对视频中目标的深度测量应用于车辆定位、测速等智能监控应用中。由于交通监控大多采用固定的单目摄像头，无法直接得到三维的深度信息，对视频中目标点的测距和定位大多需要外部三维信息作参考。
[0003]确定摄像机外参是一种常见的方法，如专利CN103578109A提出一种通过多次摆放标定工具获取标定点，根据图像坐标系和世界坐标系之间的关系计算摄像机参数，再通过图像坐标系的投影获取测距点的距离。专利CN108805936A提出不需设置标志物，通过渲染网格的方法确定四个以上视频图像和物理空间对应点计算外参，并通过标定更多的物理点修正得到满意的摄像机外参的方法。通过预知尺寸的参考物体、地面假设、相机高度等测量值之间的几何关系约束获取目标点深度的方法，也需要人工辅助和预先计算。
[0004]使用其他装置辅助测距的方法，如专利CN104079868B提出的测距方法和装置借助激光器辅助摄像机获得目标点的距离；专利CN105550670B使用两个摄像头，使用双目相机识别定位的原理生成视角区域三维点云，从而获得目标位置。专利CN102168954B借助云台旋转采集同一目标的两幅图像，测量静止目标的深度信息，获得像点对应三维点的深度。此类通过双目或多目成像原理和立体匹配的深度计算方法的成本较高。
[0005]因此，有必要研发一种基于交通摄像头的深度图估计方法，能够使用固定摄像头采集的数据完成用于目标测距或定位的深度计算。

技术实现思路

[0006]本专利技术要解决的技术问题是提供一种基于交通摄像头的深度图估计方法，能够使用固定摄像头采集的数据完成用于目标测距或定位的深度计算。
[0007]为了解决上述技术问题，本专利技术采用的技术方案是：该基于交通摄像头的深度图估计方法，具体包括以下步骤：S1：通过固定位置和定焦的交通摄像头采集交通视频数据；S2：对所述步骤S1采集的交通视频数据采用语义分割方法进行车辆分割和跟踪，获得车辆跟踪视频；S3：对所述步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；S4：对所述步骤S3处理后的单一车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；S5：所述步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度神经网络计算每帧基于像素的深度值；S6：根据所述步骤S4的虚拟位姿和所述步骤S5的像素的深度值合成目标帧图像，
获得合成帧；S7：根据所述步骤S6的合成帧和所述步骤S3中的原始帧，构建目标函数，根据目标函数的约束，训练所述步骤S5中的深度神经网络模型，从而得到所述交通摄像头视频的深度计算图。
[0008]作为本专利技术的优选技术方案，所述步骤S2的具体步骤为：S21：使用图像语义分割模型分割出交通视频数据中每一帧的所有车辆，并合并除车辆外的类别；S22：采用模板匹配的方法对每辆车辆进行跟踪；S221：根据车辆分割轮廓的坐标的最小值和最大值确定车辆的矩形包络框；S222：将交通视频数据的前一帧中的目标车辆的包络框当作后一帧车辆匹配的模板；S223：提取模板中心点位置，并将模板的中心点与后一帧中所有车辆的包络框的中心点逐一对齐；S224：再根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，选择与模板匹配度最大的车辆作为跟踪目标，实现对车辆的快速跟踪；作为本专利技术的优选技术方案，所述步骤S224中根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，相关系数的计算公式为：；其中 表示模板图像， 表示模板与模板均值的差，表示原图像与原图像均值的差。在该步骤中仅分割出车辆轮廓即可。
[0009]作为本专利技术的优选技术方案，所述步骤S3的具体步骤为：首先提取出单一车辆的连续帧，并将每个连续帧的图像中除了目标车辆的所有像素设定为统一值；且设定的背景颜色与目标车辆颜色形成对比，便于后续特征点的提取和匹配，获得原始帧。该步骤主要是为了避免图像中静态背景和其他动态物体对虚拟相机位姿估计的影响，因此对每帧图像进行背景替换，从而便于后续特征点的提取和匹配。
[0010]作为本专利技术的优选技术方案，所述步骤S4通过将车辆相对相机的运动转换为相机的虚拟运动，确定虚拟位姿；其中计算虚拟位姿的具体步骤为：S41：首先对连续帧中的目标车辆进行特征提取和前后帧特征匹配；通过随机采样一致RANSAC算法去除噪声点求解出基础矩阵F，再结合相机内参K求解本质矩阵E，相机内参K与本质矩阵E之间的关系为：；S42：然后通过奇异值分解SVD分解出相机运动的旋转矩阵R和平移矩阵t；设E的SVD为：；
其中U，V为正交阵，为奇异值矩阵；则：；；其中 表示绕Z轴旋转90度得到的旋转矩阵；将任意一点带入上式的四种解之中，检测点深度值为正，则为正确的解；S43：再根据三角测量原理计算匹配的特征点三维坐标P；具体为：设为两个特征点的归一化坐标，则满足：；其中为前一帧的特征点的深度值，为与前一帧对应的后一帧的特征点的深度值；再对上式求最小二乘解即可得到两帧图像下点的深度，得到匹配的特征点的三维空间位置即三维坐标；S44：位姿初始化后，根据前一帧的特征点的三维坐标和其对应的后一帧的特征点的二维像素坐标求解出相邻帧之间的位姿。
[0011]作为本专利技术的优选技术方案，所述步骤S5中深度计算网络为DispNet网络，通过端到端方式计算图像像素的深度值；其中输入为目标帧图像，输出为目标帧的每个像素点深度值组成的深度图。
[0012]作为本专利技术的优选技术方案，所述步骤S6中通过目标帧后一帧图像相对目标帧的位姿和目标帧的估计深度值，计算出合成帧的图像；合成帧图像计算分为两步，首先通过目标帧的深度值将目标帧图像映射到三维坐标系，再将三维点重映射到新视角下的图像中，其计算公式为：；；其中，是p点在目标帧中的估计深度，K为相机内参，为映射的p点三维坐标，与是约等于的关系；是目标帧与前一帧之间的相对位姿，即所述步骤S4中的虚拟位姿，与是约等于的关系。
[0013]作为本专利技术的优选技术方案，所述步骤S7根据所述步骤S6的合成帧和所述步骤S3中的原始帧，构建目标函数，目标函数基于一系列的合成图像和目标图像之间的差异构建；对于单一目标车辆有n张训练帧图像，目标函数为：；
其中p代表一张图像中的所有点，为目标帧，为合成的目标帧图像。
[0014]与现有技术相比，本专利技术具有的有益效果为：通过将交通摄像头固定相机场景中的深度计算问题转换为虚拟移动相机位姿计算和深度计算，解决了固定单目相机由于视角固定没有移动导致的图像深度难以获得的问题；分割出的车辆移动图像为虚拟位姿计算提供单目相机位姿初始化和后续位姿计算的基础；此技术方案仅需要已知相机内参的固定摄像头采集的视频数据，即可完成深度计算的工作，便于实际交通监控场景的使用，且每个相机都可以学习自己的深度计算模型，无需考虑因相机设置高度、场景变化等导致的深度模型泛化性能差的问题；通过深度计算模型计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交通摄像头的深度图估计方法，其特征在于，具体包括以下步骤：S1：通过固定位置和定焦的交通摄像头采集交通视频数据；S2：对所述步骤S1采集的交通视频数据采用语义分割方法进行车辆分割和跟踪，获得车辆跟踪视频；S3：对所述步骤S2中的车辆跟踪视频的连续帧图像做背景替换，获得原始帧；S4：对所述步骤S3处理后的单一车辆跟踪视频的连续帧图像进行相机的虚拟位姿计算；S5：所述步骤S3处理后的单一车辆跟踪视频的连续帧图像通过深度神经网络估计每帧基于像素的深度值；S6：根据所述步骤S4的虚拟位姿和所述步骤S5的像素的深度值合成目标帧图像，获得合成帧；S7：根据所述步骤S6的合成帧和所述步骤S3中的原始帧，构建目标函数，根据目标函数的约束，训练所述步骤S5中的深度神经网络，从而得到所述交通摄像头视频的深度计算图。2.根据权利要求1所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S2的具体步骤为：S21：使用图像语义分割模型分割出交通视频数据中每一帧的所有车辆，并合并除车辆外的类别；S22：采用模板匹配的方法对每辆车辆进行跟踪；S221：根据车辆分割轮廓的坐标的最小值和最大值确定车辆的矩形包络框；S222：将交通视频数据的前一帧中的目标车辆的包络框当作后一帧车辆匹配的模板；S223：提取模板中心点位置，并将模板的中心点与后一帧中所有车辆的包络框的中心点逐一对齐；S224：再根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，选择与模板匹配度最大的车辆作为跟踪目标，实现对车辆的快速跟踪；所述步骤S224中根据归一化相关系数匹配法计算模板覆盖下的图像区域与模板的匹配度，相关系数的计算公式为：；其中 表示模板图像，表示模板与模板均值的差，表示原图像与原图像均值的差。3.根据权利要求2所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S3的具体步骤为：首先提取出单一车辆的连续帧，并将每个连续帧的图像中除了目标车辆的所有像素设定为统一值；且设定的背景颜色与目标车辆颜色形成对比，便于后续特征点的提取和匹配，获得原始帧。4.根据权利要求2所述的基于交通摄像头的深度图估计方法，其特征在于，所述步骤S4通过将车辆相对相机的运动转换为相机的虚...

【专利技术属性】
技术研发人员：李俊，宛蓉，吉玮，
申请(专利权)人：速度时空信息科技股份有限公司，
类型：发明
国别省市：