球机监控盲区诊断方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种球机监控盲区诊断方法、系统、设备及存储介质，该方法通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标；获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区。本发明专利技术通过路面分割得到路面可行使区域，并通过3D重建技术进行是否存在盲区的判断，从而减少光照影响和车流的影响。响。响。

【技术实现步骤摘要】
球机监控盲区诊断方法、系统、设备及存储介质


[0001]本专利技术属于视频分析的
，具体涉及一种球机监控盲区诊断方法、系统、设备及存储介质。

技术介绍

[0002]部级、省级中心、区域级中心以及下属路段监控中心等均可对高速公路球机进行操作，且各中心对球机预置位设置不一，在不同层级部门对球机进行操作后存在没有进行复位的情况。高速公路每个一段距离设置一个球机，若球机被转动且监控区域与之前预设监控区域完全相反，会与相邻近的球机监控区域重叠，造成部分高速公路不能背监控到，形成监控盲区，无法对部分区域的道路运行状况进行监测。现有技术中存在检测拍摄位姿变化的技术方案，利用前后图像中目标参考物轮廓图像的偏移度来判断相机拍摄位置是否发生变化。但是，在高速公路上，受天气(如雨天、雾天)和车流量的影响，轮廓图像会出现识别不清楚的情况，无法准确的判断是否存在监控盲区。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种球机监控盲区诊断方法、系统、设备及存储介质，通过对多级控制的球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，同时监控视频区域的标志物使用特征匹配，判别球机设备是否因为移动造成有监控盲区。
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]第一方面，本专利技术提供了一种球机监控盲区诊断方法，包括下述步骤：
[0006]通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标；
[0007]获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；
[0008]将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区。
[0009]作为优选的技术方案，所述通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标，具体为：
[0010]获取球机正常状态下主监控视频帧图片和多个不同角偏转角度下的视频帧图片；
[0011]使用下采样提取多通道特征图；
[0012]采用立体变换将其他角度的视频帧图片的特征利用单应性变换转换到主监控区域视频帧图片；
[0013]使用3D卷积操作，输出每个深度的概率，求深度的加权平均得到预测的深度信息，利用多个视角的信息对深度进行滤波平滑；
[0014]利用多张图片的重建约束选择正确的深度信息，重建成三维点云。
[0015]作为优选的技术方案，所述采用立体变换将其他角度的视频帧图片的特征利用单应性变换转换到主监控区域视频帧图片，具体为：
[0016]将参考视图经过可微分的单应变换到原视图对应的相机坐标系内来估计参考视图的深度图：根据先验的深度范围信息，以参考视图的主光轴为扫描方向，按照固定的最小深度间隔，经过可微分的单应性变换，得到原视图的视锥体，即原视图的特征经过相机内外参和目标深度d，映射到目标视图中得到不同深度的特征体。
[0017]作为优选的技术方案，所述使用3D卷积操作，输出每个深度的概率，求深度的加权平均得到预测的深度信息，利用多个视角的信息对深度进行滤波平滑，具体为：
[0018]将视锥体通过线性插值到[D,C,h/4,w/4]大小的特征体，N张视图形成N个特征体；
[0019]在N个特征体的基础上，基于方差计算多个特征体的匹配代价；
[0020]基于方差得到的初始特征体有较多噪声，对初始特征体进行正则化，采用编码解码的原理，利用一个3D Unet网络结构得到的特征体将通道C降为1，得到一个维度为[D,h/4,w/4]概率体，在维度D上做softmax，得到每个像素沿深度方向的概率；
[0021]使用求期望的方式估计每个像素点的深度值。
[0022]作为优选的技术方案，所述标检测模型采用PP
‑
yolo模型，PP
‑
yolo网络使用改进的ResNet50
‑
vd结构，并在最后一个阶段使用DCN，头部沿用yolov3的形式，包括一个3
×
3卷积和一个1
×
1卷积；预测map中每个位置预测三个anchor尺寸的目标，每个anchor前K个通道为K个类别的概率，接着4个通道为预测边框坐标，最后一个通道为前景
‑
背景目标得分；交叉熵和L1损失分别用作分类和回归的loss函数；一个前景
‑
背景损失来监督是否为前景；使用训练得到的权重文件对视频帧进行特征提取后，定位到车辆obj在图片中的位置信息坐标、置信度、车辆类型信息，输出检测结果。
[0023]作为优选的技术方案，所述根据路面标志物的2D坐标获取对应的3D点云坐标的步骤中，一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d]的对应关系如下：
[0024]u＝x*f
x z+cx；
[0025]v＝y*f
y z+cy；
[0026]d＝z*s；
[0027]f
x
,f
y
,cx,cy这四个参数定义为相机的内参矩阵C，给定内参之后，每个点的空间位置与像素坐标用矩阵模型来转换：
[0028][0029]作为优选的技术方案，所述将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区，具体为：
[0030]以关键点p为中心R为半径的球体，在对数极坐标系下对3D模型形状和轮廓进行直方图的描述，在框架内，径向划分j次，经度方向划分k次，纬度方向划分l次，每个划分出来的小区域对应于j*k*l个特征向量中的一个元素，权重计算如下：
[0031][0032]其中，V(j,k,l)是小区域的体积，p
i
是小区域周围的局部点密度；
[0033]利用小区域体积的归一化处理，补偿小区域尺寸随半径和纬度改变而产生的巨大变化，通过计数每个小区域的点数的加权总和，计算最终的3D描述符。
[0034]第二方面，本专利技术还提供了一种球机监控盲区诊断系统，应用于所述的球机监控盲区诊断方法，其特征在于，包括3D场景重建模块、路面标志物获取模块和坐标匹配模块；
[0035]所述3D场景重建模块，用于通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标；
[0036]所述路面标志物获取模块，用于获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；...

【技术保护点】

【技术特征摘要】
1.球机监控盲区诊断方法，其特征在于，包括下述步骤：通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标；获取当前监控视频区域的路面标志物视频帧图片，将路面标志物从2D坐标转换为对应的3D点云坐标，具体为：获取当前视频帧图片；使用目标检测模型对路面标志物进行检测，并给出路面标志物的二维坐标；根据路面标志物的2D坐标获取对应的3D点云坐标；将路面标志物的3D点云坐标与重建的三维点云坐标进行匹配，根据匹配度来判断是否存在监控盲区。2.根据权利要求1所述的球机监控盲区诊断方法，其特征在于，所述通过深度学习技术，将球机视频监控中不同监控视角的单张图像进行匹配，实现3D场景重建，重建成三维点云坐标，具体为：获取球机正常状态下主监控视频帧图片和多个不同角偏转角度下的视频帧图片；使用下采样提取多通道特征图；采用立体变换将其他角度的视频帧图片的特征利用单应性变换转换到主监控区域视频帧图片；使用3D卷积操作，输出每个深度的概率，求深度的加权平均得到预测的深度信息，利用多个视角的信息对深度进行滤波平滑；利用多张图片的重建约束选择正确的深度信息，重建成三维点云。3.根据权利要求2所述的球机监控盲区诊断方法，其特征在于，所述采用立体变换将其他角度的视频帧图片的特征利用单应性变换转换到主监控区域视频帧图片，具体为：将参考视图经过可微分的单应变换到原视图对应的相机坐标系内来估计参考视图的深度图：根据先验的深度范围信息，以参考视图的主光轴为扫描方向，按照固定的最小深度间隔，经过可微分的单应性变换，得到原视图的视锥体，即原视图的特征经过相机内外参和目标深度d，映射到目标视图中得到不同深度的特征体。4.根据权利要求2所述的球机监控盲区诊断方法，其特征在于，所述使用3D卷积操作，输出每个深度的概率，求深度的加权平均得到预测的深度信息，利用多个视角的信息对深度进行滤波平滑，具体为：将视锥体通过线性插值到[D,C,h/4,w/4]大小的特征体，N张视图形成N个特征体；在N个特征体的基础上，基于方差计算多个特征体的匹配代价；基于方差得到的初始特征体有较多噪声，对初始特征体进行正则化，采用编码解码的原理，利用一个3D Unet网络结构得到的特征体将通道C降为1，得到一个维度为[D,h/4,w/4]概率体，在维度D上做softmax，得到每个像素沿深度方向的概率；使用求期望的方式估计每个像素点的深度值。5.根据权利要求1所述的球机监控盲区诊断方法，其特征在于，所述标检测模型采用PP
‑
yolo模型，PP
‑
yolo网络使用改进的ResNet50
‑
vd结构，并在最后一个阶段使用DCN，头部沿用yolov3的形式，包括一个3
×
3卷积和一个1
×
1卷积；预测map中每个位置预测三个anchor尺寸的目标，每个anchor前K个通道为K个类别的概率，接着4个通道为预测边框坐标，最后一个通道为...

【专利技术属性】
技术研发人员：吕洪燕，张秀杰，刘电，
申请(专利权)人：广州国交润万交通信息有限公司，
类型：发明
国别省市：