多个单目摄像头下的目标实时跟踪与距离度量系统及方法技术方案

本发明专利技术公开多个单目摄像头下的目标实时跟踪与距离度量系统及方法，所述系统包括：视频读取模块对视频码流进行获取并且将分辨率进行转换生成码流图片，将所述码流图片传入口罩检测模块；口罩检测模块利用训练好的深度学习模型对所述码流图片进行检测，判断目标是否佩戴口罩；传统与深度跟踪模块针对未佩戴口罩的目标检测边框进行处理实现实时准确跟踪；距离计算模块根据每个目标的边框，计算其在俯视图bird_view下的对应边框坐标，来计算不同目标边框之前的距离；信息共享模块将当前摄像头下的每个目标的信息与其他摄像头进行信息共享；报警模块对距离计算模块传输入的报警信息进行判断。本发明专利技术实现了对未带口罩行人在跨摄像头场景下的高精度实时跟踪。像头场景下的高精度实时跟踪。像头场景下的高精度实时跟踪。

【技术实现步骤摘要】
多个单目摄像头下的目标实时跟踪与距离度量系统及方法


[0001]本专利技术涉及一种多个单目摄像头下的目标实时跟踪与距离度量系统及方法，属于视频监控安防


技术介绍

[0002]目标跟踪是计算机视觉研究中的重要组成部分，在监控安防，无人驾驶，精确制导等领域存在巨大的应用需求。在民用领域，由于目标出现时刻、时长存在不确定性，视频监控系统需要长时间、高稳定性地执行工作。正是由于存在上述情况，且人工识别并标记待跟踪目标难以满足实际应用的对跟踪系统的要求，研究替代人工方法的目标跟踪算法具有重要意义。
[0003]使用单个摄像机，将三维世界场景投影到二维透视图像平面，导致物体之间的像素距离不切实际。这被称为透视效应，在这种效应中，我们不能感知到距离在整个图像中的均匀分布。在三维空间中，每个框的中心或参考点与三个参数(x,y,z)相关联，而在从相机接收到的图像中，原来的三维空间被缩减为二维(x,y)，深度参数(z)不可用。在这样一个低维空间中，直接使用欧几里得距离准则来测量人与人之间的距离估计是错误的。
[0004]专利1：《一种深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多个单目摄像头下的目标实时跟踪与距离度量系统，其特征在于，包括：视频读取模块，具体执行：对视频码流进行获取并且将分辨率进行转换生成码流图片，将所述码流图片传入口罩检测模块；口罩检测模块，具体执行：利用训练好的深度学习模型对所述码流图片进行检测，判断目标是否佩戴口罩；传统与深度跟踪模块，具体执行：针对未佩戴口罩的目标检测边框进行处理实现实时准确跟踪；距离计算模块，具体执行：根据每个目标的边框，计算其在俯视图bird_view下的对应边框坐标，来计算不同目标边框之前的距离，一旦小于设定的阈值，则输出报警信息给报警模块；信息共享模块，具体执行：将当前摄像头下的每个目标的信息与其他摄像头进行信息共享，实现跨摄像头跟踪，所述信息包括目标、深度特征、跟踪状态、报警状态；报警模块，具体执行：对距离计算模块传输入的报警信息进行判断，并且决定是否开启报警。2.根据权利要求1所述的多个单目摄像头下的目标实时跟踪与距离度量系统，其特征在于，所述口罩检测模块具体执行：收集大量带口罩和不戴口罩的行人的数据集进行标注，只标注脸部区域，生成标注数据；将标注数据resize到416*416大小，利用基于深度学习的目标检测算法YOLOV4系列进行训练口罩检测算法，得到口罩的检测模型；对码流图片进行检测，得到码流图片中不戴口罩的行人的边框，对不带口罩的边框进行转换，得到不带口罩行人的边框(X,Y,W,H)；具体计算公式如下：X＝x
‑
w*ratio_x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)Y＝y
‑
h*ratio_y1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)W＝w(1+2*ratio_x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)H＝h(1+ratio_y2+ratio_y1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中x,y分别代表不戴口罩脸部边框的左上角点的坐标，w,h分别代表该边框的宽和高；ratio_x、ratio_y1、ratio_y2数值分别为0.25、0.15、2.3。3.根据权利要求1所述的多个单目摄像头下的目标实时跟踪与距离度量系统，其特征在于，所述传统与深度跟踪模块具体执行：构建新型的深度网络模型的得到目标的深度特征，具体包括：搜集reid行人数据集，包括Market1501、Mars、Grid、CHUK共四个数据集，根据Mars的标准，转换成统一的数据集；构建新型的余弦相似度量网络，进行训练，选取最佳的训练模型；将不带口罩的行人边框批量resize到64宽*128高的大小，传进到得到的训练模型，得到该边框的深度网络的64维度的特征；利用传统的视觉方法得到目标的特征，具体包括：调用opencv库中的于SiftDescriptorExtractor函数；通过对边框关键点周围邻域内的像素分块进行梯度运算，得到64维的特征向量B；将分别64维度的特征向量A和B进行融合，得到最终的128维度的目标特征向量C；
利用卡尔曼滤波对目标进行预测，利用得到的特征对检测框与现有的跟踪框进行相似度配对，完成最终的跟踪；一旦匹配成功，则将该边框的特征向量C保存到该目标对应的历史向量集中，以便后续的边框进来与其做余弦相似度的匹配。4.根据权利要求3所述的多个单目摄像头下的目标实时跟踪与距离度量系统，其特征在于，所述利用卡尔曼滤波对目标进行预测，利用得到的特征对检测框与现有的跟踪框进行相似度配对具体包括：卡尔曼滤波是种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法；公式包含如下：其中卡尔曼滤波系统的状态方程和观测方程为：X
K
＝AX
K
‑1+W
K
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)Z
K
＝HZ
K
+V
K
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式中，X
K
表示K时刻系统的状态向量；Z
K
表示K时刻系统的观测向量；A表示状态转移矩阵；H表示观测矩阵；W
K
‑1和V
K
表示高斯白噪声，二者互不相关，均值都为0；由得出的检测框中心点坐标为(d
x
,d
y
)，框的高度与宽度分别为h
i
，w
i
；其运动矢量为(v
x
,v
y
)；则运动物体的运动状态的状态向量为：X＝(d
x
,d
y
,h
i
,w
i
,v
x
,v
y
)
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)选取观测向量Z＝(d
x
,d
y
,h
i
,w
i
)
T
，确定系统的状态转移矩阵与观测矩阵：确定系统的状态转移矩阵与观测矩阵：利用系统离散状态方程和观察方程式即式(8)、式(9)及相应的初始值，根据观测值Z
K
，在均方误差最小的情况下，对当前状态X
K
进行估计修正，从而得到最优估计值，同时根据状态方程预测下一时刻的状态向量，然后再进行修正，如此循环迭代，从而预测出物体在下一帧图像中的位置坐标；利用检测边框的特征向量C和已经确定目标的历史特征向量做余弦相似度的匹配，如果大于设定的阈值，则认为是该目标的边框，否则不是该目标的边框；该阈值选取为0.3；余弦相似度公式如下：
其中，A
i
和B
i
分别代表向量A和B的各分量。5.根据权利要求1所述的多个单目摄像头下的目标实时跟踪与距离度量系统，其特征在于，所述距离计算模块具体执行：在视频画面中，从左上点开始，顺时针选取四个点，这四个点在同一个平面内选取，得到(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)四个点；通过opencv库函数getPerspectiveTransform()得到坐标变换转移矩阵其中，表示线性变换,表示平移变换，产生透视变换；利用坐标变换转移矩阵得到鸟视图下的未带口罩行人的边框坐标，假设正常视频下未带口罩行人的边框坐标(u，v)，俯试图下的未带口罩行人的三维边框坐标(x'，y'，w'),实际二维边框坐标(x，y)为计算公式如下：y)为计算公式如下：在原始画面中选取两点，并且通过公式(11)和公式(12)得到该两点在俯视图下的坐标，计算出该两点之间的距离distance_bird_view(pix)，同时在实际场景中，用尺子测量两点之间的实际距离：distance_real(米)，得到像素距离转换参数根据上述得到的参数λ，得到后续不同目标边框之间的distance_real，一旦该数值大于预先设定距离阈值，则进行报警。6.多个单目摄像头...

【专利技术属性】
技术研发人员：苏晋鹏，曹颂，钟星，
申请(专利权)人：杭州图灵视频科技有限公司，
类型：发明
国别省市：