一种实时监控高空抛物的方法和装置、存储介质制造方法及图纸

一种实时监控高空抛物的方法和装置、存储介质，其中方法包括：对当前帧监控图像进行前景目标检测；对由上一帧监控图像更新得到的轨迹群中的轨迹点用卡尔曼滤波预测其在当前帧图像中的预测轨迹点；将前景目标和预测轨迹点进行匹配；根据匹配结果更新轨迹群，其中对于连续预定帧数都未被匹配到的轨迹点进行移除；在判断高空抛物时，只有匹配次数达到匹配次数阈值的轨迹点会判断其是否为高空抛物，当该轨迹点的位置满足预设条件时才判断其为高空抛物，通过以上措施有效地减小了误检框的影响，降低对前景目标检测精度的要求，在有误检框的情况下仍可完成高空抛物的检测，场景的通用性更好。更好。更好。

【技术实现步骤摘要】
一种实时监控高空抛物的方法和装置、存储介质


[0001]本专利技术涉及机器视觉领域，具体涉及一种实时监控高空抛物的方法和装置、存储介质。

技术介绍

[0002]随着城市的发展，越来越多的高层建筑出现在城市中，随之而来的高空抛物行为也越来越受到社会的关注。由于高空抛物具有较大的危险性，因此有必要采用监控视频，利用机器视觉检测的方式进行实时监控。
[0003]利用机器视觉检测高空抛物时，首先需要检测图像中的前景目标，现有的高空抛物检测技术，大多对前景检测的精度要求较高，若有误检框等则很难有效检测出高空抛物，对场景的理想化需求太高导致无法进行实际应用。

技术实现思路

[0004]本专利技术提供一种实时监控高空抛物的方法和装置、存储介质，旨在降低对前景目标检测精度的要求，以解决现有技术有误检框时则很难有效检测出高空抛物的问题。
[0005]根据第一方面，一种实施例中提供一种实时监控高空抛物的方法，包括：
[0006]获取当前帧监控图像；
[0007]对当前帧监控图像进行前景目标检测，获得前景目标；
[0008]对由上一帧监控图像更新得到的轨迹群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到预测轨迹点；
[0009]将所述前景目标和所述预测轨迹点进行匹配；
[0010]根据匹配结果更新所述轨迹群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的预测轨迹点进行更新，用更新后的预测轨迹点更新原轨迹点；将未匹配到的前景目标作为新的轨迹点加入到所述轨迹群中；移除所述轨迹群中连续预定帧数都未被匹配到的轨迹点；其中轨迹点被匹配到是指对应的预测轨迹点匹配到了前景目标；
[0011]若被匹配到的轨迹点中，存在匹配次数达到预设的匹配次数阈值的轨迹点，则判断该轨迹点的位置是否满足预设条件，若满足预设条件则判断该轨迹点对应的物体为高空抛物。
[0012]一种实施例中，所述对当前帧监控图像进行前景目标检测，获得前景目标，包括：
[0013]预先创建一混合高斯模型；
[0014]对所述当前帧监控图像进行灰度化，经过高斯模糊后代入所述混合高斯模型中，获得初步的前景目标；
[0015]对所述初步的前景目标进行轮廓提取，对大于预设的最小面积的轮廓获得其直角矩形，将该直角矩形作为前景目标。
[0016]一种实施例中，所述轨迹群包括第一轨迹子群和第二轨迹子群，所述第一轨迹子
群由激活态的轨迹点组成，所述第二轨迹子群由未激活态的轨迹点组成，当未匹配到的前景目标作为新的轨迹点加入到所述轨迹群中时，其为未激活态的轨迹点，当未激活态的轨迹点被匹配到时则转化为激活态的轨迹点；
[0017]所述对由上一帧监控图像更新得到的轨迹群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到预测轨迹点，将所述前景目标和所述预测轨迹点进行匹配，根据匹配结果更新所述轨迹群，具体包括：
[0018]对由上一帧监控图像更新得到的第一轨迹子群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到第一预测轨迹点，对由上一帧监控图像更新得到的第二轨迹子群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到第二预测轨迹点；
[0019]将所述前景目标和所述第一预测轨迹点进行匹配；
[0020]根据匹配结果更新所述第一轨迹子群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的第一预测轨迹点进行更新，用更新后的第一预测轨迹点更新原轨迹点；将未被匹配到的轨迹点设置为lost状态，移除lost状态中连续第一预定帧数仍未被匹配到的轨迹点；
[0021]将未和所述第一预测轨迹点匹配到的前景目标与所述第二预测轨迹点进行匹配；
[0022]根据匹配结果更新所述第一轨迹子群和所述第二轨迹子群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的第二预测轨迹点进行更新，用更新后的第二预测轨迹点更新原轨迹点，然后将该轨迹点转化为激活态，加入到所述第一轨迹子群中；将未匹配到的前景目标作为新的轨迹点加入到所述第二轨迹子群中；移除所述第二轨迹子群中未被匹配到的轨迹点。
[0023]一种实施例中，使用匈牙利匹配算法进行前景目标和预测轨迹点之间的匹配。
[0024]一种实施例中，使用1
‑
IOU作为匈牙利匹配算法的代价矩阵。
[0025]一种实施例中，所述判断该轨迹点的位置是否满足预设条件，若满足预设条件则判断该轨迹点对应的物体为高空抛物，包括：
[0026]计算该轨迹点的中心点与该轨迹点的初始状态中心点的距离值distance，其中初始状态中心点指该轨迹点第一次出现时的中心点；
[0027]判断该轨迹点是否连续第二预定帧数保持激活态，若是则判断其当前帧的距离值distance是否大于上一帧的距离值distance；
[0028]若当前帧的距离值distance大于上一帧的距离值distance，则计算该轨迹点的轨迹向量与基准向量之间的相似度，判断相似度是否大于预设的相似度阈值，其中轨迹向量是由初始状态中心点到当前帧的中心点的向量，基准向量的方向与图像Y轴方向平行，长度为由初始状态中心点到当前帧的中心点的垂直距离；
[0029]若轨迹向量与基准向量之间的相似度大于预设的相似度阈值，则判断该轨迹点当前帧的距离值distance是否大于预设的最小距离，若是则判断该轨迹点对应的物体为高空抛物。
[0030]一种实施例中，所述相似度为余弦距离，余弦距离的计算公式为：
[0031][0032]其中a表示轨迹向量，b表示基准向量，||
·
||表示向量的模长。
[0033]根据第二方面，一种实施例中提供一种实时监控高空抛物的装置，包括：
[0034]图像获取模块，用于获取当前帧监控图像；
[0035]前景目标检测模块，用于对当前帧监控图像进行前景目标检测，获得前景目标；
[0036]轨迹点预测模块，用于对由上一帧监控图像更新得到的轨迹群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到预测轨迹点；
[0037]匹配模块，用于将所述前景目标和所述预测轨迹点进行匹配；
[0038]轨迹群更新模块，用于根据匹配结果更新所述轨迹群，具体用于：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的预测轨迹点进行更新，用更新后的预测轨迹点更新原轨迹点；将未匹配到的前景目标作为新的轨迹点加入到所述轨迹群中；移除所述轨迹群中连续预定帧数都未被匹配到的轨迹点；其中轨迹点被匹配到是指对应的预测轨迹点匹配到了前景目标；
[0039]高空抛物判断模块，用于判断被匹配到的轨迹点中，是否存在匹配次数达到预设的匹配次数阈值的轨迹点，若存在则判断该轨迹点的位置是否满足预设条件，若满足预设条件则判断该轨迹点对应的物体为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时监控高空抛物的方法，其特征在于，包括：获取当前帧监控图像；对当前帧监控图像进行前景目标检测，获得前景目标；对由上一帧监控图像更新得到的轨迹群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到预测轨迹点；将所述前景目标和所述预测轨迹点进行匹配；根据匹配结果更新所述轨迹群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的预测轨迹点进行更新，用更新后的预测轨迹点更新原轨迹点；将未匹配到的前景目标作为新的轨迹点加入到所述轨迹群中；移除所述轨迹群中连续预定帧数都未被匹配到的轨迹点；其中轨迹点被匹配到是指对应的预测轨迹点匹配到了前景目标；若被匹配到的轨迹点中，存在匹配次数达到预设的匹配次数阈值的轨迹点，则判断该轨迹点的位置是否满足预设条件，若满足预设条件则判断该轨迹点对应的物体为高空抛物。2.如权利要求1所述的方法，其特征在于，所述对当前帧监控图像进行前景目标检测，获得前景目标，包括：预先创建一混合高斯模型；对所述当前帧监控图像进行灰度化，经过高斯模糊后代入所述混合高斯模型中，获得初步的前景目标；对所述初步的前景目标进行轮廓提取，对大于预设的最小面积的轮廓获得其直角矩形，将该直角矩形作为前景目标。3.如权利要求1所述的方法，其特征在于，所述轨迹群包括第一轨迹子群和第二轨迹子群，所述第一轨迹子群由激活态的轨迹点组成，所述第二轨迹子群由未激活态的轨迹点组成，当未匹配到的前景目标作为新的轨迹点加入到所述轨迹群中时，其为未激活态的轨迹点，当未激活态的轨迹点被匹配到时则转化为激活态的轨迹点；所述对由上一帧监控图像更新得到的轨迹群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到预测轨迹点，将所述前景目标和所述预测轨迹点进行匹配，根据匹配结果更新所述轨迹群，具体包括：对由上一帧监控图像更新得到的第一轨迹子群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到第一预测轨迹点，对由上一帧监控图像更新得到的第二轨迹子群中的轨迹点使用卡尔曼滤波预测其在当前帧图像中的位置，得到第二预测轨迹点；将所述前景目标和所述第一预测轨迹点进行匹配；根据匹配结果更新所述第一轨迹子群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的第一预测轨迹点进行更新，用更新后的第一预测轨迹点更新原轨迹点；将未被匹配到的轨迹点设置为lost状态，移除lost状态中连续第一预定帧数仍未被匹配到的轨迹点；将未和所述第一预测轨迹点匹配到的前景目标与所述第二预测轨迹点进行匹配；根据匹配结果更新所述第一轨迹子群和所述第二轨迹子群，包括：对于被匹配到的轨迹点，将其匹配次数增加一，使用卡尔曼滤波用匹配到的前景目标对相应的第二预测轨迹
点进行更新，用更新后的第二预测轨迹点更新原轨迹点，然后将该轨迹点转化为激活态，加入到所述第一轨迹子群中；将未匹配到的前景目标作为新的轨迹点加入到所述第二轨迹子群中；移除所述第二轨迹子群中未被匹配到的轨迹点。4.如权利要求1至3中任一项所述的方法，其特征在于，使用匈牙利匹配算法进行前景目标和预测轨迹点之间的匹配。5.如权利要求4所述的方法，其特征在于，使用1
‑
IOU作为匈牙利匹配算法的代价矩阵。6.如权利要求1所述的方法，其特征在于，所述判断该轨迹点的位置是否满足预设条件，若满足预设条件则判断该轨迹点对应的物体为高空抛物，包括：计算该轨迹点的中心点与该轨迹点的初始状态中心点的距离值distance，其中初始状态中心点指该轨迹点第一次出现时的中心点；判断该轨迹点是否连续第二预定帧数保持激活态，若是则判断其当前帧的距离值distance是否大于上一...

【专利技术属性】
技术研发人员：石拓，俞俊程，朱子赫，
申请(专利权)人：深圳力维智联技术有限公司，
类型：发明
国别省市：