基于物联网目标监控方法、系统、电子设备以及存储介质技术方案

本发明专利技术实施例公开了基于物联网目标监控方法、系统、电子设备以及存储介质，通过摄像头采集当前区域的包含目标的视频信息并进行预处理得到含目标的图像特征信息；采用多尺度级联改进GhostNet特征网络进行特征提取，进行空间定位与特征泛化增强处理得到增强后的红外特征；通过金字塔预测网络并通过DeepSORT网络，利用红外锚框、类别与置信度信息，实现目标跟踪检测；通过目标的多个位置的信息生成轨迹信息，预测目标对象出现在下一个摄像头所在的监控区域内。提高模型特征提取完整度，提高了跟踪检测精度，提高了红外弱光场景下目标跟踪检测性能，减少人力，缓解监控人员视觉疲劳，更容易及时发现目标，更加关注细节。更加关注细节。更加关注细节。

【技术实现步骤摘要】
基于物联网目标监控方法、系统、电子设备以及存储介质


[0001]本公开涉及监控
，尤其涉及一种基于物联网目标监控方法、系统、电子设备以及存储介质。

技术介绍

[0002]在安防与监控领域中，一般通过众多的监控设备将视频流通过网络实时传输到监控室中，由监控人员进行观察，因需要长时间紧盯多个监控屏幕，耗费较多人力，且极易产生视觉疲劳，很难及时发现敏感目标，且极易遗漏各种细节。
[0003]现在监控红外光成像的检测方法，利用红外光辐射波基于物联网目标监控段长、成像鲁棒性高的特点，能够弥补可见光成像敏感目标的不足。对红外场景中的目标跟踪检测，主要分为传统跟踪方法与基于深度学习的目标跟踪方基于物联网目标监控法，其中传统目标跟踪方法主要采用帧差法、轨迹关联，或利用卡尔曼滤波预测等方法，但无法有效识别异物目标语义且存基于物联网目标监控在检测鲁棒性差的问题，现有深度学习异物跟踪检测算法，易受复杂环境、目标遮挡等影响，导致模型特征提取不充分，影响跟踪检测精度，甚至出现断检、漏检的问题。

技术实现思路

[0004]提供该公开内容部分以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物联网目标监控方法，其特征在于，所述方法包括：通过摄像头采集当前区域的包含目标的视频信息并进行预处理得到含目标的图像特征信息；采用多尺度级联改进GHOSTNET特征网络对含目标的红外特征信息图像进行目标红外特征提取；结合异物空间坐标与边缘纹理形态信息，对提取后的特征进行空间定位与特征泛化增强处理得到增强后的红外特征；通过金字塔预测网络并通过改进类别置信传递的DEEPSORT网络，利用红外锚框、类别与置信度信息，实现目标跟踪检测；通过目标的多个位置的信息生成轨迹信息确定目标对象当前的位置信息，预测目标对象出现在下一个摄像头所在的监控区域内。2.根据权利要求1所述的方法，其特征在于，所述采用多尺度级联改进GhostNet特征网络对含目标的红外特征信息图像进行目标红外特征提取，包括：采用卷积核对输入含目标的图像红外特征图进行卷积操作,生成本征红外特征图，卷积变换过程可表示为H
′
＝H*f其中，f为卷积，H为含目标的红外特征图，H
′
为红外特征图，*为卷积计算；利用Ghost模块对本征红外特征图中的特征图进行线性变换得到特征子图，线性变换公式可表示为其中，H
′
i
为本征红外特征F
′
中的第i特征图，为线性变换，H
″
i,j
为第j特征子图，特征子图集合为Ghost红外特征图H
″
；通过线性变换得到Ghost特征图与恒等变换得到的本征红外特征进行多尺度级联结构与双线性上采样叠加，综合不同尺度下红外特征及语义信息，保留红外图像中目标局部细节的渐变关系，得到红外特征H
Ghost
。3.根据权利要求2所述的方法，其特征在于，所述结合异物空间坐标与边缘纹理形态信息，对采样增强后的特征进行空间定位与特征泛化增强处理得到增强后的红外特征，包括：对红外特征H
Ghost
进行自适应平均池化处理得到水平与垂直方向的通道特征；对水平与垂直方向的通道特征通过特征拼接操作，结合权重共享的卷积与ReLU函数激活得到权重共享红外特征；对中间权重共享红外特征进行分离操作得到水平、垂直方向的特征向量，通过Sigmoid激活得到坐标定位增强注意力权重；将红外特征H
Ghost
输入空间定位网络通过卷积神经网络中定位函数得到回归参数ηη＝f
loc
(P
Ghost
)其中，f
loc
为卷积神经网络中定位函数，η为回归参数；通过回归参数η对红外特征P
Ghost
中采样点坐标进行仿射变换输出红外像素坐标并定义至网格，其中输入、输出红外坐标像素间变换关系为
其中，为红外特征P
Ghost
中采样点横坐标，为红外特征F
Ghost
中采样点纵坐标，为输出红外像素横坐标，为出红外像素纵坐标，pix为红外特征中坐标像素数量，(η
12
，η
21
)为旋转参数，(η
13
，η
23
)为平移参数，(η
11
，η
22
)为缩放参数，P
η
为包含仿射变换关系的映射矩阵；将生成网格和红外级联增强特征H
Ghost
结合采用采样计算形态泛化增强的红外特征；将坐标增强权重与红外泛化特征相乘，得到增强后的红外特征。4.根据权利要求3所述的方法，其特征在于，所述通过金字塔预测网络并通过改进类别置信传递的DeepSORT网络，利用红外锚框、类别与置信度信息，实现目标跟踪检测，包括：在完成空间定位与特征泛化增强后目标特征利用金字塔检测网络对监控场景中的近远景红外目标进行锚框范围、类别与置信度预测；通过目标框回归函数计算红外目标长宽比，对输入目标真实锚框区域的信息进行训练，对红外目标锚框范围的进行预测Loss＝Loss
loc
+Loss
conf
+Loss
clsclscls
其中，Loss为损失函数，Loss
loc
为定位预测损失，Loss
conf
为置信度损失，Loss
cls
为类别损失，K2为网格数量，U为先验框数量，第p个网格中第q个先验框中存在红外目标则值
为1，否则为0，IOU为红外目标真实框与预测框的交并比，b
pre
和b
gt
为预测框和真实框的中心点，ρ2(b
pre
，b
gt
)为b
pre
和b
gt
之间的欧氏距离，c
diag
为红外目标真实框与预测框交并矩形区间的对角线长度，w
gt
和h
gt
，w
pre
和h
pre
分别为真实框与预测框的宽和高，和为预测框与真实框的置信度，λ
noobj
为网格内无目标的权重系数，第p个网格中第q个先验框中不存在红外目标，则值为1，否则为0，与为预测框与真实框中的红外目标属于对应训练目标类别的概率；跟踪器通过马氏距离描述标准卡尔曼滤波器预测结果与检测器结果之间运动状态的关联程度，得到红外目标运动信息匹配，直接观测检测框参数作为红外目标状态值其中，d
j
与y
i
分别为第j个红外目标检测框与第i个轨迹预测边界框，d
(1)
(i，j)为d
j
和y
i
之间的马氏距离，Q
i
为检测状态结果与平均追踪结果之间的协方差矩阵；对各检测框d
j
计算外观特征描述符r
j
，计算最小余弦距离，衡量不同红外目标间的外观差异其中，初始化|r
j
|＝1，r
(i)
为第i个轨迹预测边界框对应的外观描述符，V
i
为外观描述存储库；通过线性加权马氏距离d
(1)
(i，j)与最小余弦度量d
(2)
(i，j)，计算第j个红外目标检测框与第i个轨迹的关联程度l
i，j
l
i，j
＝λd
(1)
(i，j)+(1
‑
λ)d
(2)
(i，j)其中，λ为权重系数；通过不同红外目标检测框和不同轨迹的关联程度，确定目标进行跟踪检测。5.一种基于物联网目标监控系统，其特征在于，所述系统包括：预处理单元，通过摄像头采集当前区域的包含目标的视频信息并进行预处理得到含目标的图像特征信息；特征提取单元，采用多尺度级联改进GhostNet特征网络对含目标的红外特征信息图像进行目标红外特征提取；...

【专利技术属性】
技术研发人员：王蒙蒙，
申请(专利权)人：太原市徒普斯网络科技有限公司，
类型：发明
国别省市：