目标实时检测方法、系统及介质技术方案

本发明专利技术提供了一种目标实时检测方法、系统及介质，所述目标包括车辆或行人中的一种，所述方法包括：获取当前目标的监控数据信息，所述当前目标的监控数据的类型包括视频数据或图片帧；根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析；根据分析结果判断所述当前目标是否在行驶危险区域；根据判断结果执行对应的操作，本发明专利技术创新性地将前背景知识蒸馏和自适应动态loss权重相结合，使得蒸馏的结果更加准确，检测的速度更快，且本发明专利技术目标实时检测方法优于很多传统的知识蒸馏法，检测结果也比传统方法精确很多，漏检率大大降低。低。低。

【技术实现步骤摘要】
目标实时检测方法、系统及介质


[0001]本专利技术涉及车辆行人检测
，尤其涉及一种基于自适应动态前背景知识蒸馏的目标实时检测方法、系统及介质。

技术介绍

[0002]无人驾驶是近年来火热的研究领域之一，其融合了很多目前高精尖的智能技术。无人驾驶最关键的问题是要保障行驶过程足够安全，因此车辆需要准确且高效地感知周围环境，对环境变化能做出迅速响应，尤其是对行人、车辆以及周围障碍物和标志物。而这些关键问题就可以利用目标检测技术来解决，通过车载摄像头以及各图像传感器采集环境信息，让汽车的“大脑”知道周围有什么物体，距离多近等等，以便做出下一步判断。

技术实现思路

[0003]本专利技术的主要目的在于提供一种基于自适应动态前背景知识蒸馏的目标实时检测方法、系统及介质，旨在提升车辆行人实时检测精度，降低漏检率。
[0004]为了达到上述目的，本专利技术提出一种目标实时检测方法，所述目标包括车辆或行人中的一种，所述方法包括以下步骤：
[0005]步骤S10，获取当前目标的监控数据信息，所述当前目标的监控数据的类型包括视频数据或图片帧；
[0006]步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析；
[0007]步骤S30，根据分析结果判断所述当前目标是否在行驶危险区域；
[0008]步骤S40，根据判断结果执行对应的操作。
[0009]本专利技术进一步的技术方案是，所述步骤S40，根据判断结果执行对应的操作的步骤包括：
[0010]步骤S401，若所述当前目标是否在行驶危险区域，则进行车辆报警；
[0011]步骤S402，输出所述当前目标的检测结果；
[0012]步骤S403，若所述当前目标是否在行驶危险区域，则直接输出所述当前目标的检测结果。
[0013]本专利技术进一步的技术方案是，所述步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析的步骤包括：
[0014]S201，若所述当前目标的监控数据的类型为视频数据，则使用Gstreamer对视频流进行编解码操作，并通过OpenCV中cap＝cv2.VideoCapture()和cap.read()方法，一帧一帧地读取视频并提取图像帧；
[0015]步骤S202，将所述图像帧送入预先结合前背景知识蒸馏和自适应动态loss权重建
立的目标检测模型执行推理，对所述当前目标进行检测并进行分析。
[0016]本专利技术进一步的技术方案是，所述步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析的步骤还包括：
[0017]若所述当前目标的监控数据的类型为图像帧，则直接执行所述步骤S202，将所述图像帧送入预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析。
[0018]本专利技术进一步的技术方案是，所述步骤S30，根据分析结果判断所述当前目标是否在行驶危险区域的步骤包括：
[0019]步骤S301，若所述当前目标出现在车辆行驶前方且所述当前目标的像素值大于第一预设值，或所述当前目标出现在车辆行驶两侧且所述当前目标的像素值大于第二预设值，则判断所述当前目标在行驶危险区域。
[0020]本专利技术进一步的技术方案是，所述步骤S10，获取当前目标的监控数据信息的步骤之前包括：
[0021]步骤S00，预先结合前背景知识蒸馏和自适应动态loss权重建立目标检测模型。
[0022]本专利技术进一步的技术方案是，所述步骤S00，预先结合前背景知识蒸馏和自适应动态loss权重建立目标检测模型的步骤包括：
[0023]选择从目标检测网络的Neck部分，利用ground
‑
truth掩码将提取出的特征分割出前景相关特征和背景相关特征，并在teacher和student之间选用L2 Loss使得teacher的知识有效传递给student，对于给定尺寸为H
×
W大小的中间特征，首先根据ground
‑
truth生成一个二进制掩码M：
[0024]M
i，j
＝1[(i，j)∈B]ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0025]其中B是ground
‑
truth，M∈{0，1}
H
×
W
，位置(i，j)的值为1表示它属于前景，为0则表示背景；通过生成二进制掩码M，我们可以知道每个位置是属于前景还是背景，之后可以用来解耦neck的前背景特征；
[0026]这里我们假设T∈R
H
×
W
×
C
和S∈R
H
×
W
×
C
分别为学生和教师的中间特征，则中间特征的蒸馏损失为：
[0027][0028][0029][0030]其中：
[0031]H、W和C分别表示特征图的高、宽和通道个数；
[0032]M表示生成的二进制掩码：
[0033]N
obj
表示前景区域的元素个数；
[0034]N
bg
表示背景区域的元素个数；
[0035]公式(3)表示前景区域中正样本元素个数；
[0036]公式(4)表示背景区域中负样本元素个数；
[0037]φ表示自适应层，用来控制Teacher和Student产生相同尺度特征图；
[0038]α
obj
表示前景区域蒸馏损失函数的权重；
[0039]α
bg
表示背景区域蒸馏损失函数的权重；
[0040]公式(2)表示中间特征的蒸馏损失；
[0041]这样，我们就通过基于mask的方式，将teacher和student网络中的特征图分成了前景区域和背景区域，并分别通过α
obj
和α
bg
配以不同的权重，用来控制前背景蒸馏知识的比重是多少；最终的总loss如下所示：
[0042]L＝α
obj
L
obj
+α
bg
L
bg
+βL
cls
+λL
reg
ꢀꢀꢀꢀꢀ
(5)
[0043]其中：
[0044]L
obj
、L
bg
、L
cls
和L
reg
分别表示前景蒸馏loss、背景蒸馏loss、分类loss和回归loss；
[0045]α
obj
...

【技术保护点】

【技术特征摘要】
1.一种目标实时检测方法，其特征在于，所述目标包括车辆或行人中的一种，所述方法包括以下步骤：步骤S10，获取当前目标的监控数据信息，所述当前目标的监控数据的类型包括视频数据或图片帧；步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析；步骤S30，根据分析结果判断所述当前目标是否在行驶危险区域；步骤S40，根据判断结果执行对应的操作。2.根据权利要求1所述的目标实时检测方法，其特征在于，所述步骤S40，根据判断结果执行对应的操作的步骤包括：步骤S401，若所述当前目标是否在行驶危险区域，则进行车辆报警；步骤S402，输出所述当前目标的检测结果；步骤S403，若所述当前目标是否在行驶危险区域，则直接输出所述当前目标的检测结果。3.根据权利要求1所述的目标实时检测方法，其特征在于，所述步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析的步骤包括：S201，若所述当前目标的监控数据的类型为视频数据，则使用Gstreamer对视频流进行编解码操作，并通过OpenCV中cap＝cv2.VideoCapture()和cap.read()方法，一帧一帧地读取视频并提取图像帧；步骤S202，将所述图像帧送入预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析。4.根据权利要求3所述的目标实时检测方法，其特征在于，所述步骤S20，根据所述当前目标的监控数据的类型，以及预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析的步骤还包括：若所述当前目标的监控数据的类型为图像帧，则直接执行所述步骤S202，将所述图像帧送入预先结合前背景知识蒸馏和自适应动态loss权重建立的目标检测模型执行推理，对所述当前目标进行检测并进行分析。5.根据权利要求4所述的目标实时检测方法，其特征在于，所述步骤S30，根据分析结果判断所述当前目标是否在行驶危险区域的步骤包括：步骤S301，若所述当前目标出现在车辆行驶前方且所述当前目标的像素值大于第一预设值，或所述当前目标出现在车辆行驶两侧且所述当前目标的像素值大于第二预设值，则判断所述当前目标在行驶危险区域。6.根据权利要求1所述的目标实时检测方法，其特征在于，所述步骤S10，获取当前目标的监控数据信息的步骤之前包括：步骤S00，预先结合前背景知识蒸馏和自适应动态loss权重建立目标检测模型。7.根据权利要求6所述的目标实时检测方法，其特征在于，所述步骤S00，预先结合前背景知识蒸馏和自适应动态loss权重建立目标检测模型的步骤包括：选择从目标检测网络的Neck部分，利用ground
‑
truth掩码将提取出的特征分割出前景
相关特征和背景相关特征，并在teacher和student之间选用L2 Loss使得teacher的知识有效传递给student，对于给定尺寸为H
×
W大小的中间特征，首先根据ground
‑
truth生成一个二进制掩码M：M
ij
＝1[(i，j)∈B]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中B是ground
‑
truth，M∈{0，1}
H
×
W
，位置(i，j)的值为1表示它属于前景，为0则表示背景；通过生成二进制掩码M，我们可以知道每个位置是属于前景还是背景，之后可以用来解耦neck的前背景特征；这里我们假设T∈R
...

【专利技术属性】
技术研发人员：王旭，徐勇，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：