本发明专利技术公开了一种基于多任务的自监督目标检测方法、系统、装置及介质，其中方法包括：对目标检测数据集图像中的目标生成自监督标签，构建训练集；在目标检测模型上加入针对多尺度目标区分任务和最邻近目标预测任务两个自监督辅助任务的输出模块；根据训练集，通过多任务学习的方式训练目标检测模型；获取待检测图像，使用训练后的目标检测模型对待检测图像进行目标检测，识别出图像中的待检测物体。本发明专利技术通过多尺度目标区分任务和最邻近目标预测任务，使目标检测模型充分学习图像中各个目标之间的大小尺度关系以及目标之间的类别关系，有效提升目标检测模型的识别性能。本发明专利技术可广泛应用于深度学习、计算机视觉技术领域。域。域。
【技术实现步骤摘要】
基于多任务的自监督目标检测方法、系统、装置及介质
[0001]本专利技术涉及深度学习、计算机视觉
，尤其涉及一种基于多任务的自监督目标检测方法、系统、装置及介质。
技术介绍
[0002]随着互联网和多媒体技术的蓬勃发展，图像和视频称为人们日常生活中不可缺少的记录信息的载体。目标检测作为计算机视觉领域中的一个研究热点领域，在监控、交通、智能驾驶和人机互动等领域都有着极为广泛的应用，例如，对于监控系统来说，通过人工的方式对监控画面中出现的行人或车辆进行统计需要耗费大量的时间，而通过目标检测模型可以迅速准确地定位出画面中出现的行人和车辆等物体的位置信息，因此对目标检测技术的研究和推广具有很重要的现实意义。
[0003]现有的基于深度神经网络的目标检测算法可以分为一阶段(One Stage)算法和二阶段(Two Stage)算法：对于一阶段目标检测算法来说，锚框的定位和分类是一次性完成的，典型的一阶段算法包括YOLO、SSD等；二阶段目标检测算法需要分为两步实现，首先需要获取目标区域的候选框，然后再对候选框进行分类并调整候选框的位置参数，常见的二阶段算法包括R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN等。相对于图像分类任务来说，目标检测任务的实现更加复杂，不但需要对图像中的物体类别进行分类，还需要预测物体在图像中的位置和大小，事实上，由于目标检测算法需要完成锚框位置回归和目标类别预测两个子任务，因此目标检测算法也是一种多任务学习方法。r/>[0004]然而现有的目标检测算法仍然存在一定的缺陷：基于监督的目标检测模型性能的提高依赖于使用更多的数据对模型进行训练，而对数据进行人工标注是极为费时费力的过程，因此如何在不需要额外人工标注的条件下进一步提升目标检测模型的检测精度，是目前亟待解决的技术问题。
技术实现思路
[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多任务的自监督目标检测方法、系统、装置及介质。
[0006]本专利技术所采用的技术方案是：
[0007]一种基于多任务的自监督目标检测方法，包括以下步骤：
[0008]对目标检测数据集图像中的目标生成自监督标签，构建训练集；
[0009]在目标检测模型上加入针对多尺度目标区分任务和最邻近目标预测任务两个自监督辅助任务的输出模块；
[0010]根据训练集，通过多任务学习的方式训练目标检测模型；
[0011]获取待检测图像，使用训练后的目标检测模型对待检测图像进行目标检测，识别出图像中的待检测物体。
[0012]进一步地，所述目标检测模型需要同时学习三个任务：目标检测任务、多尺度目标
区分任务和最邻近目标预测任务；
[0013]通过对多尺度目标区分任务的学习，帮助目标检测模型学习到图像中目标之间的大小尺度关系；通过对最邻近目标预测任务的学习，帮助目标检测模型学习到图像中的目标和与之邻近的目标之间的类别关系。
[0014]进一步地，所述对多尺度目标区分任务采用已有的真实锚框标注信息来构造监督信号：
[0015]对于图像x,为图像x中的真实锚框，对于图像x中的锚框用K+1维向量y
s
来表示为多尺度目标区分任务生成的自监督标签；
[0016]如果锚框b周围不存在其他类别锚框，那么y
s
[0]＝1；否则y
s
[0]＝0，并且有：
[0017]y
s
[i]＝S(b')
[0018]式中，i＝1～K，K为待检测目标类别数，S表示锚框b'对应区域的像素面积；锚框b'满足：
[0019][0020]式中，D表示两个锚框中心点之间的距离；对y
s
进行归一化可得：
[0021][0022]对于锚框b来说，其自监督标签y
s
表示该锚框与其周围邻近的各个类别锚框之间的尺度关系，y
s
[i]的值越大，说明类别i对应目标的尺度相对更大，y
s
[i]的值越小，说明类别i对应目标的尺度相对更小。
[0023]进一步地，所述对最邻近目标预测任务采用已有的真实锚框标注信息来构造自监督信号：
[0024]对于图像x，为图像x中的真实锚框，对于锚框最邻近目标预测任务的自监督标签用K+1维向量y
c
来表示；
[0025]如果图像中只存在和b同属一个类别的锚框，那么y
c
[0]＝1；否则y
c
[0]＝0，并且有：
[0026][0027]式中，R为图像x的对角线长度，b'满足：
[0028][0029]对于锚框b来说，其自监督标签y
c
[i]的值越大，说明类别i对应的锚框与锚框b之间的距离越近。
[0030]进一步地，采用多任务损失函数训练所述目标检测模型，以端到端的方式训练目标检测模型。
[0031]进一步地，所述多任务损失函数为各个模块的损失函数的加权和；
[0032]对于多尺度目标区分任务，采用交叉熵损失函数：
[0033][0034]式中，N
b
为候选框生成网络RPN生成的正候选框的个数，表示为第j个正候选框生成的多尺度目标区分任务真实标签，为网络输出的预测值；
[0035]对于最邻近目标预测任务，同样采用交叉熵损失函数：
[0036][0037]式中，表示第j个正候选框的最邻近目标预测任务真实标签，表示网络输出的预测值；
[0038]所述目标检测任务的损失函数为：
[0039]L
main
＝L
rpn
+L
cls
+L
reg
[0040]式中，L
rpn
为RPN网络损失，L
cls
为目标分类损失，L
reg
为边界框回归损失；
[0041]所述目标检测模型的损失函数为：
[0042]L
total
＝L
main
+λ
s
L
s
+λ
c
L
c
[0043]式中，λ
s
和λ
c
为权重值。
[0044]进一步地，所述使用训练后的目标检测模型对待检测图像进行目标检测，包括：
[0045]目标检测任务和两个自监督辅助任务共享ROI池化层的输出特征，在得到ROI池化特征后，针对不同的任务有不同的输出模块；
[0046]其中目标检测任务的输出模块包含两个部分：边框分类以及边框回归，两个辅助任务的输出模块只包含针对辅助任务自监督标签的预测输出层。
[0047]本专利技术所采用的另一技术方案是：
[0048]一种基于多任务的自监督目标检测系统，包括：...
【技术保护点】
【技术特征摘要】
1.一种基于多任务的自监督目标检测方法，其特征在于，包括以下步骤：对目标检测数据集图像中的目标生成自监督标签，构建训练集；在目标检测模型上加入针对多尺度目标区分任务和最邻近目标预测任务两个自监督辅助任务的输出模块；根据训练集，通过多任务学习的方式训练目标检测模型；获取待检测图像，使用训练后的目标检测模型对待检测图像进行目标检测，识别出图像中的待检测物体。2.根据权利要求1所述的一种基于多任务的自监督目标检测方法，其特征在于，所述目标检测模型需要同时学习三个任务：目标检测任务、多尺度目标区分任务和最邻近目标预测任务；通过对多尺度目标区分任务的学习，帮助目标检测模型学习到图像中目标之间的大小尺度关系；通过对最邻近目标预测任务的学习，帮助目标检测模型学习到图像中的目标和与之邻近的目标之间的类别关系。3.根据权利要求2所述的一种基于多任务的自监督目标检测方法，其特征在于，所述对多尺度目标区分任务采用已有的真实锚框标注信息来构造监督信号：对于图像x,为图像x中的真实锚框，对于图像x中的锚框用K+1维向量y
s
来表示为多尺度目标区分任务生成的自监督标签；如果锚框b周围不存在其他类别锚框，那么y
s
[0]＝1；否则y
s
[0]＝0，并且有：y
s
[i]＝S(b')式中，i＝1～K，K为待检测目标类别数，S表示锚框b'对应区域的像素面积；锚框b'满足：式中，D表示两个锚框中心点之间的距离；对y
s
进行归一化可得：对于锚框b来说，其自监督标签y
s
表示该锚框与其周围邻近的各个类别锚框之间的尺度关系，y
s
[i]的值越大，说明类别i对应目标的尺度相对更大，y
s
[i]的值越小，说明类别i对应目标的尺度相对更小。4.根据权利要求2所述的一种基于多任务的自监督目标检测方法，其特征在于，所述对最邻近目标预测任务采用已有的真实锚框标注信息来构造自监督信号：对于图像x，为图像x中的真实锚框，对于锚框最邻近目标预测任务的自监督标签用K+1维向量y
c
来表示；如果图像中只存在和b同属一个类别的锚框，那么y
c
[0]＝1；否则y
c
[0]＝0，并且有：式中，R为图像x的对角线长度，锚框b'满足：
对于锚框b来说，其自监督标签y
c
[i]的值越大，说明类别i对应的锚框与锚框b之间的距离越近。5.根据权利要求2所述的一种基于多任务的自监督目标检测方法，其特征在于，采用多任务损失函数训练所述目标检测模型，以端到端的方式训练目标检测模型。...
【专利技术属性】
技术研发人员：李迎港，孙季丰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。