基于图结构的目标检测方法及电子设备技术

本发明专利技术涉及一种基于图结构的目标检测方法及电子设备，包括：步骤S1：获取待检测图像；步骤S2：通过改进的知识蒸馏方法来构建基于图结构的目标检测网络，其中，所述改进的知识蒸馏方法为：通过图结构法对所述教师模型进行蒸馏得到学生模型，所述教师模型通过预设图像数据集训练得到，所述学生模型为基于图结构的目标检测网络；步骤S3：通过所述基于图结构的目标检测网络检测所述待检测图像中的目标。本发明专利技术解决了现有知识蒸馏方法中提炼特征知识的信息不丰富的问题，本发明专利技术的知识蒸馏方法能够有效提高学生模型在目标检测中的性能。有效提高学生模型在目标检测中的性能。有效提高学生模型在目标检测中的性能。

【技术实现步骤摘要】
基于图结构的目标检测方法及电子设备


[0001]本专利技术涉及目标检测
，尤其是指一种基于图结构的目标检测方法及电子设备。

技术介绍

[0002]随着计算机技术的发展，基于深度学习的检测方法变得更加准确、更快。与此同时，强大的探测器也带来了更大的计算需求。模型压缩方法成为研究的另一个关键方向。知识蒸馏是一种通过提高较小模型的能力来减少计算资源需求的有效方法。通常，它是关于将指导性知识从一个预先训练过的模型(教师)转移到一个较小的模型(学生)。然而，大多数蒸馏方法侧重于图像分类任务。将分类蒸馏方法直接转移到目标检测任务中仍然是一个挑战。在目标检测过程中，由于检测器的性质，教师模型和学生模型不能预测相同的目标建议，教师的实例特征与学生的实例特征不一致。除此之外，将预测多个正数和负数实例，同时负实例的数量远远超过正实例。如果简单地选择所有实例进行蒸馏，则一些复杂的实例信息会被忽略，学生模型的有效性不会进一步提高。因此，需要设计一种新的选择机制，通过选择有效的实例来指导学生模型。

技术实现思路

[0003]为此，本专利技术所要解决的技术问题在于克服现有技术中在对教师模型进行知识蒸馏时，图像中一些复杂的实例信息会被忽略掉，并且学生模型有效性不高的问题。
[0004]为解决上述技术问题，本专利技术提供了一种基于图结构的目标检测方法，包括：
[0005]步骤S1：获取待检测图像；
[0006]步骤S2：通过改进的知识蒸馏方法来构建基于图结构的目标检测网络，其中，所述改进的知识蒸馏方法为：通过图结构法对所述教师模型进行蒸馏得到学生模型，所述教师模型通过预设图像数据集训练得到，所述学生模型为基于图结构的目标检测网络；
[0007]所述步骤S2中的图结构法具体为：基于所述教师模型中检测到的实例来构造图结构，包括：
[0008]步骤S21:构建实例特征之间的相似性，并构建实例位置之间的像素级距离关系；
[0009]步骤S22:将所述实例特征之间的相似性和实例位置之间的像素级距离关系进行相乘得到实例权重；
[0010]步骤S23:筛选出所述实例权重高于预设权重的实例，以形成所述图结构；
[0011]步骤S3：通过所述基于图结构的目标检测网络检测所述待检测图像中的目标。
[0012]在本专利技术的一个实施例中，所述步骤S2中的图结构满足的公式为：G＝(N,E)，其中，N和E分别表示蒸馏时图像中的节点集和边集，所述节点集N包括区域节点N
r
和类节点N
c
，每个所述类节点N
c
，对应图像中的实例；每个所述区域节点N
r
对应图像中的实例位置；所述边集E包括区域节点N
r
之间边集、以及类节点N
c
之间边集。
[0013]在本专利技术的一个实施例中，所述步骤S21中构建实例特征之间的相似性，公式为：
[0014]E
c
(V
p
,V
q
)＝sim(V
p
,V
q
)
[0015]其中，sim表示相似性，V
p
、V
q
表示教师模型不同实例的特征向量。
[0016]在本专利技术的一个实施例中，所述步骤S21中构建实例位置之间的像素级距离关系，公式为：
[0017]E
r
(V
p
,V
q
)＝dist(Coordinate(V
p
),Coordinate(V
q
))
[0018]其中，dist表示距离，Coordinate表示实例中心点的坐标，V
p
、V
q
表示教师模型不同实例的特征向量，X1、Y1分别是V
p
代表的实例中心点的横纵坐标，X2、Y2分别是V
q
代表的实例中心点的横纵坐标。
[0019]在本专利技术的一个实施例中，所述步骤S2中对所述教师模型进行蒸馏得到学生模型时，还通过实例选择法从蒸馏的图像中选择实例对学生模型进行训练。
[0020]在本专利技术的一个实施例中，所述步骤S2中实例选择法的公式为：
[0021][0022][0023]ALSI＝NMS(P
ALSI
,B
ALSI
)
[0024]其中，P
t
和P
s
表示教师模型和学生模型的概率分数，δ
Pt
表示教师模型得分的标准差，P
ALSI
表示P
t
和P
s
减法后的平均值，B
t
和B
s
表示相应的建议框，B
ALSI
表示选定的建议框，α表示超参数，用于控制实例的数量，删除高不确定性的实例；NMS表示非最大抑制；ALSI表示实例选择结果。
[0025]在本专利技术的一个实施例中，所述步骤S2中学生模型的整体损失公式为：L＝L
D
+λ
f
L
F
+λ
g
L
G
，其中，L
D
表示目标检测损失；L
F
表示特征蒸馏中教师模型输出特征与学生模型输出特征的损失(即特征蒸馏中教师模型中骨干网络输出与学生模型中骨干网络输出之间的损失)；L
G
表示图蒸馏损失，由图结构中的节点损失和图结构中的图边损失构成；λ
f
、λ
g
用于平衡蒸馏的贡献。
[0026]在本专利技术的一个实施例中，所述图蒸馏损失L
G
的公式为：其中，λ1和λ2表示蒸馏损失中用于进行平衡的惩罚系数，L
V
表示图结构中的节点损失，L
E
表示图结构中的图边损失，K表示实例个数，表示教师模型t的第i个实例的节点，表示学生模型s的第i个实例的节点，表示教师模型t的第i个实例和第j个实例之间的边，表示学生模型s的第i个实例和第j个实例之间的边。
[0027]本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图结构的目标检测方法的步骤。
[0028]本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于图结构的目标检测方法的步骤。
[0029]本专利技术的上述技术方案相比现有技术具有以下优点：
[0030]本专利技术所述的基于图结构的目标检测方法，其设计了一种基于主动学习策略的选择机制，通过选择有效的实例来指导学生模型，解决了简单地选择所有实例进行蒸馏，则一些复杂的实例信息会被忽略，学生模型的有效性不会进一步提高的问题；
[0031]本专利技术所述的基于图结构的目标检测方法，其设计了一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图结构的目标检测方法，其特征在于，包括：步骤S1：获取待检测图像；步骤S2：通过改进的知识蒸馏方法来构建基于图结构的目标检测网络，其中，所述改进的知识蒸馏方法为：通过图结构法对所述教师模型进行蒸馏得到学生模型，所述教师模型通过预设图像数据集训练得到，所述学生模型为基于图结构的目标检测网络；所述步骤S2中的图结构法具体为：基于所述教师模型中检测到的实例来构造图结构，包括：步骤S21:构建实例特征之间的相似性，并构建实例位置之间的像素级距离关系；步骤S22:将所述实例特征之间的相似性和实例位置之间的像素级距离关系进行相乘得到实例权重；步骤S23:筛选出所述实例权重高于预设权重的实例，以形成所述图结构；步骤S3：通过所述基于图结构的目标检测网络检测所述待检测图像中的目标。2.根据权利要求1所述的基于图结构的目标检测方法，其特征在于：所述步骤S2中的图结构满足的公式为：G＝(N,E)，其中，N和E分别表示蒸馏时图像中的节点集和边集，所述节点集N包括区域节点N
r
和类节点N
c
，每个所述类节点N
c
，对应图像中的实例；每个所述区域节点N
r
对应图像中的实例位置；所述边集E包括区域节点N
r
之间边集、以及类节点N
c
之间边集。3.根据权利要求1所述的基于图结构的目标检测方法，其特征在于：所述步骤S21中构建实例特征之间的相似性，公式为：E
c
(V
p
,V
q
)＝sim(V
p
,V
q
)其中，sim表示相似性，V
p
、V
q
表示教师模型不同实例的特征向量。4.根据权利要求1所述的基于图结构的目标检测方法，其特征在于：所述步骤S21中构建实例位置之间的像素级距离关系，公式为：E
r
(V
p
,V
q
)＝dist(Coordinate(V
p
),Coordinate(V
q
))其中，dist表示距离，Coordinate表示实例中心点的坐标，V
p
、V
q
表示教师模型不同实例的特征向量，X1、Y1分别是V
p
代表的实例中心点的横纵坐标，X2、Y2分别是V
q
代表的实例中心点的横纵坐标。5.根据权利要求1所...

【专利技术属性】
技术研发人员：徐峰磊，赵浩剀，张佳欣，张乐谦，施斐，马益路，胡伏原，
申请(专利权)人：苏州中星拟景信息技术有限公司，
类型：发明
国别省市：