端到端目标检测模型训练、图像目标检测方法及相关设备技术

本发明专利技术公开了端到端目标检测模型训练、图像目标检测方法及相关设备，通过样本图像的预测目标集合和标签目标集合，确定样本图像的匹配代价矩阵，然后根据预测检测框的第一位置质量分数和匹配代价矩阵，对预测目标集合以及标签目标集合进行目标匹配，得到最优分配结果，再根据最优分配结果生成目标训练样本以对预设深度学习模型进行调整，得到已训练的端到端目标检测模型。在本发明专利技术中通过位置信息监督匹配代价矩阵，提高目标匹配的准确率，以提高模型训练的稳定性，从而提高一对一匹配的图像目标检测的准确率，促进机器视觉的发展。促进机器视觉的发展。促进机器视觉的发展。

【技术实现步骤摘要】
端到端目标检测模型训练、图像目标检测方法及相关设备


[0001]本专利技术涉及计算机视觉
，尤其涉及一种端到端目标检测模型训练、图像目标检测方法及相关设备。

技术介绍

[0002]目标检测能够识别图片或视频中有哪些物体以及物体的位置，是计算机视觉的重要组成部分。随着近年来深度学习的不断发展，基于深度学习的目标检测成为主流技术。
[0003]在相关技术提出的方案中，通常是训练端到端的目标检测模型，并通过训练后的目标检测模型实现端到端目标检测，但目前训练过程中存在不稳定标签匹配的问题，导致图像端到端的目标检测准确率低，无法对图像或视频进行准确的目标识别，影响计算机视觉的发展。
[0004]基于此，如何提高一对一匹配的图像目标检测的准确率成为亟需解决的技术问题。

技术实现思路

[0005]本专利技术的主要目的在于提供一种端到端目标检测模型训练、图像目标检测方法及相关设备，旨在解决现有技术中一对一匹配的图像目标检测准确率低的问题。
[0006]为了实现上述目的，本专利技术提供了一种端到端目标检测模型训练方法，所述方法包括：
[0007]通过预设深度学习模型对各样本图像进行目标检测，得到各所述样本图像的预测目标集合；其中，所述预测目标集合包括所述样本图像中目标物体的预测检测框以及所述预测检测框对应的预测物体类别；
[0008]基于所述样本图像的所述预测目标集合和预设的标签目标集合，确定所述样本图像的匹配代价矩阵；所述匹配代价矩阵为所述样本图像的定位损失矩阵和类别损失矩阵的和值；
[0009]基于所述预测目标集合中各所述预测检测框的第一位置质量分数以及所述匹配代价矩阵，对所述预测目标集合以及所述标签目标集合进行目标匹配，得到最优分配结果；其中，所述第一位置质量分数用于表征所述预测检测框与所述标签目标集合中定位标签的交互比；
[0010]基于所述最优分配结果和所述样本图像，生成对应的目标训练样本以对所述预设深度学习模型进行调整，得到已训练的端到端目标检测模型。
[0011]可选地，所述目标训练样本包括正样本和负样本；所述生成对应的目标训练样本以对所述预设深度学习模型进行调整，具体包括：
[0012]根据各所述正样本中的所述预测检测框、所述预测检测框对应的所述定位标签以及所述预测检测框的第二位置质量分数，确定正样本集合的损失函数；其中，所述第二位置质量分数用于表征所述正样本中所述预测检测框与所述定位标签的交互比；
[0013]根据各所述负样本的所述预测检测框以及对应的定位标签，确定负样本集合的损失函数；
[0014]将所述正样本集合的损失函数和所述负样本集合的损失函数的和值，作为定位损失函数；
[0015]基于所述定位损失函数，对所述预设深度学习模型的模型参数进行调整。
[0016]可选地，基于所述预测目标集合中各所述预测检测框的第一位置质量分数以及所述匹配代价矩阵，对所述预测目标集合以及所述标签目标集合进行目标匹配，得到最优分配结果，具体包括：
[0017]将所述匹配代价矩阵中每个元素与对应的所述第一位置质量分数相乘，得到目标代价矩阵；
[0018]根据匈牙利算法，对所述目标代价矩阵进行计算，将计算得到的代价最小的目标代价矩阵作为最优分配矩阵；
[0019]根据所述最优分配矩阵，确定所述最优分配结果。
[0020]可选地，所述基于所述样本图像的所述预测目标集合和预设的标签目标集合，确定所述样本图像的匹配代价矩阵，具体包括：
[0021]针对所述预测目标集合中的每个所述预测检测框，计算所述预测检测框与所述标签目标集合中每个所述定位标签的定位损失值，以得到所述样本图像的定位损失矩阵；
[0022]针对所述预测目标集合中的每个所述预测检测框对应的每个所述预测物体类别，计算所述预测物体类别与所述标签目标集合中每个类别标签的类别损失值，以得到所述样本图像的匹配代价矩阵。
[0023]可选地，所述通过预设深度学习模型，获取各样本图像的预测目标集合，具体包括：
[0024]将各所述样本图像的图像特征输入所述预设深度学习模型的特征增强模块，以对所述图像特征进行特征增强，得到增强融合后的图像特征；
[0025]基于所述增强融合后的所述图像特征，确定所述样本图像中各所述预测检测框以及各所述预测检测框对应的所述预测物体类别；
[0026]其中，所述特征增强模块为transformer网络的编码器。
[0027]可选地，所述通过预设深度学习模型，获取各样本图像的预测目标集合，具体包括：
[0028]将所述样本图像输入所述预设深度学习模型的图像特征提取模块，输出所述样本图像的多个不同尺度的图像特征；
[0029]将所述多个不同尺度的图像特征进行特征融合，得到所述样本图像的图像特征；
[0030]基于所述样本图像的图像特征，确定所述样本图像中各所述目标物体的所述预测检测框以及各所述目标物体的所述预测物体类别。
[0031]可选地，所述通过预设深度学习模型，获取各样本图像的预测目标集合，具体包括：
[0032]获取预设的多个初始化查询向量；
[0033]将各所述初始化查询向量以及所述样本图像的图像特征，输入所述预设深度学习模型的解码器，输出各所述初始化查询向量更新后的目标查询向量；
[0034]通过所述预设深度学习模块的前馈层或线性层，回归出每个所述目标查询向量的预测检测框；以及
[0035]将每个所述目标查询向量映射至预设物体类别矩阵的每个维度上，得到所述目标查询向量在每个维度上的值；
[0036]将所述目标查询向量在每个维度上的值进行归一化处理，映射至[0,1]之间，作为所述目标查询向量对应的所述预测检测框的预测物体类别的分类分数；
[0037]其中，所述预设物体类别矩阵的一个维度对应一个预设物体类别，所述分类分数用于表示所述目标物体属于所述预测物体类别的概率。
[0038]为了实现上述目的，本专利技术还提供了一种图像目标检测方法，所述图像目标检测方法包括：
[0039]将待检测图像输入已训练的端到端目标检测模型，输出所述待检测图像中各目标物体的检测框以及各所述目标物体的物体类别；
[0040]其中，所述端到端目标检测模型为通过如上任意一项所述的端到端目标检测模型训练方法得到。
[0041]为了实现上述目的，本专利技术还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任意一项所述的端到端目标检测模型训练方法中的步骤，或者如上所述的图像目标检测方法中的步骤。
[0042]为了实现上述目的，本专利技术还提供了一种终端，其特征在于，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现权利要求上任意一项所述的端到端目标检测模型训练方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端目标检测模型训练方法，其特征在于，所述方法包括：通过预设深度学习模型对各样本图像进行目标检测，得到各所述样本图像的预测目标集合；其中，所述预测目标集合包括所述样本图像中目标物体的预测检测框以及所述预测检测框对应的预测物体类别；基于所述样本图像的所述预测目标集合和预设的标签目标集合，确定所述样本图像的匹配代价矩阵；所述匹配代价矩阵为所述样本图像的定位损失矩阵和类别损失矩阵的和值；基于所述预测目标集合中各所述预测检测框的第一位置质量分数以及所述匹配代价矩阵，对所述预测目标集合以及所述标签目标集合进行目标匹配，得到最优分配结果；其中，所述第一位置质量分数用于表征所述预测检测框与所述标签目标集合中定位标签的交互比；基于所述最优分配结果和所述样本图像，生成对应的目标训练样本以对所述预设深度学习模型进行调整，得到已训练的端到端目标检测模型。2.根据权利要求1所述的端到端目标检测模型训练方法，其特征在于，所述目标训练样本包括正样本和负样本；所述生成对应的目标训练样本以对所述预设深度学习模型进行调整，具体包括：根据各所述正样本中的所述预测检测框、所述预测检测框对应的所述定位标签以及所述预测检测框的第二位置质量分数，确定正样本集合的损失函数；其中，所述第二位置质量分数用于表征所述正样本中所述预测检测框与所述定位标签的交互比；根据各所述负样本的所述预测检测框以及对应的所述定位标签，确定负样本集合的损失函数；将所述正样本集合的损失函数和所述负样本集合的损失函数的和值，作为定位损失函数；基于所述定位损失函数，对所述预设深度学习模型的模型参数进行调整。3.根据权利要求1所述的端到端目标检测模型训练方法，其特征在于，基于所述预测目标集合中各所述预测检测框的第一位置质量分数以及所述匹配代价矩阵，对所述预测目标集合以及所述标签目标集合进行目标匹配，得到最优分配结果，具体包括：将所述匹配代价矩阵中每个元素与对应的所述第一位置质量分数相乘，得到目标代价矩阵；根据匈牙利算法，对所述目标代价矩阵进行计算，将计算得到的代价最小的目标代价矩阵作为最优分配矩阵；根据所述最优分配矩阵，确定所述最优分配结果。4.根据权利要求1所述的端到端目标检测模型训练方法，其特征在于，所述基于所述样本图像的所述预测目标集合和预设的标签目标集合，确定所述样本图像的匹配代价矩阵，具体包括：针对所述预测目标集合中的每个所述预测检测框，计算所述预测检测框与所述标签目标集合中每个所述定位标签的定位损失值，以得到所述样本图像的定位损失矩阵；针对所述预测目标集合中的每个所述预测检测框对应的每个所述预测物体类别，计算所述预测物体类别与所述标签目标集合中每个类别标签的类别损失值，以得到所述样本图
像的匹配代价矩阵。5.根据权利要求1所述的端到端目标检测模型训练方法，其特征在于，所述通过预设深...

【专利技术属性】
技术研发人员：刘世隆，任天和，曾兆阳，李弘洋，张浩，李峰，张磊，
申请(专利权)人：粤港澳大湾区数字经济研究院福田，
类型：发明
国别省市：