【技术实现步骤摘要】
本申请涉及计算机数据处理领域，特别是涉及一种基于目标检测的模型训练方法、目标检测方法、目标检测装置以及计算机存储介质。
技术介绍
1、随着计算机图像处理技术的不断发展，图像应用领域也越来越广泛，涉及生物医学、机器视觉等多个应用领域。图像处理技术是用计算机对图像信息进行处理的技术，主要包括图像增强和复原，图像识别，图像分割、图像编码、模板匹配、目标检测等。
2、在计算机视觉众多的
中，目标检测(object detection)也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。该技术在各个行业都有广泛的应用，包括制造业、医疗保健、零售业、农业和安全。
3、目标检测的任务是找出图像中所有感兴趣的目标(物体)，确定它们的类别和位置，目标检测算法使用深度学习和神经网络来处理数字图像并识别图像中的模式和特征。这些算法在大型图像数据集上进行训练，以学习不同对象的模式和特征。
4、然而，现有的目标检测中，待检测的目标必须在训练集中存在大量的训练数据及标签，而当训练集中存在未见过的目标类别且对应的数据量稀缺时，目标检测模型不能很好地学习到该目标类别的特征，从而影响目标检测的效果。
技术实现思路
1、本申请主要解决的技术问题是如何在目标类别只有小样本数据对模型进行训练的情况下，保证目标检测模型的识别效果不受影响，对此，本申请提供一种基于目标检测的模型训练方法、目标检测方法、目标检测装置以及计算机可读存储介质。
2、为
3、其中，在利用目标检测模型的候选框生成模块，基于查询图像集的图像特征和融合图像特征生成候选框之后，还包括：基于融合图像特征构造全局特征序列和局部特征序列；计算全局特征序列中每个全局特征之间的第一相似度信息；对每个第一相似度信息进行特征加权融合得到全局融合特征；计算局部特征序列中每个局部特征之间的第二相似度信息；对每个第二相似度信息进行特征加权融合得到局部融合特征；对全局融合特征与局部融合特征进行特征融合得到最终融合特征；基于最终融合特征更新融合图像特征。
4、其中，对文本特征和图像特征进行特征融合得到融合图像特征和融合文本特征，包括：基于注意力机制计算文本特征与自身的第一注意力特征以及文本特征与图像特征的第二注意力特征；将第一注意力特征和第二注意力特征进行特征融合得到融合文本特征；基于注意力机制计算图像特征与自身的第三注意力特征以及图像特征与文本特征的第四注意力特征；将第三注意力特征和第四注意力特征进行特征融合得到融合图像特征。
5、其中，基于查询图像集的图像特征和融合图像特征生成候选框包括：对查询图像集的图像特征和融合图像特征进行互相关操作；将互相关结果输入至提取候选框网络生成候选框。
6、其中，基于候选框和融合图像特征对支持图像集进行检测，得到中间检测结果，包括：对候选框进行特征提取得到候选框特征；使用三条检测分支分别对候选框特征和融合图像特征进行特征提取，得到不同层次的第一检测结果、第二检测结果和第三检测结果；对第一检测结果、第二检测结果和第三检测结果进行加权融合，得到中间检测结果。
7、其中，使用三条检测分支分别对候选框特征和融合图像特征进行特征提取，得到不同层次的第一检测结果、第二检测结果和第三检测结果，包括：对候选框特征和融合图像特征进行维度转换，并将维度转换结果进行特征拼接得到第一拼接特征，基于第一拼接特征得到第一检测结果；对候选框特征和融合图像特征进行互相关操作，得到互相关结果，基于互相关结果得到第二检测结果；对候选框特征和融合图像特征进行特征拼接得到第二拼接特征，对第二拼接特征进行深层次语义特征提取得到第三检测结果。
8、其中，中间检测结果包括若干检测框；使用融合文本特征对中间检测结果进行筛选，得到最终检测结果，包括：对若干检测框进行特征映射得到检测框中的检测图像特征；基于检测图像特征与融合文本特征的匹配程度对若干检测框进行筛选，得到最终检测结果。
9、其中，基于检测图像特征与融合文本特征的匹配程度对若干检测框进行筛选，得到最终检测结果，包括：计算检测图像特征与融合文本特征的特征相似度；将特征相似度大于等于预设相似度阈值的检测框作为最终检测结果。
10、其中，在目标检测模型训练完成之后，模型训练方法还包括：
11、获取测试图像集，其中，测试图像集包括带标注的第二支持图像集和未标注的第二查询图像集，测试图像集中图像的目标类别与训练图像集中图像的目标类别不同；将第二支持图像集输入目标检测模型；使用目标检测模型对第二查询图像集进行检测，得到第二查询图像集中的目标检测框以及对应的目标类别和置信度。
12、为解决上述技术问题，本申请采用的一个技术方案是：提供一种目标检测方法，该方法包括：获取待检测图像；将待检测图像输入预先训练的目标检测模型，其中，目标检测模型上述模型训练方法训练所得；获取目标检测模型输出的待检测图像的目标检测框以及对应的目标类别和置信度。
13、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种目标检测装置，该目标检测装置包括处理器和存储器，存储器与处理器耦接，存储器存储有程序数据，处理器用于执行程序数据以实现如上述的模型训练方法，和/或目标检测方法。
14、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据在被执行时，用于实现上述的模型训练方法，和/或目标检测方法。
15、本申请的有益效果是：区别于现有技术的情况，本专利技术提供的基于目标检测的模型训练方法应用于目标检测装置，目标检测装置获取训练图像集，其中，训练图像集包括支持图像集和查询图像集；利用目标检测模型的多模态模块，对支持图像集的图像中的文本特征和图像特征进行提取，并对文本特征和图像特征进行特征融合得到融合图像特征和融合文本特征；利用目标检测模型的特征提取模块，提取查询图像集中图像的图像特征；利用目标检测模型的候选框生成模块，基于查询图像集的图像特征和融合图像特征生成候选框；基于候选框和融合图像特征对支持图像集进行检测，得到中间检测结果；使用融合文本特征对中间检测结果进行筛选，得到最终检测结果，基于最终检测结果对目标本文档来自技高网...
【技术保护点】
1.一种基于目标检测的模型训练方法，其特征在于，所述模型训练方法包括：
2.根据权利要求1所述的模型训练方法，其特征在于，
3.根据权利要求1所述的模型训练方法，其特征在于，
4.根据权利要求1所述的模型训练方法，其特征在于，
5.根据权利要求1所述的模型训练方法，其特征在于，
6.根据权利要求5所述的模型训练方法，其特征在于，
7.根据权利要求1所述的模型训练方法，其特征在于，
8.根据权利要求7所述的模型训练方法，其特征在于，
9.根据权利要求1所述的模型训练方法，其特征在于，
10.一种目标检测方法，其特征在于，所述目标检测方法包括：
11.一种目标检测装置，其特征在于，所述目标检测装置包括存储器以及与所述存储器耦接的处理器；
12.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至9任一项所述的模型训练方法，和/或权利要求10所述的目标检测方法。
【技术特征摘要】
1.一种基于目标检测的模型训练方法，其特征在于，所述模型训练方法包括：
2.根据权利要求1所述的模型训练方法，其特征在于，
3.根据权利要求1所述的模型训练方法，其特征在于，
4.根据权利要求1所述的模型训练方法，其特征在于，
5.根据权利要求1所述的模型训练方法，其特征在于，
6.根据权利要求5所述的模型训练方法，其特征在于，
7.根据权利要求1所述的模型训练方法，其特征在于，
8.根据权利要求...
【专利技术属性】
技术研发人员：熊涛，孙鹤，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。