System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 目标检测方法、装置、设备及存储介质制造方法及图纸_技高网

目标检测方法、装置、设备及存储介质制造方法及图纸

技术编号:40134790 阅读:7 留言:0更新日期:2024-01-23 22:41
本发明专利技术实施例提供了一种目标检测方法、装置、设备及存储介质,涉及计算机技术领域,该方法包括,将待检测数据集输入目标检测模型;针对任一待检测图像,基于目标检测模型中的特征提取网络,获取待检测图像对应的第一特征图;基于目标检测模型中的区域生成网络,获取第一特征图中的多个第一检测框信息;基于预先构建的知识图谱中的置信度信息,对第一特征图中的多个第一检测框进行筛选;获取目标检测模型输出的待检测图像对应的目标检测结果。这样,基于知识图谱提升目标检测模型的泛化性能,使其对不同的待检测图像均有很好的检测效果,能更加充分的利用待检测图像中待检测对象之间的关联信息,进一步提高目标检测模型的检测精度。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种目标检测方法、装置、设备及存储介质


技术介绍

1、基于图像的目标检测是人工智能的一类极其重要的应用,目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置。目标检测应用场景广泛,具体有人脸检测、行人检测、车辆检测、遥感检测等。

2、相关技术中,传统目标检测模型是需要对大量的样本图像中的特征信息进行训练得到的,其检测能力具有一定的局限性,也即目标检测模型的检测精度不高。


技术实现思路

1、为克服相关技术中存在的问题,本专利技术提供了一种目标检测方法、装置、设备及存储介质。

2、第一方面,本专利技术提供了一种目标检测方法,所述方法包括:

3、将待检测数据集输入目标检测模型;所述待检测数据集中包括待检测图像;

4、针对任一所述待检测图像,基于所述目标检测模型中的特征提取网络,获取所述待检测图像对应的第一特征图;

5、基于所述目标检测模型中的区域生成网络,获取所述第一特征图中的多个第一检测框信息;所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度;

6、基于预先构建的知识图谱中的置信度信息,对所述第一特征图中的多个第一检测框进行筛选;

7、获取所述目标检测模型输出的所述待检测图像对应的目标检测结果;所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

8、可选地,所述目标检测模型由下述步骤训练得到:</p>

9、将样本图像集输入待训练检测模型;所述样本图像集中包括多个样本图像;

10、针对所述多个样本图像中的任一样本图像,基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息,确定所述样本图像中各待检测对象对应的检测结果;

11、基于所述检测结果与所述样本图像中的标注标签,对所述待训练检测模型进行参数调整;所述标注标签用于表征所述样本图像的真实检测结果;

12、在达到停止条件的情况下,将所述待训练检测模型确定为目标检测模型。

13、可选地,所述基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息,确定所述样本图像中各待检测对象对应的检测结果,包括:

14、基于所述待训练检测模型中的特征提取网络,获取所述样本图像对应的特征图;

15、基于所述待训练检测模型中的区域生成网络,获取所述特征图中的多个检测框信息;所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度;

16、基于所述知识图谱中的置信度信息,对所述特征图中的多个检测框进行筛选,得到目标特征图;所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框;

17、将所述目标特征图作为所述待训练检测模型中的全连接层的输入,获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果,作为所述检测结果。

18、可选地,所述基于所述知识图谱中的置信度信息,对所述特征图中的多个检测框进行筛选,包括:

19、将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别;

20、针对所述样本图像中除所述目标对象的任一待检测对象,基于所述知识图谱中的置信度信息,确定所述待检测对象对应的目标类别;

21、从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框;

22、对所述目标检测框进行筛选,确定所述待检测对象对应的预测检测框。

23、可选地,所述基于所述知识图谱中的置信度信息,确定所述待检测对象对应的目标类别,包括:

24、获取所述待检测对象对应的候选类别;

25、基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度;

26、基于所述关联度,确定所述待检测对象对应的目标类别。

27、可选地,在所述候选类别包括第一类别以及第二类别的情况下,所述基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度,包括:

28、基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述第一类别的关联度,得到第一结果;

29、基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述第二类别的关联度,得到第二结果。

30、可选地,所述基于所述关联度,确定所述待检测对象对应的目标类别,包括:

31、在所述第一结果大于所述第二结果的情况下,确定所述待检测对象对应的目标类别为所述第一类别;

32、在所述第一结果小于所述第二结果的情况下,确定所述待检测对象对应的目标类别为所述第二类别;

33、在所述第一结果等于所述第二结果的情况下,确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

34、可选地,所述对所述目标检测框进行筛选,确定所述待检测对象对应的预测检测框,包括:

35、获取检测框置信度最高的目标检测框对应的交并比;

36、基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值,对所述目标检测框进行筛选,确定所述待检测对象对应的预测检测框。

37、可选地,所述方法还包括:

38、获取样本图像集;

39、针对所述样本图像集中的任一样本图像,确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签,作为所述样本图像中的标注标签。

40、可选地,所述特征提取网络中包含多个卷积层,所述多个卷积层的扩张率互不相同。

41、可选地,所述多个卷积层包括标准卷积层、扩张率为1的第一卷积层、扩张率为2的第二卷积层以及扩张率为3的第三卷积层。

42、可选地,所述方法还包括:

43、获取目标领域内的多个图像数据以及多个文字数据;

44、基于所述多个图像数据以及所述多个文字数据进行知识抽取,并进行多模态融合,得到所述知识图谱。

45、可选地,所述方法还包括:

46、针对所述知识图谱中的任一第一实体节点,基于所述多个图像数据以及所述多个文字数据,确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数,得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

47、可选地,所述基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与以及所述待检测对象对应的候选类别的关联度,包括:

48、针对任一候选类别,基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系,以及所述关本文档来自技高网...

【技术保护点】

1.一种目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标检测模型由下述步骤训练得到:

3.根据权利要求2所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息,确定所述样本图像中各待检测对象对应的检测结果,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息,对所述特征图中的多个检测框进行筛选,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息,确定所述待检测对象对应的目标类别,包括:

6.根据权利要求5所述的方法,其特征在于,在所述候选类别包括第一类别以及第二类别的情况下,所述基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述关联度,确定所述待检测对象对应的目标类别,包括:

8.根据权利要求4所述的方法,其特征在于,所述对所述目标检测框进行筛选,确定所述待检测对象对应的预测检测框,包括:

9.根据权利要求2所述的方法,其特征在于,所述方法还包括:

10.根据权利要求3所述的方法,其特征在于,所述特征提取网络中包含多个卷积层,所述多个卷积层的扩张率互不相同。

11.根据权利要求10所述的方法,其特征在于,所述多个卷积层包括标准卷积层、扩张率为1的第一卷积层、扩张率为2的第二卷积层以及扩张率为3的第三卷积层。

12.根据权利要求1所述的方法,其特征在于,所述方法还包括:

13.根据权利要求12所述的方法,其特征在于,所述方法还包括:

14.根据权利要求5所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度,包括:

15.根据权利要求14所述的方法,其特征在于,所述基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系,以及所述关联关系所涉及的各实体节点之间的置信度信息,确定所述目标对象对应的目标类别与所述候选类别的关联度,包括:

16.根据权利要求2所述的方法,其特征在于,所述基于所述检测结果与所述样本图像中的标注标签,对所述待训练检测模型进行参数调整,包括:

17.根据权利要求16所述的方法,其特征在于,所述方法还包括:

18.根据权利要求17所述的方法,其特征在于,所述目标损失的计算公式包括:

19.一种目标检测装置,其特征在于,所述装置包括:

20.一种电子设备,其特征在于,包括:

21.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1-18中任一所述的目标检测方法。

...

【技术特征摘要】

1.一种目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标检测模型由下述步骤训练得到:

3.根据权利要求2所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息,确定所述样本图像中各待检测对象对应的检测结果,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息,对所述特征图中的多个检测框进行筛选,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述知识图谱中的置信度信息,确定所述待检测对象对应的目标类别,包括:

6.根据权利要求5所述的方法,其特征在于,在所述候选类别包括第一类别以及第二类别的情况下,所述基于所述知识图谱中的置信度信息,确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述关联度,确定所述待检测对象对应的目标类别,包括:

8.根据权利要求4所述的方法,其特征在于,所述对所述目标检测框进行筛选,确定所述待检测对象对应的预测检测框,包括:

9.根据权利要求2所述的方法,其特征在于,所述方法还包括:

10.根据权利要求3所述的方法,其特征在于,所述特征提取网络中包含多个卷积层,所述多个卷积层的扩张率互不相同。

11.根据权利要求10所述的方法,其特征在...

【专利技术属性】
技术研发人员:张悦
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1