System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据生成,具体而言,涉及一种训练数据生成方法、装置、设备及可读存储介质。
技术介绍
1、计算机视觉领域长期以来一直依赖有标注的数据和监督学习,这在一定程度上限制了模型的发展规模。由于标注数据的获取成本高昂,使得研究人员和开发者在构建大规模计算机视觉模型时受到了限制。
技术实现思路
1、本专利技术的目的在于提供一种训练数据生成方法、装置、设备及可读存储介质,以改善上述问题。
2、为了实现上述目的,本申请实施例提供了如下技术方案:
3、一方面,本申请实施例提供了一种训练数据生成方法,所述方法包括:
4、步骤s1:获取当前帧图像和模板图像,所述当前帧图像为装有物品的机场筐图像或没有装有物品的空筐图像,所述模板图像中包含空筐,所述空筐为机场安检线上用于放置物品进行安检的篮筐;
5、步骤s2:将所述当前帧图像与所述模板图像进行比较分析,得到差异图像;
6、步骤s3:将所述当前帧图像和所述差异图像分别输入到目标检测网络中,得到当前帧图像对应的第一候选框集合和所述差异图像对应的第二候选框集合;
7、步骤s4:基于所述第一候选框集合中的候选框与第二候选框集合中的候选框,得到第一图像集合;
8、步骤s5:将所述第一图像集合中的图像输入到分类网络中,进行得分计算,根据得分对所述第一图像集合中的图像进行筛选,并将剩下的图像存放在第二图像集合中;
9、步骤s6:重复执行步骤s1到步骤s5的步骤,当
10、进一步地,将所述当前帧图像与所述模板图像进行比较分析,得到差异图像,包括:
11、将所述当前帧图像与所述模板图像均转成灰度图像;对两张灰度图像进行逐个像素点相减计算,得到差异图像。
12、进一步地,将所述当前帧图像和所述差异图像分别输入到目标检测网络中,得到当前帧图像对应的第一候选框集合和所述差异图像对应的第二候选框集合,包括:
13、构建目标检测网络,所述目标检测网络包括backbone特征提取模块、neck特征融合模块和head检测模块;将所述当前帧图像输入到目标检测网络中,经过所述backbone特征提取模块中的sppf模块、多个cbs模块和多个csp1模块对所述当前帧图像进行特征提取,生成不同层次的特征;
14、将生成的多个特征输入所述neck特征融合模块,经过所述neck特征融合模块中的多个cbs模块、upsample模块、concat模块和csp2模块这四个不同尺度的检测层对特征进行融合,得到新特征矩阵;
15、将新特征矩阵输入所述head检测模块,回归得到目标对应各个类别的置信度、回归框,将目标所属置信度最高的类别,通过阈值过滤处理,并将回归框通过nms处理,得到当前帧图像对应的第一候选框集合;所述差异图像对应的第二候选框集合的获取方法与当前帧图像对应的第一候选框集合的获取方法一致。
16、进一步地,基于所述第一候选框集合中的候选框与第二候选框集合中的候选框,得到第一图像集合,包括:
17、将所述第一候选框集合中的候选框进行筛选,其中,设置第一阈值,当第一候选框集合中的候选框的置信度小于第一阈值时,将此候选框从第一候选框集合中删除,得到第一检测框集合;所述第二候选框集合中的候选框进行筛选,其中,设置第二阈值,当第二候选框集合中的候选框的置信度小于第二阈值时,将此候选框从第二候选框集合中删除,得到第二检测框集合,所述第一阈值小于所述第二阈值;
18、将第一检测框集合中的检测框逐个与第二检测框集合中的检测框进行匹配,若第二检测框集合中存在的检测框不在第一检测框集合中,则将第二检测框集合中存在的检测框所框选的区域提取出来,每个区域作为一张图像,将所有的图像进行集合,得到第一图像集合。
19、进一步地,将所述第一图像集合中的图像输入到分类网络中,进行得分计算,根据得分对所述第一图像集合中的图像进行筛选,并将剩下的图像存放在第二图像集合中,包括:
20、构建分类网络,所述分类网络的backbone为vit网络,将所述第一图像集合中的图像输入到vit网络中,vit网络将图像切分成小图形块后展平成序列后,一次通过改进后的多头注意力模块,多层感知机后,通过softmax层进行得分计算,取得分高于阈值,且得分最高的类别为该图像的标注类别,若得分低于阈值,则将该图像从第一图像集合中剔除,并将剩下的图像及其对应的标注类别存放在第二图像集合中。
21、进一步地,改进后的多头注意力模块的构建方法,包括:
22、对多头注意力模块进行改进,其中,多头注意力模块接受查询、键和值作为输入,改进后的的多头注意力机制在输入之前降低了键和值的空间维度,然后再输入。
23、第二方面,本申请实施例提供了一种训练数据生成装置,所述装置包括获取模块、比较模块、第一计算模块、第二计算模块、第一筛选模块和第二筛选模块。
24、获取模块,用于执行步骤s1:获取当前帧图像和模板图像,所述当前帧图像为装有物品的机场筐图像或没有装有物品的空筐图像,所述模板图像中包含空筐,所述空筐为机场安检线上用于放置物品进行安检的篮筐;
25、比较模块,用于执行步骤s2:将所述当前帧图像与所述模板图像进行比较分析,得到差异图像;
26、第一计算模块,用于执行步骤s3:将所述当前帧图像和所述差异图像分别输入到目标检测网络中,得到当前帧图像对应的第一候选框集合和所述差异图像对应的第二候选框集合;
27、第二计算模块,用于执行步骤s4:基于所述第一候选框集合中的候选框与第二候选框集合中的候选框,得到第一图像集合;
28、第一筛选模块,用于执行步骤s5:将所述第一图像集合中的图像输入到分类网络中,进行得分计算,根据得分对所述第一图像集合中的图像进行筛选,并将剩下的图像存放在第二图像集合中;
29、第二筛选模块,用于重复执行步骤s1到步骤s5的步骤,当第二图像集合中图像的张数达到预设阈值,停止筛选,将第二图像集合中的图像用于训练目标检测网络。
30、第三方面,本申请实施例提供了一种训练数据生成设备,所述设备包括存储器和处理器。存储器用于存储计算机程序;处理器用于执行所述计算机程序时实现上述训练数据生成方法的步骤。
31、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述训练数据生成方法的步骤。
32、本专利技术的有益效果为:
33、本专利技术可以降低标注数据成本:传统计算机视觉方法依赖标注数据和监督学习,而本方法通过自监督学习,可以减少对标注数据的依赖,从而降低了标注数据的成本;
34、本专利技术采用在线训练模式:可以实时地对模型进行训练和更新。这种模式不仅有效降本文档来自技高网...
【技术保护点】
1.一种训练数据生成方法,其特征在于,包括:
2.根据权利要求1所述的训练数据生成方法,其特征在于,将所述当前帧图像与所述模板图像进行比较分析,得到差异图像,包括:
3.根据权利要求1所述的训练数据生成方法,其特征在于,将所述当前帧图像和所述差异图像分别输入到目标检测网络中,得到当前帧图像对应的第一候选框集合和所述差异图像对应的第二候选框集合,包括:
4.根据权利要求1所述的训练数据生成方法,其特征在于,基于所述第一候选框集合中的候选框与第二候选框集合中的候选框,得到第一图像集合,包括:
5.根据权利要求1所述的训练数据生成方法,其特征在于,将所述第一图像集合中的图像输入到分类网络中,进行得分计算,根据得分对所述第一图像集合中的图像进行筛选,并将剩下的图像存放在第二图像集合中,包括:
6.根据权利要求5所述的训练数据生成方法,其特征在于,改进后的多头注意力模块的构建方法,包括:
7.一种训练数据生成装置,其特征在于,包括:
8.一种训练数据生成设备,其特征在于,包括:
9.一种可读存储
...【技术特征摘要】
1.一种训练数据生成方法,其特征在于,包括:
2.根据权利要求1所述的训练数据生成方法,其特征在于,将所述当前帧图像与所述模板图像进行比较分析,得到差异图像,包括:
3.根据权利要求1所述的训练数据生成方法,其特征在于,将所述当前帧图像和所述差异图像分别输入到目标检测网络中,得到当前帧图像对应的第一候选框集合和所述差异图像对应的第二候选框集合,包括:
4.根据权利要求1所述的训练数据生成方法,其特征在于,基于所述第一候选框集合中的候选框与第二候选框集合中的候选框,得...
【专利技术属性】
技术研发人员:李石朋,桓朝,董冰,
申请(专利权)人:江苏星图智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。