【技术实现步骤摘要】
本专利技术涉及目标检测，尤其是涉及化学实验器材检测方法、系统、计算机设备和存储介质。
技术介绍
1、化学实验过程中存在场景复杂等问题，因此如何精准感知化学实验目标是化学实验过程自动评分的关键一环。现有的目标检测方法大多是基于纯视觉的方法，在检测相似性较高的器材(如滴管、试管)和尺寸多变性器材(如大烧杯、小烧杯)时性能较差，此外，它们无法识别化学实验过程中的特定实验器材。
2、现有的目标检测方法包括纯视觉的目标检测方法和跨模态的目标检测方法。纯视觉的目标检测的方法仅仅利用视觉特征识别某一类目标(如：烧杯)，无法识别特定的目标(如：左边的烧杯)。跨模态目标检测方法利用文本辅助视觉特征进行精准识别。现有的跨模态的目标检测方法主要包括两阶段的跨模态目标检测方法和一阶段的跨模态目标检测方法。两阶段跨模态目标检测方法的核心思想是首先通过选择性搜索区域算法、预训练目标检测目标器等方法得到一系列目标候选区域，其次将目标候选区域与文本进行关联，寻找最大可能性的目标。由于两阶段指标表达理解方法比较简单，并且容易建立文本与目标之间的联系，因此在很长一段时间内，两阶段的方法成为跨模态目标检测的常用方法。尽管两阶段的跨模态目标检测方法在精度上取得了不错的效果，但是上述方法其核心思想均是将目标候选区域和文本进行链接，对于目标候选区域的生成需要引入额外方法(如faster-rcnn)，从而使得这类方法存在计算开销大、运算速度低等问题。一阶段跨模态目标检测方法的核心思想是训练一个端到端的模型，不使用目标检测网络生成目标，而是直接在整个图像中预测目标
技术实现思路
1、针对上述问题，本专利技术申请提出了化学实验器材检测方法、系统、计算机设备和存储介质，利用文本特征辅助视觉以此区分相似背景下的特定实验器材。
2、本专利技术一方面提供了化学实验器材检测方法，包括如下步骤：
3、s1、搭建化学实验器材检测模型，该模型包括依次连接的特征提取模块、双向引导特征增强模块、特征融合模块和特征预测模块，对化学实验器材检测模型进行训练并采用预设的损失函数计算损失，得到训练后的化学实验器材检测模型；
4、s2、获取待检测化学实验器材的查询短语和图像，训练后的化学实验器材检测模型中的特征提取模块对查询短语和图像分别进行特征提取，相应得到若干个单词特征和预设数量个不同尺度的视觉特征；
5、s3、将若干个单词特征和预设数量个不同尺度的视觉特征输入至双向引导特征增强模块处理，得到池化后的句子特征和增强后的视觉特征；
6、s4、特征融合模块接收增强后的视觉特征和池化后的句子特征，并将增强后的视觉特征拓维转换至与池化后的句子特征相同的维度，将拓维转换后的视觉特征和池化后的句子特征根据通道数进行拼接，得到多模态特征图；
7、s5、特征预测模块接收多模态特征图，利用yolov3检测头在多模态特征图上进行目标检测，得到待检测化学实验器材的检测结果。
8、优选地，s1中双向引导特征增强模块包括vtfp模块和tvfe模块，s3具体为：vtfp模块用于接收若干个单词特征和预设数量个不同尺度的视觉特征并处理，得到池化后的句子特征，tvfe模块用于接收预设数量个不同尺度的视觉特征并处理，得到增强后的视觉特征。
9、优选地，vtfp模块包括依次连接的全局视觉特征提取子模块、句子特征提取子模块和自适应句子特征融合子模块，vtfp模块用于接收若干个单词特征和预设数量个不同尺度的视觉特征并处理，得到池化后的句子特征，具体包括如下：
10、s31、全局视觉特征提取子模块对预设数量个不同尺度的视觉特征分别进行卷积和平均池化处理，相应得到池化后的视觉特征；
11、s32、句子特征提取子模块将池化后的视觉特征作为查询值，将若干个单词特征作为键值，采用注意力机制计算若干个单词特征与池化后的视觉特征之间的相似度，并对若干个单词特征和相似度进行加权求和，得到句子特征；
12、s33、自适应句子特征融合子模块将池化后的视觉特征沿着通道数进行拼接，并输入至softmax函数中进行处理，获取预设数量个不同尺度的视觉特征对应的得分权重，对句子特征和对应的得分权重进行加权求和，得到池化后的句子特征。
13、优选地，s33中池化后的句子特征具体可用公式表示为：
14、
15、式中，
16、其中，f为池化后的句子特征，fk为第k个句子特征，和分别为第k个和第l个池化后的视觉特征，k,l＝1,2,...,k，k为视觉特征的数量，βk为第k个视觉特征对应的得分权重。
17、优选地，tvfe模块用于接收预设数量个不同尺度的视觉特征并处理，得到增强后的视觉特征，具体包括如下：
18、s34、tvfe模块接收预设数量个不同尺度的视觉特征，将句子特征扩展到与对应的视觉特征相同的维度，将扩展后的句子特征与对应的视觉特征进行点乘处理，得到处理后的视觉特征；
19、s35、将处理后的视觉特征作为查询值，将句子特征作为键值，通过跨模态注意机制计算句子特征与处理后的视觉特征之间的相似度权重；
20、s36、将相似度权重与处理后的视觉特征相乘，得到全局视觉特征，将相似度权重与全局视觉特征相乘，得到增强后的视觉特征。
21、优选地，s36中增强后的视觉特征具体可用公式表示为：
22、
23、式中，
24、其中，v'k'为第k个增强后的视觉特征，为第k个全局视觉特征，γk为第k个处理后的视觉特征与第k个句子特征的相似度权重，为第k个处理后的视觉特征v'k上的第q个特征，为第k个处理后的视觉特征上的第q个特征与第k个句子特征的相似度权重，q为视觉特征图上的特征总数。
25、优选地，s1中对化学实验器材检测模型进行训练并采用预设的损失函数计算损失，损失函数具体为：
26、l＝lpred+λlreg
27、式中，
28、
29、其中，l为化学实验器材检测模型的总损失，lpred为置信度分数预测损失，lreg为回归损失，λ为超参数，gm为待检测图像的第m个预测目标框的置信度真值标签，pm为待检测图像的第m个预测目标框的置信度预测分数，lf为焦点损失函数，ls为
30、smooth-l1损失函数，rm为待检测图像的第m个预测目标框的预测偏移量，gm为待检测图像的第m个预测目标框与真实框的偏移量，m为待检测图像的预测目标框数量。
<本文档来自技高网...【技术保护点】
1.化学实验器材检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的化学实验器材检测方法，其特征在于，S1中所述双向引导特征增强模块包括vTFP模块和tVFE模块，所述S3具体为：所述vTFP模块用于接收若干个所述单词特征和预设数量个所述不同尺度的视觉特征并处理，得到池化后的句子特征，所述tVFE模块用于接收预设数量个所述不同尺度的视觉特征并处理，得到增强后的视觉特征。
3.如权利要求2所述的化学实验器材检测方法，其特征在于，所述vTFP模块包括依次连接的全局视觉特征提取子模块、句子特征提取子模块和自适应句子特征融合子模块，所述vTFP模块用于接收若干个所述单词特征和预设数量个所述不同尺度的视觉特征并处理，得到池化后的句子特征，具体包括如下：
4.如权利要求3所述的化学实验器材检测方法，其特征在于，S33中所述池化后的句子特征具体可用公式表示为：
5.如权利要求4所述的化学实验器材检测方法，其特征在于，所述tVFE模块用于接收预设数量个所述不同尺度的视觉特征并处理，得到增强后的视觉特征，具体包括如下：
6.如权利
7.如权利要求6所述的化学实验器材检测方法，其特征在于，S1中所述对所述化学实验器材检测模型进行训练并采用预设的损失函数计算损失，所述损失函数具体为：
8.化学实验器材检测系统，其特征在于，所述检测系统包括图像采集模块、语音采集模块、化学实验器材检测模型和计算机系统，所述图像采集模块和语音采集模块分别与所述计算机系统连接，所述化学实验器材检测模型设置于所述计算机系统中，其中：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述化学实验器材检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述化学实验器材检测方法的步骤。
...【技术特征摘要】
1.化学实验器材检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的化学实验器材检测方法，其特征在于，s1中所述双向引导特征增强模块包括vtfp模块和tvfe模块，所述s3具体为：所述vtfp模块用于接收若干个所述单词特征和预设数量个所述不同尺度的视觉特征并处理，得到池化后的句子特征，所述tvfe模块用于接收预设数量个所述不同尺度的视觉特征并处理，得到增强后的视觉特征。
3.如权利要求2所述的化学实验器材检测方法，其特征在于，所述vtfp模块包括依次连接的全局视觉特征提取子模块、句子特征提取子模块和自适应句子特征融合子模块，所述vtfp模块用于接收若干个所述单词特征和预设数量个所述不同尺度的视觉特征并处理，得到池化后的句子特征，具体包括如下：
4.如权利要求3所述的化学实验器材检测方法，其特征在于，s33中所述池化后的句子特征具体可用公式表示为：
5.如权利要求4所述的化学实验器材检测方法，其特征在于，所述tvfe模块用于接收预设数量个所述不同尺度的视觉特征并...
【专利技术属性】
技术研发人员：周炫余，肖天星，卢笑，吴莲华，刘林，李璇，张思敏，王紫璇，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。