一种基于DETR的端到端的图像描述方法技术

本发明专利技术公开了一种基于DETR的端到端的图像描述方法。首先获取数据集以及训练需要的DETR权重，然后构建基于DETR的图像描述模型，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；通过构建的基于DETR的图像描述模型输出预测单词；再通过设定的训练策略对基于DETR的图像描述模型进行训练；最后通过训练好的基于DETR的图像描述模型完成图像描述。本发明专利技术兼顾网格特征与目标检测特征，并使用了自适应注意力融合机制，可以均衡目标信息和全局信息，生成更加精细的图像描述。像描述。像描述。

【技术实现步骤摘要】
一种基于DETR的端到端的图像描述方法


[0001]本专利技术属于图像处理
，具体涉及一种基于DETR(detection transformer)的端到端的图像描述方法。

技术介绍

[0002]图像描述是一项对于输入图像生成自然通顺且符合语法的语言文字的任务。
[0003]图像描述是自然语言处理与计算视觉的交叉课题，是机器学习跨模态领域重要的任务。但是目前的图像描述方法都基于与训练好的目标检测器，或者分类器，训练时只训练评论生成的部分，而无法更新特征提取器和目标检测器的权重，这使得无法端到端生成图像描述，无法全过程的优化模型。同时大多数方法只是用单独的一种目标特征或者网格特征，但是只是用一种特征会有缺陷。

技术实现思路

[0004]针对现有技术中无法端到端训练的问题，以及无法同时兼顾目标特征和网格特征的问题。本专利技术提供一种基于DETR的端到端的图像描述方法。
[0005]一种基于DETR的端到端的图像描述方法，其基本步骤为:
[0006]步骤1：获取数据集以及训练需要的DETR权重；
[0007]步骤2：构建基于DETR的图像描述模型；
[0008]所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器(Grid_Encoder)、目标特征解码器(Object_Decoder)、特征融合解码器(Mix_Decoder)和文本生成器。
[0009]步骤3：通过构建的基于DETR的图像描述模型输出预测单词；
[0010]步骤4：通过设定的训练策略对基于DETR的图像描述模型进行训练；
[0011]步骤5：通过训练好的基于DETR的图像描述模型完成图像描述。
[0012]进一步的，步骤1具体方法如下：
[0013]所述的数据集采用COCO2014数据集，它每条数据包含一张图片和五条人工标注的句子，下载Facebook开发的DETR模型权重(使用resnet101实现版本)。
[0014]进一步的，步骤2具体方法如下：
[0015]所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器(Grid_Encoder)、目标特征解码器(Object_Decoder)、特征融合解码器(Mix_Decoder)和文本生成器。
[0016]所述的骨干网络采用ResNet101卷积神经网络。所述的网格特征编码器为一个Transformer Encoder；所述的目标特征解码器为一个Transformer Decoder；
[0017]所述的特征融合解码器基于Transformer Decoder改进，相比Transformer Decoder，将原来的MHA改为两个并联的注意力模块，分别是一个带有位置编码目标MHA和一个不带位置编码的网格MHA，除此之外在这两个注意力模块后串联一个特征融合模块。
[0018]所述的带有位置编码目标MHA是指，在传统attention模块的Q、K点积的热力图上加上相对位置关系矩阵R。
[0019]所述的特征融合模块是一个单层全连接神经网络。
[0020]所述的文本生成器：包含一个带有softmax激活函数的MLP网络和一个单词字典，用来将特征融合解码器的输出结果转化为每一个时间步骤的单词概率分布，并将这个概率分布转化为词典中的单词id。最后输出该单词id对应的单词字符串，即为图像对应的描述。
[0021]进一步的，步骤3具体方法如下：
[0022]步骤3.1：进行网格特征编码。假设输入是一张图片I，首先利用骨干网络提取他的网格特征F
grid
。
[0023]其次，将网格特征F
grid
作为待编码特征送入到网格特征编码器中进行编码得到f
grid
。计算过程可以用公式表示为：
[0024]f
grid
＝Grid_Encoder(F
grid
)
[0025]步骤3.2：进行目标特征输出。
[0026]将f
grid
送入目标特征解码器获得目标特征f
obj
。目标特征解码器输入的编码后特征是f
grid
，待解码特征是一个100*512维度张量矩阵O(O是一组用pytorch实现的可学习的参数)。可以用公式表示为：
[0027]f
obj
＝Obj_Decoder(f
grid
,O)
[0028]步骤3.3：f
obj
送入到一个MLP中，获得分类标签张量F
label
和边界框位置张量F
box
。其中F
label
是一个100x91维(COCO2014数据集带有90个标签类，外加一个背景类)的one
‑
hot张量，它最后一个维度中，91一个数字只有概率最大的一个为1。F
box
是一个100x4维的张量。
[0029]F
label
,F
box
＝MLP(f
obj
)
[0030]步骤3.4：利用分类标签张量F
label
对f
obj
进行筛选，若F
label
预测为背景，则将f
obj
中对应维度向量置为负无穷大，即标记为无效的背景目标。若F
label
预测为物体类别，则标记为有效目标。
[0031]步骤3.5：将F
box
进行相对位置编码获得位置信息向量R。
[0032]对于每一个F
box
包含有(x
i
,y
i
,h
i
,w
i
)四个变量分别表示中心点的横纵坐标以及这个边界框的宽度和高度。通过下面的公式计算f
obj
之间的相对关系r
i,j
,和r。
[0033][0034]r＝{r
i,j
}i,j∈1...num_obj
[0035]其中，r是一个对象与对象之间相对关系的矩阵,num_obj是有效目标的数量。随后对相对位置编码进行嵌入，使用激活函数、线性层和Transformer的位置编码函数PE()对r嵌入获得位置信息向量R，具体步骤由下面的公式表示：
[0036]R＝ReLU(PE(r)W
r
)
[0037]其中ReLU是一种激活函数，W
r
是线性层的可学习的参数矩阵。
[0038]步骤3.6：将获得的R、f
obj
以及f
grid
送入到特征融合解码器(Mix_Decoder)中生成解码后的特征h。
[0039]将COCO2014数据集中的标注句子经过单词字典后获得单词id，随后将单词id输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DETR的端到端的图像描述方法，其特征在于，步骤如下:步骤1：获取数据集以及训练需要的DETR权重；步骤2：构建基于DETR的图像描述模型；所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；步骤3：通过构建的基于DETR的图像描述模型输出预测单词；步骤4：通过设定的训练策略对基于DETR的图像描述模型进行训练；步骤5：通过训练好的基于DETR的图像描述模型完成图像描述。2.根据权利要求1所示的一种基于DETR的端到端的图像描述方法，其特征在于，步骤1具体方法如下：所述的数据集采用COCO2014数据集，它每条数据包含一张图片和五条人工标注的句子，下载Facebook开发的DETR模型权重，使用resnet101实现版本。3.根据权利要求2所示的一种基于DETR的端到端的图像描述方法，其特征在于，步骤2具体方法如下：所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；所述的骨干网络采用ResNet101卷积神经网络；所述的网格特征编码器为一个Transformer Encoder；所述的目标特征解码器为一个Transformer Decoder；所述的特征融合解码器基于Transformer Decoder改进，相比Transformer Decoder，将原来的MHA改为两个并联的注意力模块，分别是一个带有位置编码目标MHA和一个不带位置编码的网格MHA，除此之外在这两个注意力模块后串联一个特征融合模块；所述的带有位置编码目标MHA是指，在传统attention模块的Q、K点积的热力图上加上相对位置关系矩阵R；所述的特征融合模块是一个单层全连接神经网络；所述的文本生成器：包含一个带有softmax激活函数的MLP网络和一个单词字典，用来将特征融合解码器的输出结果转化为每一个时间步骤的单词概率分布，并将这个概率分布转化为词典中的单词id；最后输出该单词id对应的单词字符串，即为图像对应的描述。4.根据权利要求3所示的一种基于DETR的端到端的图像描述方法，其特征在于，步骤3具体方法如下：步骤3.1：进行网格特征编码；假设输入是一张图片I，首先利用骨干网络提取他的网格特征F
grid
；其次，将网格特征F
grid
作为待编码特征送入到网格特征编码器中进行编码得到f
grid
；计算过程可以用公式表示为：f
grid
＝Grid_Encoder(F
grid
)步骤3.2：进行目标特征输出；将f
grid
送入目标特征解码器获得目标特征f
obj
；目标特征解码器输入的编码后特征是f
grid
，待解码特征是一个100*512维度张量矩阵O(O是一组用pytorch实现的可学习的参数)；可以用公式表示为：f
obj
＝Obj_Decoder(f
grid
，O)
步骤3.3：f
obj
送入到一个MLP中，获得分类标签张量F
label
和边界框位置张量F
box
；其中F
label
是一个100x91维的one
‑
hot张量，它最后一个维度中，91一个数字只有概率最大的一个为1；F
box
是一个100x4维的张量；F
label
，F
box
＝MLP(f
obj
)步骤3.4：利用分类标签张量F
label
对f
obj
进行筛选，若F
label
预测为背景，则将f
obj
中对应维度向量置为负无穷大，即标记为无效的背景目标；若F
label
预测为物体类别，则标记为有效目标；步骤3.5：将F
box
进行相对位置编码获得位置信息向量R；对于每一个F
box
包含有(x
i
，y
i
，h
...

【专利技术属性】
技术研发人员：薛轶天，金裕达，颜成钢，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：