基于自适应局部概念嵌入的图像描述方法技术

本发明专利技术公开一种基于自适应局部概念嵌入的图像描述方法，属于人工智能技术领域，包括如下步骤：步骤1，采用目标检测器提取待描述图像的若干个候选区及各候选区对应的特征；步骤2，将步骤1提取的特征输入训练好的神经网络，从而输出待描述图像的描述结果。此种方法针对传统基于注意力机制的图像描述方法没有显性建模局部区域与概念的关系的缺点，提出通过上下文机制，自适应生成视觉区域并由此生成视觉概念的方案，强化视觉到语言的连接，从而提高生成描述的准确性。

【技术实现步骤摘要】
基于自适应局部概念嵌入的图像描述方法
本专利技术涉及人工智能领域中的图像自动描述，特别涉及一种基于图片用自然语言对图像客观内容进行描述的基于自适应局部概念嵌入的图像描述模型的研究方法。
技术介绍
图像自动描述(ImageCaptioning)是近年来人工智能界提出的一个机器终极智能任务，它的任务是将于一张给定图像，用自然语言对图像客观内容进行描述。随着计算机视觉技术的发展，完成目标检测、识别、分割等任务已经不能满足人们的生产需求，对如何自动客观的对图像内容自动描述有迫切的需求。和目标检测及语义分割等任务不同，图像自动描述要将图像中的物体、属性、物体间的关系以及相应的场景等用自动语言进行整体而客观的描述，该任务是计算机视觉理解的重要方向之一，被视为人工智能的一个重要标志。早先的图像自动描述主要采用基于模板的方法和基于检索的方法实现，直到近来受自然语言技术的启发，开始使用编码器-解码器框架，注意力机制以及以强化学习为基础的目标函数，该任务取得了极大的进展。Xu等人[1]首次在图片描述任务中引入了注意力机制，用来将重要的视觉属性和场景本文档来自技高网...

【技术保护点】
1.一种基于自适应局部概念嵌入的图像描述方法，其特征在于包括如下步骤：/n步骤1，采用目标检测器提取待描述图像的若干个候选区及各候选区对应的特征；/n步骤2，将步骤1提取的特征输入训练好的神经网络，从而输出待描述图像的描述结果；其中，神经网络的全局损失函数通过如下方法获得；/n步骤A1，对训练集中的文本内容进行预处理，得到句子序列；对训练集中的图像，采用目标检测器提取若干个候选区，并提取各个候选区所对应的特征V＝{v

【技术特征摘要】
1.一种基于自适应局部概念嵌入的图像描述方法，其特征在于包括如下步骤：
步骤1，采用目标检测器提取待描述图像的若干个候选区及各候选区对应的特征；
步骤2，将步骤1提取的特征输入训练好的神经网络，从而输出待描述图像的描述结果；其中，神经网络的全局损失函数通过如下方法获得；
步骤A1，对训练集中的文本内容进行预处理，得到句子序列；对训练集中的图像，采用目标检测器提取若干个候选区，并提取各个候选区所对应的特征V＝{v1,v2…,vk}，其中vi∈Rd，i＝1,2,…,k，d为各个特征向量的维度；
步骤A2，将特征V送入自适应引导信号生成层，生成自适应引导信号；
步骤A3，采用注意力机制，利用自适应引导信号获取局部视觉特征，并由此得到局部概念；
步骤A4，通过向量裂解的方法将局部概念嵌入到生成模型中，获取当前输出词；
步骤A5，迭代生成整个句子，并定义生成句子的损失函数。


2.如权利要求1所述的基于自适应局部概念嵌入的图像描述方法，其特征在于：所述步骤1中，目标检测器的训练方法是：目标检测器采用FasterR-CNN框架，其骨架网络是深度卷积残差网络，首先采用端到端的方法在经典目标检测数据集PASCALVOC2007中进行训练，然后在多模态数据集VisualGenome上进一步训练微调网络参数。


3.如权利要求1所述的基于自适应局部概念嵌入的图像描述方法，其特征在于：所述步骤A1中，对训练集中的文本内容进行预处理，得到句子序列的具体过程是：首先对训练集中的文本内容进行去停用词处理，并将所有英文词汇进行小写化；然后对文本内容按空格进行分词，对于得到的若干单词，剔除数据集描述中出现次数小于阈值的单词，使用“<UNK>”进行替代；最后，句子的开头和结尾分别加入开始符“<BOS>”和结束符“<END>”。


4.如权利要求1所述的基于自适应局部概念嵌入的图像描述方法，其特征在于：所述步骤A2中，基于特征V生成自适应引导信号的相关公式如下：









其中，t为句子序列的第t个词，为该自适应引导信号生成层的输入，且We为词向量矩阵，是该层输出的引导信号，xt表示t时刻输入的词所对应的索引。


5.如权利要求4所述的基于自适应局部概念嵌入的图像描述方法，其特征在于：所述步骤A3的具体过程是：
首先根据如下公式：



...

【专利技术属性】
技术研发人员：王溢，王振宁，许金泉，曾尔曼，
申请(专利权)人：南强智视厦门科技有限公司，
类型：发明
国别省市：福建;35