基于推敲注意力机制的图像描述生成系统及方法技术方案

本发明专利技术涉及图像理解领域，其公开了一种基于推敲注意力机制的图像描述生成系统及方法，解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括：a.数据集的处理：提取图像的全局特征和局部特征，构建数据集，对数据集中的单词进行标记，生成对应的词嵌入向量；b.训练图像描述生成模型：采用第一层基于残差注意力机制的解码器生成粗略的图像描述，采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色；c.结合强化学习进一步训练模型：在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。

Image Description Generation System and Method Based on Deliberative Attention Mechanism

【技术实现步骤摘要】
基于推敲注意力机制的图像描述生成系统及方法
本专利技术涉及图像理解领域，具体涉及基于推敲注意力机制的图像描述生成系统及方法。
技术介绍
图像描述的任务是：给定一张图片，自动生成对应的自然语言描述。生成的句子要求流畅，并且可以描述图片中的对象和场景。该研究方向可以应用于很多方面。例如：帮助盲人理解图片的内容。传统的图像描述模型一般采用编码器-解码器框架结合注意力机制。该框架已经取得了很好的效果。但是其仍然存在以下缺陷：首先，传统模型的训练和测试过程是通过一个解码器生成描述作为最终的结果。这种方式缺少润色过程，所以生成的图像描述不准确。其次，编码器-解码器框架存在训练测试过程数据流不一致的问题：在训练过程中，给定源序列，模型逐字生成目标序列。但是在测试过程中，由于源序列是不可知的。那么模型就只能根据之前生成的单词来预测下一个单词。但是已生成的单词中存在的微小错误可能在信息流中被不断放大。另外，传统的模型只关注生成描述的准确性，所以目标函数只判断生成的描述和真实的描述是否匹配。这种目标函数会忽略相似图片对应的描述之间的区别，所以会导致模型生成的描述辨识度不高。专利技术内容本专利技术所要解决本文档来自技高网...

【技术保护点】
1.基于推敲注意力机制的图像描述生成系统，其特征在于，包括：编码器、基于推敲注意力机制的解码器和增强学习模块；所述编码器，用于采用预训练好的ResNet‑101来提取图像的全局特征，结合预训练好的Faster R‑CNN和ResNet‑101来提取局部特征；所述基于推敲注意力机制的解码器，包括两层基于残差注意力机制的解码器，其中，第一层解码器用于生成粗略的图像描述，第二层解码器应用校正的过程来润色第一层解码器已生成的图像描述；所述增强学习模块，用于在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。

【技术特征摘要】
1.基于推敲注意力机制的图像描述生成系统，其特征在于，包括：编码器、基于推敲注意力机制的解码器和增强学习模块；所述编码器，用于采用预训练好的ResNet-101来提取图像的全局特征，结合预训练好的FasterR-CNN和ResNet-101来提取局部特征；所述基于推敲注意力机制的解码器，包括两层基于残差注意力机制的解码器，其中，第一层解码器用于生成粗略的图像描述，第二层解码器应用校正的过程来润色第一层解码器已生成的图像描述；所述增强学习模块，用于在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。2.基于推敲注意力机制的图像描述生成方法，应用于如权利要求1所述的系统中，其特征在于，包括以下步骤：a.数据集的处理：提取图像的全局特征和局部特征；构建数据集，对数据集中的单词进行标记，生成对应的词嵌入向量；b.训练图像描述生成模型：采用第一层基于残差注意力机制的解码器生成粗略的图像描述，采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色；c.结合强化学习进一步训练模型：在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。3.如权利要求2所述的方法，其特征在于，步骤a中，用于采用预训练好的ResNet-101来提取图像的全局特征，结合预训练好的FasterR-CNN和ResNet-...

【专利技术属性】
技术研发人员：宋井宽，樊凯旋，高联丽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51