【技术实现步骤摘要】
一种图像语义细粒度的描述生成方法
本专利技术属于计算机视觉和自然语言处理
,特别是涉及一种图像语义细粒度的描述生成方法。
技术介绍
在人工智能的时代背景下,运用计算机理解图像,获取图像语义描述是一项具有前景的研究。运用计算机语义化理解图像,不仅涉及到计算机视觉,也与自然语言处理息息相关,是一项融合计算机视觉技术与自然语言处理技术的综合任务。计算机对图像进行语义分析、理解和自动描述是极具潜力的应用。对图像语义描述技术的推广研究也将为相关领域带来更广阔的应用场景,如图像检索、安全辅助驾驶、为视觉障碍人士提供视觉辅助、智能服务机器人和幼儿教育等领域。早期的图像描述方法是通过将从图像中提取的对象和属性填充到预定义的句子模板中;随着深度学习的发展,目前主流的方法是基于编码器-解码器的体系结构,其中使用卷积神经网络提取图像特征,使用循环神经网络生成图像描述内容。当前图像语义描述模型对于内容复杂的图像,如图像中存在多义和不确定的事务、隐式和显式的信息、复杂场景、复杂的对象与对象的关系等,生成的描述难以完整地描述图像语义,描述内容过于简单。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种旨在针对当前图像描述难以完整地描述图像语义以及生成的描述内容过于简单的问题,图像语义细粒度的描述生成方法。本专利技术的技术方案如下:一种图像语义细粒度的描述生成方法,其包括以下步骤:步骤1:获取开源并且已经标注描述的图像数据集,根据数据集的大小,划分训练集、验证集和测试集;抓取 ...
【技术保护点】
1.一种图像语义细粒度的描述生成方法,其特征在于,包括以下步骤:/n步骤1:获取开源并且已经标注描述的图像数据集,根据数据集的大小,划分训练集、验证集和测试集;抓取网络上公开的文本数据,构建语料库;/n步骤2:对步骤1的图像数据和文本数据进行绑定、筛选、转格式和向量化的预处理;/n步骤3:引入注意力机制的网络模型对图像进行特征提取,引入注意力机制的网络模型自动选定图像中感兴趣的提议区域,并提取此区域的图像特征;/n步骤4:根据步骤3提取出的感兴趣区域图像特征作为反馈,对全局特征进一步筛选,提取出语义补充区域的特征。/n步骤5:将步骤3提取出的感兴趣区域的特征输入到第一个长短时记忆网络,生成粗糙的图像语义描述;/n步骤6:将步骤4提取出的语义补充区域的特征和步骤5已生成的图像语义描述输入到第二个长短时记忆网络(LSTM),LSTM根据补充区域的特征细化图像语义的描述,最终得到图像语义细粒度的描述。经过训练,输入一张图片就能对图片进行理解,输出细粒度的图像描述。/n
【技术特征摘要】
1.一种图像语义细粒度的描述生成方法,其特征在于,包括以下步骤:
步骤1:获取开源并且已经标注描述的图像数据集,根据数据集的大小,划分训练集、验证集和测试集;抓取网络上公开的文本数据,构建语料库;
步骤2:对步骤1的图像数据和文本数据进行绑定、筛选、转格式和向量化的预处理;
步骤3:引入注意力机制的网络模型对图像进行特征提取,引入注意力机制的网络模型自动选定图像中感兴趣的提议区域,并提取此区域的图像特征;
步骤4:根据步骤3提取出的感兴趣区域图像特征作为反馈,对全局特征进一步筛选,提取出语义补充区域的特征。
步骤5:将步骤3提取出的感兴趣区域的特征输入到第一个长短时记忆网络,生成粗糙的图像语义描述;
步骤6:将步骤4提取出的语义补充区域的特征和步骤5已生成的图像语义描述输入到第二个长短时记忆网络(LSTM),LSTM根据补充区域的特征细化图像语义的描述,最终得到图像语义细粒度的描述。经过训练,输入一张图片就能对图片进行理解,输出细粒度的图像描述。
2.根据权利要求1所述的一种图像语义细粒度的描述生成方法,其特征在于,所述步骤1具体采用的数据集如下:
a:Flickr30k数据集,经过选取和切分,包含29000张训练图片,1000张验证图片,1000张测试图片;
b:抓取100多万条英文句子组成图像描述语料库。
3.根据权利要求1所述的一种图像语义细粒度的描述生成方法,其特征在于,所述步骤2对步骤1的图像数据和文本数据进行预处理,具体包括步骤:
将图像数据调整为相同的尺寸;去除语料库的符号、数字和特殊字符,将所有的文本数据转换为预定义的json格式,设置最大的单词频率,将出现次数超过设置的单词频率的单词,添加到词典中;将出现次数低于设置的单词频率的单词,使用预设符号代替,构建出词典;根据词典的大小,通过Word2Vec编码方法对单词进行词向量化。
4.根据权利要求1所述的一种图像语义细粒度的描述生成方法,其特征在于,所述步骤3引入注意力机制的网络模型对图像进行特征提取,引入注意力机制的网络模型自动选定图像中感兴趣的提议区域,并提取此区域的图像特征,具体包括:
使用Faster-RCNN网络提取图像感兴趣区域特征向量,输入的图像经过卷积神经网络CNN提取全局特征,再输入到区域提议网络RPN提取图像感兴趣区域特征,得到的图像感兴趣区域特征向量,每一维代表了图像特征,维度为2048;对感兴趣区域进一步分组,将感兴趣区域设为集合B,将提取的物体特征结点信息设为集合N,将边界框设为R,构建特征信息图G={B,N,R},将构建的特征信息图和编码的词向量输入到图神经网络GNN,候选区域特征的特征向量为fib,物体特征向量为fin,...
【专利技术属性】
技术研发人员:李红波,汤跃,吴渝,
申请(专利权)人:重庆邮电大学,
类型:发明
国别省市:重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。