一种基于图像识别与文本融合的博物馆展品智能导览方法技术

本发明专利技术提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明专利技术步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

An Intelligent Guide Method for Museum Exhibits Based on Image Recognition and Text Fusion

【技术实现步骤摘要】
一种基于图像识别与文本融合的博物馆展品智能导览方法
本专利技术涉及图像识别与文本融合
，尤其涉及一种基于图像识别与文本融合的博物馆展品智能导览方法。
技术介绍
博物馆是人们学习历史、了解专业领域发展和丰富精神文化生活的重要载体。在传统博物馆中，导览服务主要由讲解员提供，不仅自由性差、展示形式单一、用户无法高效筛选自己想要了解的知识，甚至需要用户支付额外的费用，有时还会造成博物馆展厅内的局部堵塞。而现有的博物馆导览技术主要是基于RFID(射频识别)的技术，用户在参观时被动的接受相关展品的语音信息，体验性差，并且这种方式需要在博物馆内安装大量的无线发射装置作为展品的电子标签，安装费用高昂，而且受博物馆场馆环境的限制。近年来新兴的基于二维码的手机APP导览系统，通过对展品的二维码标签进行扫描，搜索展品的相关信息，这种方法的不足之处是需要对所有的展品都贴上二维码标签。更重要的是，以上这些方法的介绍内容都是通过查询数据库获取的，而数据库中的信息通常更新速度较慢，造成信息的滞后。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于图像识别与文本融合的博物馆展品智能导览方法，本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本；为解决上述技术问题，本专利技术所采取的技术方案是：本专利技术提供一种基于图像识别与文本融合的博物馆展品智能导览方法，包括如下步骤：步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A1、A2、…、An组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：其中，，u0、We、w′e为单隐层的神经网络的参数，r代表An被选入摘要的概率，代表μ时刻的句子An，hμ为μ时刻LSTM网络的中间状态，hμ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子An出现在T中的概率越大；ci为关键字，当句子中含有的关键词越多，hμ′越大，最后该句子选入摘要中的概率越大。步骤5：将步骤4中得到的摘要T进行资讯融合；将摘要S中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。所述步骤2的具体步骤如下：步骤2.1：使用VGG网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区域则选择为建议注意力区域正方形；分类子网络f由一个全连接层以及一个softmax层组成：P(X)＝f(wc*X)其中，X为输入的图像，P(X)为分类子网络的输出结果向量，向量的每一个维度表示输入图像属于该维度代表的种类的概率，wc为图像特征提取过程的参数矩阵；wc*X包括三段卷积网络，每段卷积网络含有两个卷积层以及一个最大池化层，经过图像特征提取得到的特征图谱分别送入分类子网络f以及注意力建议子网络g；注意力建议子网络g由两个全连接层组成，其中最后一个全连接层的输出通道为3个，分别对应tx,ty,tl；[tx,ty,tl]＝g(wc*X)其中，tx,ty为输出注意力区域中心点的横纵坐标、tl为输出注意力区域的边长的1/2；从原图中裁剪提取出注意力区域的过程为：Xatt＝X⊙M(tx,ty,tl)其中，Xatt为注意力区域，X为原始输入图像，M(tx,ty,tl)表示由tx,ty,tl生成的掩膜；步骤2.2：整个网络以交替的方式进行训练，保持注意力区域建议子网络的参数不变，根据双线性插值的方法对每个注意力区域进行放缩；每个注意力区域建议的输出区域放大到与输入图像X大小相同的像素；所述放缩方法如下：首先进行水平方向的插值：其中R1＝(x,y1)；其中R2＝(x,y2)接下来进行竖直方向的插值，求出p点的像素值：其中，p(x,y)表示待插点p的坐标为x、y，q(p)为待插点p的像素值,Q11(x1,y1)、Q12(x1,y2)、Q21(x2,y1)、Q22(x2,y2)分别为待插点p周围的四个点，x1,y1为点Q11的坐标，x1,y2为点Q12的坐标，x2,y1为点Q21的坐标，x2,y2为点Q22的坐标；R1为p点垂线与Q11和Q21两点形成的线段的焦点，x,y1为点R1的坐标；R2为p点垂线与Q12和Q22两点形成线段的焦点，x,y2为点R2的坐标；步骤2.3：根据放缩后的注意力区域来优化每个尺度的分类损失，每个尺度的学习包括一个分类子网络和一个注意力区域建议子网络；固定卷积层和分类层的参数不变，使用损失函数来优化注意力区域建议子网络；损失函数L(X)由分类损失与ranking损失两个部分构成，根据损失函数L(X)表示为：其中，Y*表示图像的真实种类，Ys表示在s尺度下的分类结果，Po(s)表示在s尺度下分类子网络输出为真实种类的概率；ranking损失Lrank(Po(s),Po(s+1))为：Lrank(Po(s),Po(s+1))＝max(0,Po(s)-Po(s+1)+margin)其中margin表示阈值。采用上述技术方案所产生的有益效果在于：本专利技术提供的一种基于图像识别与文本融合的博物馆展品智能导览方法，可以通过用户对展品进行拍照，精确的识别出展品的种类名称，并根据展品的名称提取出关键词进行相关资讯的收集，最后通过自动摘要技术以及文本融合技术为用户返回一段具有时效性的相关介绍。本专利技术采取的技术方案是通过卷积神经网络学习博物馆展品的特征，构建一个可以根据用户实时拍摄的图像高准确率的给出相应种类名称的神经网络模型框架，根据识别的结果收集相关的资讯进行信息的提取与整合，实现博物馆展品智能导览的功能。通过在不同尺度下循环学习的方法准确的识别细粒度相似图像的种类，后续的在线资讯获取及处理过程可以提供最新的介绍信息，在资讯处理的过程中，通过将关键词信息加入损失函数，使得处理的结果更加精确本文档来自技高网...

【技术保护点】
1.一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：包括如下步骤：步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A1、A2、…、An组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：...

【技术特征摘要】
1.一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：包括如下步骤：步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A1、A2、…、An组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：其中，，u0、We、w′e为单隐层的神经网络的参数，r代表An被选入摘要的概率，代表μ时刻的句子An，hμ为μ时刻LSTM网络的中间状态，hμ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子An出现在T中的可能性越大；ci为关键字，当句子中含有的关键词越多，hμ′越大，最后该句子选入摘要中的概率也就更大；步骤5：将步骤4中得到的摘要T进行资讯融合；将摘要S中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。2.根据权利要求1所述的一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：所述步骤2的具体步骤如下：步骤2.1：使用VGG网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区...

【专利技术属性】
技术研发人员：王斌，杨晓春，张斯婷，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21