面向视觉障碍人士的深度视觉问答系统的构建方法技术方案

本发明专利技术公开了一种面向视觉障碍人士的深度视觉问答系统的构建方法，该方法在训练阶段：先采集到的图片和相应的问答文本构成训练集；对于图片采用卷积神经网络提取图片的特征；对于问题文本，使用词向量的技术将问题转换为词向量列表，并作为LSTM的输入对问题特征进行提取；最后将图片和问题特征进行元素点积后进行分类操作获得答案预测值，与训练集中的答案标签进行比对计算损失，然后用反向传播算法对模型进行优化。在运行阶段：客户端获得用户拍摄的照片和提问文本并上传到服务端，服务端对上传的照片和问题文本输入到训练好的模型中，以同样的方式提取特征，通过分类器输出相应的答案预测值回馈到客户端；客户端以语音输出的形式反馈给用户。

【技术实现步骤摘要】
面向视觉障碍人士的深度视觉问答系统的构建方法
本专利技术涉及深觉问答(VisualQuestionAnswering)领域，一块同时涉及到NaturalLanguageProcessing(自然语言处理，NLP)和ComputerVison(计算机视觉，CV)的交叉领域，尤其涉及一种面向视觉障碍人士的深度视觉语音系统的构建方法。
技术介绍
视力受损人群在世界所占比例巨大。另外根据国家统计局的数据，2014年中国约有盲人600-700万，另有双眼低视力患者1200万。这些人群在日常生活中都会碰到许多问题，以盲人出行为例，虽然有盲道，但很多时候盲人根本不敢行走在盲道上，因为盲道经常会被占用，更不用说过马路时的危险了。因此他们非常需要一些辅助设备来帮助他们“重现光明”。当前的语音助手普遍只具有问题输入，回答输入，而不具备“视力”帮助其“看”到所处的情景。在计算机视觉领域中有一种叫做图片说明(ImageCaption)的技术，它采用深度学习对给定的图片给出阐释，它仅仅提取了当前的图片的关键信息，并没有结合文本输入。具体例子如微软识花等。当今也有一些在功能上能够帮助到盲人出行的一些应用。比如一本文档来自技高网...

【技术保护点】
一种面向视觉障碍人士的深度视觉问答系统的构建方法，其特征在于，该方法包括如下步骤：(1)数据收集和标注(1.1)数据收集：拍摄视觉障碍人士的生活场景图片，或者从互联网通过网络爬虫的方式对相关图片进行检索和爬取，图片的数量至少为几十万的数量级。(1.2)数据标注：对每一张图片都相应地标注至少三个问题，每个问题至少给出十个答案，每个答案对应一个置信度。(2)数据清洗和预处理(2.1)对于某一个问题的所有答案记为a

【技术特征摘要】
1.一种面向视觉障碍人士的深度视觉问答系统的构建方法，其特征在于，该方法包括如下步骤：(1)数据收集和标注(1.1)数据收集：拍摄视觉障碍人士的生活场景图片，或者从互联网通过网络爬虫的方式对相关图片进行检索和爬取，图片的数量至少为几十万的数量级。(1.2)数据标注：对每一张图片都相应地标注至少三个问题，每个问题至少给出十个答案，每个答案对应一个置信度。(2)数据清洗和预处理(2.1)对于某一个问题的所有答案记为a1,a2,...an(n为一个问题对应答案的总个数)，这些答案对应的置信度为w1,w2,…,wn，a1,a2,...an中有m不同的答案，记为A1,A2,...Am，将相同答案的置信度进行统计累加，得到W1,W2,...Wm；从而获得Ak，Ak即为该问题的最终答案，其中k的取法如下；k＝argmax{Wl},l＝1,2,…,m；进而获得所有问题对应的答案，这些答案构成答案集Sa1。(2.2)对Sa1进行统计和筛选，获得出现频率最高的Ma个答案，将这些答案加入到一个新的答案集Sa2中，记再对所有问题进行逐一检索，如果该问题的答案不属于Sa2，则将该问题删除；若图片对应的所有问题均被删除，则删除该图片；将剩下的问题数量记为N。(2.3)对步骤(2.2)获得的Sa2采用one-hot编码方式获得每个答案对应的one-hot向量，构成one-hot向量表。(2.4)通过步骤(2.2)对问题进行删除后，将剩下的问题的最终答案，通过查询步骤(2.3)得到的one-hot向量表，得到每个最终答案对应的one-hot向量；记为{Y(0),Y(1),…,Y(N-1)}，Y(0)为第0个答案对应的one-hot向量，Y(1)为第1个答案对应的one-hot向量，Y(N-1)为第N-1个答案对应的one-hot向量。(2.5)通过步骤(2.2)对问题进行删除后，将每一个问题进行分词，得到该问题的单词列表，根据现有的词向量表，将单词列表中的每个单词映射为词向量，从而得到词向量列表；对于在词向量表中没有的单词，该单词对应的词向量为零向量；统计所有问题对应的词向量列表的长度，得到长度的最大值为Lq；对长度小于Lq的词向量列表，用零向量进行填充，填充至其长度为Lq，从而将每一个问题都转换成了一个长度为Lq的词向量列表；记为{VQ(0),VQ(1),…,VQ(N-1)}，VQ(0)为第0个问题的词向量列表，VQ(1)为1个问题的词向量列表，VQ(N-1)为N-1个问题的词向量列表。(2.6)通过步骤(2.2)对图片进行删除后，将剩下的每一张图片缩放至固定大小；采用VGGNet来提取缩放后的图片I的特征向量VI；提取公式如下：VI＝CNNvgg(I)从而每一个问题对应的图片都转换成了一个长度为Lhidden的特征向量；记为{VI(0),VI(1),…,VI(N-1)}，VI(0)为第0个问题对应的图片的特征向量，VI(1)为第1个问题对应的图片的特征向量，VI(N-1)为第N-1个问题对应的图片的特征向量；(2.7)将步骤(2.4)获得的{Y(0),Y(1),…,Y(N-1)}，步骤(2.5)获得的{VQ(0),VQ(1),…,VQ(N)}，步骤(2.6)获得的{VI(0),VI(1),…,VI(N-1)}，作为训练集；记为{(VQ(0),VI(0),Y(0)),(VQ(1),VI(1),Y(1)),…,(VQ(N-1),VI(N-1),Y(N-1))}。(3)视觉问答模型训练(3.1)构建LSTM神经网络(3.1.1)对于步骤(2.5)获得的第i个问题对应的词向量列表VQ(i)，将VQ(i)中的每...

【专利技术属性】
技术研发人员：潘浩杰，刘洋，周君沛，陆家林，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33