多语言图像问答制造技术
【技术实现步骤摘要】
【国外来华专利技术】多语言图像问答相关申请的交叉引用本申请根据35USC§119(e)要求提交于2015年5月21日的标题为“DatasetandMethodsforMultilingualImageQuestionAnswering”且将HaoyuanGao、JunhuaMao、JieZhou、ZhihengHuang、LeiWang和WeiXu列为专利技术人的共同转让和共同未决的美国临时专利申请号62/164,984(案卷号28888-1948P)的优先权。上述专利文献通过引用以其整体并入本文中。
本专利技术总体涉及改进人机交互的接口。更具体地，本公开涉及用于改进来自图像输入和问题输入的问答的自动化的系统和方法。
技术介绍
问答(QA)是信息检索和自然语言处理(NLP)领域内的计算机科学学科，其与建构自动回答由人以自然语言设定提出的问题的系统相关。在信息检索中，开放域问答系统旨在响应于用户的问题来返回答案。该系统使用来自计算语言学、信息检索和知识表示的技术的组合以用于寻找答案。关于图像标注任务已作出许多研究。这些研究中的大多数是基于深度神经网络(例如，深度卷积神经网络、循环神经网...
【技术保护点】
计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机‑用户交互，所述方法包括：接收呈自然语言形式的问题输入；接收与所述问题输入相关的图像输入；以及将所述问题输入和所述图像输入输入到多模态问答(mQA)模型中，以产生包括按顺序产生的多个字的答案，所述mQA模型包括：第一部件，将所述问题输入编码成密集向量表示；第二部件，用于提取所述图像输入的视觉表示；第三部件，用于提取所述答案中的当前字的表示和所述当前字的语言语境；以及第四部件，利用融合以在所述答案中的当前字后面产生下一字，所述融合包括所述密集向量表示、所述视觉表示和所述当前字的表示。
【技术特征摘要】
【国外来华专利技术】2015.05.21 US 62/164,984;2016.04.25 US 15/137,1791.计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法包括：接收呈自然语言形式的问题输入；接收与所述问题输入相关的图像输入；以及将所述问题输入和所述图像输入输入到多模态问答(mQA)模型中，以产生包括按顺序产生的多个字的答案，所述mQA模型包括：第一部件，将所述问题输入编码成密集向量表示；第二部件，用于提取所述图像输入的视觉表示；第三部件，用于提取所述答案中的当前字的表示和所述当前字的语言语境；以及第四部件，利用融合以在所述答案中的当前字后面产生下一字，所述融合包括所述密集向量表示、所述视觉表示和所述当前字的表示。2.根据权利要求1所述的计算机实施方法，其中，所述第一部件是包括第一字嵌入层和第一长短期记忆(LSTM)层的第一LSTM网络。3.根据权利要求2所述的计算机实施方法，其中，所述第三部件是包括第二字嵌入层和第二LSTM层的第二LSTM网络。4.根据权利要求3所述的计算机实施方法，其中，所述第一字嵌入层与所述第二字嵌入层共享权重矩阵。5.根据权利要求3所述的计算机实施方法，其中，所述第一LSTM层不与所述第二LSTM层共享权重矩阵。6.根据权利要求1所述的计算机实施方法，其中，所述第二部件是深度卷积神经网络(CNN)。7.根据权利要求1所述的计算机实施方法，其中，所述CNN被预训练以及在问答训练期间被修复。8.根据权利要求1所述的计算机实施方法，其中，所述第一部件、所述第二部件、所述第三部件和所述第四部件被一同联合训练。9.根据权利要求3所述的计算机实施方法，其中，所述第四部件是融合部件，包括：融合层，将来自所述第一LSTM层、所述第二LSTM层和所述第二部件的信息融合以针对所述答案中的当前字产生密集多模态表示；中间层，将所述融合层中的密集多模态表示映射到密集字表示；以及Softmax层，预测所述答案中的所述下一字的概率分布。10.计算机实施方法，通过产生与图像输入相关的问题输入的答案来改进计算机-用户交互，所述方法包括：使用包括第一字嵌入层和第一长短期记忆(LSTM)层的第一LSTM部件来提取问题输入的语义含义；使用深度卷积神经网络(CNN)部件来产生与所述问题输入相关的图像输...
【专利技术属性】
技术研发人员：高浩渊，毛俊骅，周杰，黄志恒，王蕾，徐伟，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。