用于神经临床释义生成的系统和方法技术方案

本公开涉及释义生成系统。所述系统包括一个或多个硬件处理器和/或其他部件。所述系统被配置为获得训练语料库。所述训练语料库包括语言和对语言的已知释义。所述系统被配置为基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型。所述系统被配置为基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。所述基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。所述单词级LSTM网络和所述字符级LSTM网络是基于所述训练语料库中的单词和字符来生成的。在一些实施例中，所述LSTM网络是堆叠的残余LSTM网络，其包括给定LSTM网络的堆叠层之间的残余连接。

【技术实现步骤摘要】
【国外来华专利技术】用于神经临床释义生成的系统和方法
本公开涉及一种释义生成系统，其被配置为提供对自然语言输入的一个或多个释义。
技术介绍
神经机器翻译系统是已知的。现有的神经机器翻译系统通常使用编码器-解码器方法(例如，其中，根据源句子来生成固定长度矢量用于形成目标句子)或基于关注的软搜索方法(例如，其中，模型能够学习联合对齐和翻译，这有助于通过使用最相关源词的上下文向量来改进相对长句中的目标词预测)方法，经由单词级计算执行双语机器翻译。给定未知源词，这些方法不能准确地预测目标词(例如，未包括在神经网络的训练数据集中的词)。
技术实现思路
因此，本公开的一个或多个方面涉及一种系统，其被配置为包括一个或多个硬件处理器和/或其他部件的释义生成系统。所述一个或多个硬件机处理器通过计算机可读指令被配置为：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述单词级和字符级基于关的注模型两者来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使得基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述一个或多个硬件处理器被配置为基于训练语料库来生成基于句子级关注的模型，并基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使用训练语料库来确定单词级、字符级和句子级嵌入；基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入；基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型；并且基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使用递归神经网络(RNN)和/或卷积神经网络(CNN)来确定句子级、单词级和字符级嵌入。在一些实施例中，所述一个或多个硬件处理器被配置为使得提供所述一个或多个候选释义包括确定针对强化学习模型的奖励函数，所述强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且根据所述比较来输出候选释义。在一些实施例中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。本公开的另一方面涉及一种利用所述释义生成系统来生成释义的方法。所述方法包括：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述单词级和基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述方法还包括基于训练语料库来生成基于句子级关注的模型，并且基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义。在一些实施例中，所述方法还包括：使用训练语料库来确定单词级、字符级和句子级嵌入；基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入；基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型；并且基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。在一些实施例中，提供一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。在一些实施例中，基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。本公开的又一方面涉及一种用于生成释义的系统。所述系统包括：用于获得训练语料库的单元，所述训练语料库包括语言和所述语言的释义；用于基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型的单元；以及用于基于所述单词级和字符级基于关的注模型两者来提供自然语言输入的一个或多个候选释义的单元。在一些实施例中，所述基于单词级关注的模型是单词级双向LSTM网络，并且所述基于字符级关注的模型是字符级双向LSTM网络。基于训练语料库中的单词和字符来生成单词级和字符级LSTM网络。在一些实施例中，所述系统还包括用于基于训练语料库来生成基于句子级关注的模型并且基于句子级、单词级和基于字符级关注的模型来提供自然语言输入的一个或多个候选释义的单元。在一些实施例中，所述系统还包括用于使用训练语料库来确定单词级、字符级和句子级嵌入的单元；用于基于根据现有知识库已知的语义关系来更新单词级、字符级和句子级嵌入的单元；用于基于经更新的单词级和字符级嵌入来生成单词级和基于字符级关注的模型的单元；以及用于基于单词级和基于字符级关注的模型以及所述经更新的句子级嵌入来提供一个或多个候选释义的单元。在一些实施例中，使用RNN和/或CNN来确定句子级、单词级和字符级嵌入。在一些实施例中，提供一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。在一些实施例中，基于单词级关注的模型是堆叠的残余单词级双向LSTM网络，并且基于字符级关注的模型是堆叠的残余字符级双向LSTM网络。所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。本专利技术的这些和其他目的、特征和特性，以及相关结构元件的操作方法和功能以及部件组合和制造经济性将在参考附图理解本专利技术和权利要求后变得更加明显，所有附图均形成说明书的一部分，其中，在各个附图中，相同的附图标记指代对应的部件。然而，要明确理解，附图仅出于图示和说明的目的并且不旨在作为对本公开的限度的限制。附图说明图1是释义生成系统的示意图。图2图示了多层CNN架构。图3图示了多层RNN架构。图4A图示了LSTM网络。图4B图示了堆叠的残余双向LSTM网络。图5图示了强化学习架构。图6图示了由系统执行的一部分操作。图7图示了利用释义生成系统来生成释义的方法。具体实施方式本文中使用的单数形式的“一”、“一个”以及“该”包括多个指代物，除非上下文中明确地另行规定。本文中所用的两个或多个零件或部件被“耦合”的表述将意味着所述零件直接或间接地(即，通过一个或多个中间零件或部件，只要发生连接)被结合到一起或一起工作。本文中所用的“直接耦合”意指两个元件彼此直接接触。本文中所用的“固定耦合”或“固定”意指两个部件被耦合以作为一体移动，同时维持相对于彼此的固定取向。本文本文档来自技高网...

【技术保护点】
1.一种包括通过机器可读指令配置的一个或多个硬件处理器(20)的释义生成系统(10)，所述机器可读指令用于：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。

【技术特征摘要】
【国外来华专利技术】2016.01.26 US 62/286,9891.一种包括通过机器可读指令配置的一个或多个硬件处理器(20)的释义生成系统(10)，所述机器可读指令用于：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。2.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且所述基于字符级关注的模型是字符级双向LSTM网络，并且其中，所述单词级LSTM网络和所述字符级LSTM网络是基于所述训练语料库中的单词和字符来生成的。3.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器被配置为基于所述训练语料库来生成基于句子级关注的模型，其中，所述一个或多个硬件处理器被配置为基于所述基于句子级关注的模型、所述基于单词级关注的模型和所述基于字符级关注的模型来提供所述自然语言输入的所述一个或多个候选释义。4.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器还被配置为：使用所述训练语料库来确定单词级嵌入、字符级嵌入和句子级嵌入；基于根据现有知识库已知的语义关系来更新所述单词级嵌入、所述字符级嵌入和所述句子级嵌入；基于经更新的单词级嵌入和字符级嵌入来生成所述基于单词级关注的模型和所述基于字符级关注的模型；并且基于所述基于单词级关注的模型和所述基于字符级关注的模型以及经更新的句子级嵌入来提供所述一个或多个候选释义。5.根据权利要求4所述的系统，其中，所述一个或多个硬件处理器被配置为使用递归神经网络(RNN)和/或卷积神经网络(CNN)来确定所述单词级嵌入、所述字符级嵌入和所述句子级嵌入。6.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器被配置为使得提供所述一个或多个候选释义包括确定奖励函数强化学习模型，所述奖励函数强化学习模型被配置为将候选释义词选择的语义相似性和新颖性与目标句子进行比较，并且基于所述比较来输出候选释义。7.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器被配置为使得所述基于单词级关注的模型是堆叠的残余单词级双向长短期记忆(LSTM)网络，并且所述基于字符级关注的模型是堆叠的残余字符级双向LSTM网络，所述堆叠的残余LSTM网络包括给定LSTM网络的堆叠层之间的残余连接。8.一种利用释义生成系统(10)来生成释义的方法，所述系统包括通过机器可读指令配置的一个或多个硬件处理器(20)，所述方法包括：获得训练语料库，所述训练语料库包括语言和所述语言的释义；基于所述训练语料库来生成基于单词级关注的模型和基于字符级关注的模型；并且基于所述基于单词级关注的模型和所述基于字符级关注的模型两者来提供自然语言输入的一个或多个候选释义。9.根据权利要求8所述的方法，其中，所述基于单词级关注的模型是单词级双向长短期记忆(LSTM)网络，并且所述基于字符级关注的模型是字符级双向LSTM网络，并且其中，所述单词级LSTM网络和所述字符级LSTM网络是基于所述训练语料库中的单词和字符来生成的。10.根据权利要求8所述的方法，还包括：基于所述训练语料库来生成基于句子级关注的模型，并且基于所述基于句子级关注的模型、所述基于单词级关注的模型和所述基于字符级关注的模型来提供所述自然语言输入的所述一...

【专利技术属性】
技术研发人员：S·S·阿尔哈桑，刘波，O·F·法里，柳俊毅，A·普拉卡什，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL