【技术实现步骤摘要】
【国外来华专利技术】语言处理装置、语言处理系统和语言处理方法
本专利技术涉及语言处理装置、语言处理系统和语言处理方法。
技术介绍
作为根据大量信息提示必要信息的技术之一，存在询问应答技术。询问应答技术的目的在于，将用户平时使用的语句直接作为输入，恰当地输出用户需要的信息。在处理用户平时使用的语句时，适当地处理存在于处理对象句子中的未知词即事前准备的文档中未使用的单词是重要的。例如，在非专利文献1记载的现有技术中，通过使用大规模语料库的机器学习来判断单词和句子周围的上下文，由此，利用表示单词和句子的意思的数值向量(以下记作意思向量)表现处理对象句子。在生成意思向量时使用的大规模语料库包含大量词汇，因此，具有在处理对象句子中不容易产生未知词这样的优点。现有技术文献非专利文献非专利文献1：TomasMikolov,KaiChen,GregCorrado,andJeffreyDean,“EfficientEstimationofWordRepresentationsinVectorSpace”,ICLR2013....
【技术保护点】
1.一种语言处理装置，其特征在于，该语言处理装置具有：/n询问应答数据库，其对应地登记有多个询问句和多个应答句；/n词素分析部，其对处理对象句子进行词素分析；/n第1向量生成部，其根据由所述词素分析部进行词素分析后的句子生成词袋向量，该词袋向量具有与所述处理对象句子中包含的单词对应的维度，维度的元素为所述询问应答数据库中的单词的出现次数；/n第2向量生成部，其根据由所述词素分析部进行词素分析后的句子，生成表示所述处理对象句子的意思的意思向量；/n向量统合部，其生成对所述词袋向量和所述意思向量进行统合而得到的统合向量；以及/n应答句选择部，其根据由所述向量统合部生成的统合向量...
【技术特征摘要】
【国外来华专利技术】1.一种语言处理装置，其特征在于，该语言处理装置具有：
询问应答数据库，其对应地登记有多个询问句和多个应答句；
词素分析部，其对处理对象句子进行词素分析；
第1向量生成部，其根据由所述词素分析部进行词素分析后的句子生成词袋向量，该词袋向量具有与所述处理对象句子中包含的单词对应的维度，维度的元素为所述询问应答数据库中的单词的出现次数；
第2向量生成部，其根据由所述词素分析部进行词素分析后的句子，生成表示所述处理对象句子的意思的意思向量；
向量统合部，其生成对所述词袋向量和所述意思向量进行统合而得到的统合向量；以及
应答句选择部，其根据由所述向量统合部生成的统合向量，从所述询问应答数据库中确定与所述处理对象句子对应的所述询问句，选择与所确定的所述询问句对应的所述应答句。
2.根据权利要求1所述的语言处理装置，其特征在于，
所述语言处理装置具有第3向量生成部，该第3向量生成部生成对所述词袋向量的元素分别进行加权而得到的重要概念向量，
所述向量统合部生成对所述重要概念向量和所述意思向量进行统合而得到的统合向量。
3.根据权利要求2所述的语言处理装置，其特征在于，
所述语言处理装置具有：
未知词率计算部，其使用生成了所述词袋向量时所述处理对象句子中包含的未知词的数量和生成了所述意思向量时所述处理对象句子中包含的未知词的数量，计算与所述词袋向量对应的未知词的比率和与所述意思向量对应的未知词的比率；以及
权重调节部，其根据与所述词袋向量对应的未知词的比率和与所述意思向量对应的未知词的比率，对向量的权重进行调节，
所述向量统合部生成由所述权重调节部进行权重调节后的向量的统合向量。
4.一种语言处理系统，其特征在于，该语言处理系统具有：
权利要求1～3中的任意一项所述的语言处理装置；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。