一种基于凸神经网络的咨询对话唯一答案寻优方法技术

技术编号:24331237 阅读:19 留言:0更新日期:2020-05-29 19:40
本发明专利技术提出一种基于凸神经网络的咨询对话唯一答案寻优方法,包括:构造评价模型,所述评价模型根据询问文本从答案文本中获取多个候选答案,并通过凸神经网络对所述候选答案进行评估;根据评估结果获取多个所述候选答案中的最优答案;本发明专利技术可有效解决答案寻优过程中易陷入局部最优的问题,确保了最优答案的唯一性,提高了获取答案的准确度。

A convex neural network based method for finding the only answer to a conversation

【技术实现步骤摘要】
一种基于凸神经网络的咨询对话唯一答案寻优方法
本专利技术涉及自然语言处理领域,尤其涉及一种基于凸神经网络的咨询对话唯一答案寻优方法。
技术介绍
在答案寻优中,通常采用神经网络作为输入输出计算寻优,将问题输入,输出最优答案,但在常规神经网络的寻优中,由于非凸性,容易引起寻优算法陷入局部最小,而无法达到全局最优,而且用户在寻求答案的时候常常仅需要唯一最优答案,而本专利中凸神经网络的引入可以确保最优答案的唯一性。
技术实现思路
鉴于以上现有技术存在的问题,本专利技术提出一种基于凸神经网络的咨询对话唯一答案寻优方法,主要解决传统神经网络容易陷入局部极小值的问题。为了实现上述目的及其他目的,本专利技术采用的技术方案如下。一种基于凸神经网络的咨询对话唯一答案寻优方法,包括:构造评价模型,所述评价模型根据询问文本从答案文本中获取多个候选答案,并通过凸神经网络对所述候选答案进行评估;根据评估结果获取多个所述候选答案中的最优答案。可选地,将所述询问文本转化为问题向量,将所述答案文本转化为答案向量;根据所述问题向量和所述答案向量的匹配度构造所述评价模型的评价函数。可选地,所述凸神经网络包括多层网络,每层网络的权重参数非负,且每层网络的激活函数为凸函数。可选地,根据当前层网络的结构参数构造下一层网络的激活函数;其中,结构参数包括当前层网络的权重参数、当前层网络的激活函数、所述候选答案。可选地,将所述候选答案馈入所述凸神经网络的每层网络用语构造对应网络层的激活函数。可选地,根据所述询问文本与所述多个候选答案的映射关系,获取所述评价函数的梯度函数作为所述凸神经网络的值函数。可选地,根据所述值函数对多个所述候选答案进行评估,获取多个所述候选答案中与所述询问文本匹配度最高的对应候选答案作为所述最优答案。可选地,根据用户终端的反馈结果对所述最优答案进行满意度评估,根据评估结果矫正所述评价函数。可选地,所述匹配度包括相对熵或交叉熵中的一种。如上所述,本专利技术一种基于凸神经网络的咨询对话唯一答案寻优方法,具有以下有益效果。通过凸神经网络对候选答案进行评估,更容易收敛到全局最优,提高获取答案的准确性。附图说明图1为本专利技术一实施例中基于凸神经网络的咨询对话唯一答案寻优方法的流程图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想,遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。请参阅图1,本专利技术提供一种基于凸神经网络的咨询对话唯一答案寻优方法,包括步骤S01-S02。在步骤S01中,构造评价模型,评价模型根据询问文本从答案文本中获取多个候选答案,并通过凸神经网络对候选答案进行评估:在一实施例中,可通过用户终端获取用户的询问文本,根据询问文本从数据库中获取用于解答所述询问文本的答案文本。用户可通过手持终端获取其它终端登录用户界面,进行询问文本的录入。如用户通过语音方式录入,则将语音信息转化为对应的询问文本。可对询问文本进行分句处理,具体地,分句询问文本中句子的句义将对应的句子转化为句义向量,将所有句义向量整合在一起构成询问文本的问题向量;同样的,可将答案文本转化为对应的答案向量。在一实施例中,可预先构造一个评价模型。以询问文本对应的问题向量作为评价模型的输入。可采用强化学习算法构造评价模型,通常强化学习由两个神经网络构成,包括行动网路和评估网络。评价模型可作为强化学习的动作网络,通过输入问题向量从对应的答案向量组成的向量空间中提取多个候选答案。具体地,可根据问题向量与答案向量的匹配度构造评价模型的评价函数,其中匹配度可采用相对熵或交叉熵中的一种。可设定匹配度阈值,评价函数根据匹配度阈值从答案向量中提取出多个向量作为候选答案。进一步地,采用凸神经网络作为强化学习的评估网络,对获取的多个候选答案进行评估。在一实施例中,可设置凸神经网络为一多层网络结构的神经网络,其中,每层网络的权重参数为非负值。权重参数包括候选答案权重和激活函数权重。激活函数为非线性函数,为了保障凸神经网络能够很好的收敛到全局最优,将每层网络对应的激活函数构造成凸函数,且该凸函数为非单调递减函数。在一实施例中,可根据当前层网络的结构参数构造下一层网络的激活函数。其中结构参数可包括当前层网络的的权重参数、当前层网络的激活函数、以及候选答案。将候选答案馈入每层网络中用于构造对应的激活函数。激活函数可表示如下:zi+1=gi(Wi(z)zi+Wi(y)y+bi)其中,zi和zi+1分别表示当前层网络的激活函数和下一层网络的激活函数;Wi(z)表示当前层网络激活函数的权重;y表示馈入当前层网络的候选答案;Wi(y)表示候选答案在当前层网络中的权重;bi表示当前层网络的偏移量;gi为非线性凸函数,且具有非单调递减性。在多层网络的最后一层采用值函数代替激活函数,以此建立问题向量与对应的候选答案的映射关系;其中,可根据获取的问题向量与多个候选答案的映射关系构造值函数。具体地,可根据评价函数的梯度构造凸神经网络的值函数。假设评价函数表示为f=(x,y;θ),由于在凸神经网络是对同一问题的多个候选答案进行评估,可把x当作常量,函数对y求偏导,获取关于候选答案的分布作为凸神经网络的值函数。在步骤S02中,根据评估结果获取多个候选答案中的最优答案:在一实施例中,根据值函数对多个候选答案进行评估,获取多个候选答案中与询问文本匹配度最高的对应候选答案作为询问文本的最优答案。如以评价函数采用相对熵为例,评价函数用于评价问题向量的概率分布与相应的答案向量概率分布之间的偏差,因此,偏差值越小越好。在对评价函数求梯度后可获取评价函数的最小值,即为凸神经网络中对应的值函数的最小值。在一实施例中,还可获取用户终端的反馈结果,评估用户对输出的最优答案的满意度,根据满意度矫正评价函数。如用户可在每次获取输出的答案后,根据用户终端预设的选项对答案进行评分。其中,评分选项可包括非常满意、大致符合问题、不太符合、完全不符合等。根据用户的选择,用户终端可将反馈信息输入评价模型,对评价函数的相关参数进行调整,包括但不限于调整神经网络的权重参数。具体地,可设询问文本为A,将A文本输入评价模型,某一时刻,评价模型从B文本中获取的候选答案a1和a2;经过图凸神经网络进行答案搜寻,判定a1的匹配度高于a2。下一时刻,评价模本文档来自技高网...

【技术保护点】
1.一种基于凸神经网络的咨询对话唯一答案寻优方法,其特征在于,包括:/n构造评价模型,所述评价模型根据询问文本从答案文本中获取多个候选答案,并通过凸神经网络对所述候选答案进行评估;/n根据评估结果获取多个所述候选答案中的最优答案。/n

【技术特征摘要】
1.一种基于凸神经网络的咨询对话唯一答案寻优方法,其特征在于,包括:
构造评价模型,所述评价模型根据询问文本从答案文本中获取多个候选答案,并通过凸神经网络对所述候选答案进行评估;
根据评估结果获取多个所述候选答案中的最优答案。


2.根据权利要求1所述的基于凸神经网络的咨询对话唯一答案寻优方法,其特征在于,将所述询问文本转化为问题向量,将所述答案文本转化为答案向量;
根据所述问题向量和所述答案向量的匹配度构造所述评价模型的评价函数。


3.根据权利要求1所述的基于凸神经网络的咨询对话唯一答案寻优方法,其特征在于,所述凸神经网络包括多层网络,每层网络的权重参数非负,且每层网络的激活函数为凸函数。


4.根据权利要求3所述的基于凸神经网络的咨询对话唯一答案寻优方法,其特征在于,根据当前层网络的结构参数构造下一层网络的激活函数;其中,结构参数包括当前层网络的权重参数、当前层网络的激活函数、所述候选答案。

<...

【专利技术属性】
技术研发人员:彭德光孙健汤宇腾
申请(专利权)人:重庆兆光科技股份有限公司
类型:发明
国别省市:重庆;50

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1