产生一对话状态追踪模型的装置及方法制造方法及图纸

一种产生一对话状态追踪模型的装置及方法。该装置根据一询问消息所对应的一询问栏位自一数据库撷取该询问栏位所对应的一栏位特征量。该装置自该数据库撷取该询问栏位所对应的至少一候选词各自对应的一候选词特征量，且将之整合为一整合特征量。该装置还产生与该询问消息对应的一回复消息的至少一关联子句，且根据该至少一关联子句产生一语句关联特征量。该装置还根据该栏位特征量、该整合特征量及该语句关联特征量产生一询问栏位相关特征，且根据该询问栏位相关特征训练该对话状态追踪模型。型。型。

【技术实现步骤摘要】
产生一对话状态追踪模型的装置及方法


[0001]本专利技术系关于一种产生一对话状态追踪模型的装置及方法。具体而言，本专利技术系关于一种基于对话记录产生一对话状态追踪模型的装置及方法。

技术介绍

[0002]目前已有许多企业导入以人工智能(Artificial Intelligence；AI)为基础的对话式服务，例如：采用对话机器人提供客户服务。这类对话式服务涉及自然语言理解、对话管理及自然语言生成等三个面向的技术。对话管理技术中的对话状态追踪系用以判读对话中的关键资讯，为对话式服务能否正确地达成任务(例如：协助使用者办理车祸理赔、协助使用者购票)的重要关键。
[0003]某些习知的对话管理技术为规则式的。概要而言，这类技术先对使用者所输入/所说出的句子进行语意理解，再基于语意理解的结果以预定的规则回复。这类技术极度仰赖语意理解的准确度，若未能准确地理解使用者所输入/所说出的句子的语意，则基于预定规则所决定出来的回复也会不准确。此外，由于这类技术受限于预定的规则，因此缺乏弹性。基于前述各种缺点，采用这类技术，一旦发生误判，往往会导致连续的错误，而无法完成任务。
[0004]目前已有一些学习式的对话管理技术，其系利用特征来训练神经网络模型，再以经过训练的神经网络模型作为对话状态追踪模型。然而，这类技术能否准确地进行对话状态追踪，进而完成任务，取决于训练神经网络模型时所使用的特征，以及如何以这些特征训练神经网络模型。尽管学习式的对话管理技术优于规则式的对话管理技术，但相较于由人类直接提供服务，仍有相当大的改善空间。有鉴于此，针对学习式的对话管理技术，如何提供适当的特征(例如：含有语意及各种语句关联的特征) 来训练神经网络模型作为对话状态追踪模型，以及如何利用这些特征训练该模型，乃业界亟需努力的目标。

技术实现思路

[0005]本专利技术的一目的在于提供一种产生一对话状态追踪模型的装置。该装置包含一储存器及一处理器，其中该处理器电性连接至该储存器。该储存器储存一数据库。该处理器根据一询问消息所对应的一询问栏位自该数据库撷取该询问栏位所对应的一栏位特征量，自该数据库撷取该询问栏位所对应的至少一候选词各自对应的一候选词特征量，且将该至少一候选词特征量整合为一整合特征量。该处理器还产生与该询问消息对应的一回复消息的至少一关联子句，根据该至少一关联子句产生一语句关联特征量，且根据该栏位特征量、该整合特征量及该语句关联特征量产生一询问栏位相关特征。该处理器还根据该询问栏位相关特征训练该对话状态追踪模型。
[0006]本专利技术的又一目的在于提供一种产生一对话状态追踪模型的方法，其系适用于一电子装置。该电子装置储存一数据库。该方法包含下列步骤：(a)根据一询问消息所对应的一询问栏位自该数据库撷取该询问栏位所对应的一栏位特征量，(b)自该数据库撷取该询
问栏位所对应的至少一候选词各自对应的一候选词特征量，(c)将该至少一候选词特征量整合为一整合特征量，(d)产生与该询问消息对应的一回复消息的至少一关联子句，(e)根据该至少一关联子句产生一语句关联特征量，(f)根据该栏位特征量、该整合特征量及该语句关联特征量产生一询问栏位相关特征，以及(g)根据该询问栏位相关特征训练该对话状态追踪模型。
[0007]本专利技术所提供的产生一对话状态追踪模型的技术(至少包含装置及方法) 会根据一轮对话中的询问消息所对应的询问栏位，自数据库撷取出不同的特征量(包含询问栏位本身所对应的栏位特征量及候选词所对应的候选词特征量)。此外，本专利技术会找出该轮对话中的回复消息的关联子句，且据以产生语句关联特征量。本专利技术再根据自数据库撷取出的特征量及语句关联特征量产生用以训练一对话状态追踪模型的询问栏位相关特征，且以询问栏位相关特征来训练该对话状态追踪模型。
[0008]在某些实施态样中，本专利技术还可利用该回复消息从数据库撷取出其他的特征量，而这些其他的特征量与关联资讯及语意资讯相关。本专利技术还可利用这些其他的特征量，产生其他用以训练该对话状态追踪模型的特征(例如：进阶关联特征、语意理解特征)，再以询问栏位相关特征与进阶关联特征或/及语意理解特征一起来训练对话状态追踪模型。
[0009]本专利技术在产生用来训练对话状态追踪模型的各种特征时，考量了与询问消息及回复消息相关的多种特征量，考量了回复消息的各种关联子句及语意，且考量了这些特征量、关联子句与语意彼此的交互影响，因此以本专利技术所产生的特征训练出来的对话状态追踪模型能大幅度地提高对话状态追踪的准确度，进而提高完成任务的比例。
[0010]以下结合附图阐述本专利技术的详细技术及实施方式，俾使本领域技术人员能理解所请求保护的专利技术的特征。
附图说明
[0011]图1A描绘第一实施方式的产生模型装置1的架构示意图；图1B描绘对话记录的一具体范例；图1C描绘产生询问栏位相关特征tf1的示意图；图1D描绘产生询问栏位相关特征tf1的另一示意图；图1E描绘产生进阶关联特征tf2的示意图；图1F描绘产生语意理解特征tf3的示意图；图2A描绘第二实施方式的产生模型方法的流程图；图2B描绘某些实施方式的产生模型方法的流程图；图2C描绘某些实施方式的产生模型方法的部分流程图；以及图2D描绘某些实施方式的产生模型方法的部分流程图。
具体实施方式
[0012]以下将通过实施方式来解释本专利技术所提供的产生一对话状态追踪模型的装置及方法。然而，这些实施方式并非用以限制本专利技术需在如这些实施方式所述的任何环境、应用或方式方能实施。因此，关于以下实施方式的说明仅在于阐释本专利技术的目的，而非用以限制本专利技术的范围。应理解，在以下实施方式及附图中，与本专利技术非直接相关的元件已省略而未
绘示，且图附图式中各元件的尺寸以及元件间的尺寸比例仅为便于绘示及说明，而非用以限制本专利技术的范围。
[0013]本专利技术的第一实施方式为一种产生一对话状态追踪模型10的装置(下称「模型产生装置」)1，其架构示意图系描绘于图1A。模型产生装置1包含一储存器 11及一处理器13，且二者电性连接。储存器11可为一硬盘(Hard Disk Drive；HDD)、一通用串行总线(Universal Serial Bus；USB)盘、一光盘(Compact Disk；CD)或本领域技术人员所知的任何其他具有相同功能的非暂态储存媒体或装置。处理器13可为各种处理器、中央处理单元(Central Processing Unit；CPU)、微处理器(Microprocessor Unit；MPU)、数字信号处理器(Digital Signal Processor；DSP)或本领域技术人员所知的任何其他具有相同功能的计算装置。
[0014]于本实施方式中，模型产生装置1的储存器11储存一数据库15，且数据库15包含某一任务(例如：保险理赔、售票系统，但不以此为限)的对话常用的多个词汇、各词汇的一特征量以及词汇间的对应关系(例如：哪些词汇之间彼此具有关联)。各词汇的特征量可为一特征向量。举例而言，这些特征量可为将这些词汇经由一词转向量(word 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产生一对话状态追踪模型的装置，其特征在于，包含：一储存器，储存一数据库；以及一处理器，电性连接至该储存器，根据一询问消息所对应的一询问栏位自该数据库撷取该询问栏位所对应的一第一栏位特征量，自该数据库撷取该询问栏位所对应的至少一第一候选词各自对应的一第一候选词特征量，且将该至少一第一候选词特征量整合为一第一整合特征量，其中，该处理器还产生与该询问消息对应的一回复消息的至少一关联子句，根据该至少一关联子句产生一语句关联特征量，根据该第一栏位特征量、该第一整合特征量及该语句关联特征量产生一询问栏位相关特征，且根据该询问栏位相关特征训练该对话状态追踪模型。2.如权利要求1所述的装置，其特征在于，该处理器还将该第一栏位特征量及该第一整合特征量整合为一第一输出特征量，将该第一输出特征量输入一第一神经网络模型以产生一第二输出特征量，将该第二输出特征量及该语句关联特征量整合为一第三输出特征量，且将该第三输出特征量输入一第二神经网络模型以产生该询问栏位相关特征。3.如权利要求1所述的装置，其特征在于，该处理器还根据该询问消息所对应的一栏位回复自该数据库撷取该栏位回复所对应的一第一回复特征量，自该数据库撷取该栏位回复所对应的至少一第二候选词各自对应的一第二候选词特征量，且将该至少一第二候选词特征量整合为一第二整合特征量，其中该处理器系根据该第一栏位特征量、该第一回复特征量、该第一整合特征量、该第二整合特征量及该语句关联特征量产生该询问栏位相关特征。4.如权利要求3所述的装置，其特征在于，该处理器还将该第一栏位特征量及该第一整合特征量整合为一第一输出特征量，将该第一回复特征量及该第二整合特征量整合为一第二输出特征量，将该第一输出特征量、该第二输出特征量及该语句关联特征量输入一神经网络模型以产生该询问栏位相关特征。5.如权利要求1所述的装置，其特征在于，该处理器还根据该回复消息及多个预设栏位自该数据库撷取至少一第二候选词各自对应的一第二候选词特征量，将该至少一第二候选词特征量整合为一第二整合特征量，且根据该语句关联特征量及该第二整合特征量产生一进阶关联特征，其中该处理器系根据该询问栏位相关特征及该进阶关联特征训练该对话状态追踪模型。6.如权利要求5所述的装置，其特征在于，该处理器还将该语句关联特征量及该第二整合特征量整合为一输出特征量，且将该输出特征量输入一神经网络模型以产生该进阶关联特征。7.如权利要求1所述的装置，其特征在于，该处理器还对该回复消息进行自然语言理解(Natural Language Understanding；NLU)分析以得一语意理解栏位及一语意理解回复，自该数据库撷取该语意理解栏位所对应的一第二栏位特征量，自该数据库撷取该语意理解栏位所对应的至少一第二候选词各自对应的一第二候选词特征量，且将该至少一第二候选词特征量整合为一第二整合特征量，其中，该处理器还自该数据库撷取该语意理解回复所对应的一回复特征量，自该数据库撷取该语意理解回复所对应的至少一第三候选词各自对应的一第三候选词特征量，且将该至少一第三候选词特征量整合为一第三整合特征量，
其中，该处理器还根据该第二栏位特征量、该第二整合特征量、该回复特征量及该第三整合特征量产生一语意理解特征，其中，该处理器系根据该询问栏位相关特征及该语意理解特征训练该对话状态追踪模型。8.如权利要求7所述的装置，其特征在于，该处理器还将该第二栏位特征量及该第二整合特征量整合为一第一输出特征量，将该回复特征量及该第三整合特征量整合为一第二输出特征量，将该第一输出特征量及该第二输出特征量整合为一第三输出特征量，且将该第三输出特征量输入一神经网络模型以产生该语意理解特征。9.如权利要求1所述的装置，其特征在于，该处理器还根据该回复消息及多个预设栏位自该数据库撷取至少一第二候选词各自对应的一第二候选词特征量，将该至少一第二候选词特征量整合为一第二整合特征量，且根据该语句关联特征量及该第二整合特征量产生一进阶关联特征，其中，该处理器还对该回复消息进行自然语言理解分析以得一语意理解栏位及一语意理解回复，自该数据库撷取该语意理解栏位所对应的一第二栏位特征量，自该数据库撷取该语意理解栏位所对应的至少一第三候选词各自对应的一第三候选词特征量，且将该至少一第三候选词特征量整合为一第三整合特征量，其中，该处理器还自该数据库撷取该语意理解回复所对应的一回复特征量，自该数据库撷取该语意理解回复所对应的至少一第四候选词各自对应的一第四候选词特征量，将该至少一第四候选词特征量整合为一第四整合特征量，且根据该第二栏位特征量、该第三整合特征量、该回复特征量及该第四整合特征量产生一语意理解特征，其中，该处理器系根据该询问栏位相关特征、该进阶关联特征及该语意理解特征训练该对话状态追踪模型。10.如权利要求3所述的装置，其特征在于，该处理器还根据该回复消息及多个预设栏位自该数据库撷取至少一第三候选词各自对应的一第三候选词特征量，将该至少一第三候选词特征量整合为一第三整合特征量，且根据该语句关联特征量及该第三整合特征量产生一进阶关联特征，其中，该处理器还对该回复消息进行自然语言理解分析以得一语意理解栏位及一语意理解回复，自该数据库撷取该语意理解栏位所对应的一第二栏位特征量，自该数据库撷取该语意理解栏位所对应的至少一第四候选词各自对应的一第四候选词特征量，且将该至少一第四候选词特征量整合为一第四整合特征量，其中，该处理器还自该数据库撷取该语意理解回复所对应的一第二回复特征量，自该数据库撷取该语意理解回复所对应的至少一第五候选词各自对应的一第五候选词特征量，将该至少一第五候选词特征量整合为一第五整合特征量，且根据该第二栏位特征量、该第四整合特征量、该第二回复特征量及该第五整合特征量产生一语意理解特征，其中，该处理器系根据该询问栏位相关特征、该进阶关联特征及该语意理解特征训练该对话状态追踪模型。11.一种产生一对话状态追踪模...

【专利技术属性】
技术研发人员：杨伟桢，邱冠龙，邱育贤，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：