【技术实现步骤摘要】
本公开涉及人工智能领域，特别涉及一种对话意图歧义消除方法及装置。
技术介绍
1、随着信息技术发展，智能对话系统逐渐被广泛应用于各个领域。根据应用场景不同，智能对话系统被分为闲聊型对话系统和任务型对话系统。相对于闲聊型对话系统，任务型对话系统应用场景更多，商业价值也更大。任务型对话系统的核心管理方式是会话节点上的意图识别，特别是在个性化定制的对话引擎系统。用户一般需要先录入意图及相关的对话文本，再利用这些对话文本训练意图识别模型，在进行任务型对话时，用户输入一个对话数据，通过训练完成的意图识别模型识别出该对话数据的对话意图以进入对应的对话流节点，进而执行相应的对话任务。由此可见，一个对话文本的意图的准确性直接影响意图识别模型的准确性，进而影响整个对话系统的准确率。
2、然而，文本语义是存在连续性的，在某些特定任务下的意图语义边界会出现不清晰的情况，这样就存在语义相同的两个对话文本被同一或不同用户赋予了不同的意图标签，如此一来，会对下游的意图识别模型的训练造成负面影响，从而降低整个对话系统的准确率。因此，如何消除一个对话文本的意图歧义以准确地确定一个对话文本的正确意图标签成为智能对话系统中急需解决的技术问题之一。
技术实现思路
1、本公开提供一种对话意图歧义消除方法及装置，能够通过消除对话文本的歧义，提高对话文本与意图对应关系的质量，从而可以进一步提高对话文本意图识别的准确性。
2、第一方面，本公开提供了一种对话意图歧义消除方法，包括：
3、获取多个
4、对每个对话文本进行向量表示处理，获得每个对话文本对应的文本表示向量；
5、基于所述每个对话文本对应的文本表示向量及每个对话文本对应的意图标签进行意图分割，获得所述多个对话文本对应的意图分割超平面；所述意图分割超平面用于反映多个对话文本中每个对话文本所属的预测意图；所述意图分割超平面中具有相同预测意图的各个对话文本位于同一个区域内；
6、根据所述意图分割超平面从所述多个对话文本中获得存在意图歧义的歧义文本，并基于所述意图分割超平面和所述歧义文本获得所述歧义文本对应的参考文本；
7、基于所述歧义文本对应的参考文本及所述参考文本对应的意图标签消除所述歧义文本对应的意图歧义。
8、第二方面，本公开提供了一种对话意图歧义消除装置，包括：
9、获取模块，用于获取多个对话文本；
10、处理模块，用于对每个对话文本进行向量表示处理，获得每个对话文本对应的文本表示向量；
11、分割模块，用于基于所述每个对话文本对应的文本表示向量及每个对话文本对应的意图标签进行意图分割，获得所述多个对话文本对应的意图分割超平面；所述意图分割超平面用于反映多个对话文本中每个对话文本所述的预测意图；所述意图分割超平面中具有预测意图的各个对话文本位于同一个区域内；
12、获得模块，用于根据所述意图分割超平面从所述多个对话文本中获得存在意图歧义的歧义文本，以及基于所述意图分割超平面和所述歧义文本获得所述歧义文本对应的参考文本；
13、消除模块，用于基于所述歧义文本对应的参考文本及所述参考文本对应的意图标签消除所述歧义文本对应的意图歧义。
14、本公开实施例提供的对话意图歧义消除方法中，基于每个对话文本获得对应的文本表示向量后，基于每个对话文本对应的文本表示向量及每个对话文本对应的意图标签进行意图分割，获得多个对话文本对应的意图分割超平面，根据意图分割超平面从多个对话文本中获得存在意图歧义的歧义文本，并基于意图分割超平面和歧义文本获得歧义文本对应的参考文本；基于歧义文本对应的参考文本及参考文本对应的意图标签消除歧义文本对应的意图歧义。应当理解的，每个对话文本的文本表示向量能够反映各个对话文本，各个对话文本在语义空间中是连续的，基于每个对话文本对应的文本表示向量及每个对话文本对应的意图标签确定意图分割超平面，实质是利用了语义空间的连续性来确定意图分割超平面。
15、另外，参考文本是基于意图分割超平面确定的，意图分割超平面能够反映多个对话文本中每个对话文本的预测意图，并且意图分割超平面中具有同一预测意图的各个对话文本是位于同一个区域内的，根据意图分割超平面的这个特性，以及对话文本语义空间的连续性特性，确定出的参考文本和歧义文本之间的预测意图存在一定关系，基于参考文本的意图标签可以消除歧义文本的意图标签中的意图歧义。综上所述，本申请实施基于语义空间连续性以及意图分割超平面的特性能够消除存在意图歧义的对话文本，可以提高对话文本与意图对应关系的质量，从而提高下游的意图识别模型的准确率，进而提高整个对话系统的准确率；而且，该方法的泛化性和扩展性好，可以应用于不同的领域。
16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种对话意图歧义消除方法，其特征在于，包括：
2.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述基于所述每个对话文本对应的文本表示向量及每个对话文本对应的意图标签进行意图分割，获得所述多个对话文本对应的意图分割超平面，包括：
3.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述根据所述意图分割超平面从所述多个对话文本中获得存在意图歧义的歧义文本，包括：
4.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述基于所述意图分割超平面和所述歧义文本获得所述歧义文本对应的参考文本，包括：
5.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述对每个对话文本进行向量表示处理是调用文本表示模型执行的；所述文本表示模型通过以下步骤获得：
6.根据权利要求5所述的对话意图歧义消除方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述目标对话数据中当前目标训练对话文本进行编码处理，获得所述当前目标训练对话文本对应的目标编码，包括：
8.根据
9.根据权利要求8所述的方法，其特征在于，若所述待训练模型为第一模型，所述目标编码还包括难样编码，所述难样编码包括从与所述当前目标训练对话文本的意图不同的目标训练对话文本中，抽取出部分目标训练对话文本对应的编码。
10.根据权利要求8所述的方法，其特征在于，若所述待训练模型为所述待训练语言模型，所述目标模型为第一模型，所述当前目标训练对话文本为所述第一对话数据中的当前第一训练对话文本，所述分词结果包括当前第一训练对话文本对应的第一分词结果和第二分词结果，以及所述第一对话数据中除所述当前第一训练对话文本之外的第一训练对话文本对应的第三分词结果；其中，第一分词结果和第二分词结果对应的掩码位置不同；
11.根据权利要求10所述的方法，其特征在于，所述目标序列特征向量包括与所述参照编码、所述正样编码和所述负样编码分别对应的第一目标参照序列特征向量、第一目标正样序列特征向量和第一目标负样序列特征向量；
12.根据权利要求11所述的方法，其特征在于，所述根据所述第一目标损失和所述第二目标损失确定训练目标损失，包括：
13.根据权利要求9所述的对话意图歧义消除方法，其特征在于，若所述待训练模型为所述第一模型，所述目标模型为所述文本表示模型，所述当前目标训练对话文本为所述第二对话数据中的当前第二训练对话文本，所述分词结果包括当前第二训练对话文本对应的第四分词结果和第五分词结果，其中，第四分词结果和第五分词结果对应的掩码位置不同；与所述当前第二训练对话文本的意图不同的第二训练对话文本对应的第六分词结果，以及，与所述当前第二训练对话文本的意图不同的第二训练对话文本中抽取出部分第二训练对话文本对应的第七分词结果；
14.根据权利要求13所述的对话意图歧义消除方法，其特征在于，所述目标序列特征向量包括与所述参照编码、所述正样编码、所述负样编码和所述难样编码分别对应的第二目标参照序列特征向量、第二目标正样序列特征向量、第二目标负样序列特征向量和第二目标难样序列特征向量；
15.一种对话意图歧义消除装置，其特征在于，包括：
...【技术特征摘要】
1.一种对话意图歧义消除方法，其特征在于，包括：
2.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述基于所述每个对话文本对应的文本表示向量及每个对话文本对应的意图标签进行意图分割，获得所述多个对话文本对应的意图分割超平面，包括：
3.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述根据所述意图分割超平面从所述多个对话文本中获得存在意图歧义的歧义文本，包括：
4.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述基于所述意图分割超平面和所述歧义文本获得所述歧义文本对应的参考文本，包括：
5.根据权利要求1所述的对话意图歧义消除方法，其特征在于，所述对每个对话文本进行向量表示处理是调用文本表示模型执行的；所述文本表示模型通过以下步骤获得：
6.根据权利要求5所述的对话意图歧义消除方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述目标对话数据中当前目标训练对话文本进行编码处理，获得所述当前目标训练对话文本对应的目标编码，包括：
8.根据权利要求7所述的方法，其特征在于，所述目标编码包括参照编码、正样编码和负样编码；其中，所述正样编码包括所述当前目标训练对话文本对应的编码，所述参照编码包括与所述当前目标训练对话文本的意图相同的目标训练对话文本对应的编码，所述负样编码包括与所述当前目标训练对话文本的意图不同的目标训练对话文本对应的编码。
9.根据权利要求8所述的方法，其特征在于，若所述待训练模型为第一模型，所述目标编码还包括难样编码，所述难样编码包括从与所述当前目标训练对话文本的意图不同的目标训练对话文本中，抽取出部分目标训练对话文本对应的编码。
10.根据权利要求...
【专利技术属性】
技术研发人员：汪自立，蒋宁，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。