对话系统中口语理解的跨语言迁移方法技术方案

本发明专利技术涉及语言处理领域，并提出了一种对话系统中口语理解的跨语言迁移方法，旨在解决在对话系统中口语理解的跨语言迁移中，因语义标签难以迁移和语言文化差异造成迁移结果质量不佳的技术问题。为此目的，本发明专利技术中的口语的跨语言迁移方法包括：获取待迁移的有标注口语理解数据；利用预先构建的口语理解迁移模型对所述带类别标记的待迁移数据进行迁移，得到带类别标记的第一迁移结果；对第一迁移结果进行文化迁移，得到目标语言的口语理解数据。基于上述步骤，本发明专利技术可以快速、准确的对口语理解数据进行跨语言迁移，改善了因为双语带类别标记数据不足而导致的有监督训练方法效果不佳的问题，降低了在模型训练中的数据收集和标注成本。

A Cross-Language Transfer Method for Oral Comprehension in Dialogue Systems

The present invention relates to the field of language processing, and proposes a method of cross-language transfer of spoken language understanding in a dialogue system, aiming at solving the technical problems of poor quality of transfer results caused by difficult transfer of semantic tags and language and culture differences in the cross-language transfer of spoken language understanding in a dialogue system. To this end, the cross-language transfer method of spoken language in the present invention includes: acquiring tagged spoken language understanding data to be transferred; using the pre-constructed model of spoken language understanding transfer to transfer the tagged data to obtain the first migration result with category markers; and cultural transfer to the first migration result to obtain the spoken language understanding data of the target language. Based on the above steps, the invention can quickly and accurately transfer oral comprehension data across languages, improve the problem of poor effect of supervised training method caused by insufficient bilingual tagged data, and reduce the cost of data collection and annotation in model training.

【技术实现步骤摘要】
对话系统中口语理解的跨语言迁移方法
本专利技术涉及人机对话
，具体涉及一种在低资源情况下对话系统中口语理解的跨语言迁移方法。
技术介绍
任务型对话系统是在某一特定领域(餐馆、酒店或机票等领域)，通过自然语言交互的形式，辅助用户完成任务的人机交互系统。任务型对话系统需要具有如下四个基本功能：口语理解、对话状态跟踪、对话策略和对话生成。其中，口语理解(SpokenLanguageUnderstanding，SLU)作为整个系统的入口，是非常重要的技术模块，在人机交互的对话系统限定的语境中理解话语的含义；它通常包括领域分类、用户意图检测和语义槽填充三个子任务，也有一些系统把领域分类和意图检测合并处理。如果期望让对话系统能针对不同市场支持不同语言，则需要为SLU针对每一种语言都收集并标注大量的训练数据，这非常的耗时耗力。因此，将单语言SLU系统迁移到其他语言，具有很高的应用价值。目前，针对SLU跨语言迁移的方法主要有源端测试法和目标端训练法。源端测试是指将其他语言的用户输入翻译成源语言，然后利用源语言的SLU系统对该输入进行处理。目标端训练是指把源语言的训练语料迁移到目标语言端，再训练目标语言的SLU系统。源端测试的方法简便易行，但是它输出的语义槽结果是源语言的，需要再翻译回目标语言才能被目标语言对话系统中的后续模块使用。而目标端训练的方案则支持直接在目标语言端直接对模型进行训练和调节，更加灵活，且不需要在系统上线后对用户每一个输入都耗费额外的时间进行翻译。然而每一条SLU训练语料都由一条口语文本以及它的语义标注信息组成，例如：“播放专辑<album>琵琶相</album>中的<song>欢沁<\song>”。要迁移这样的源语言训练语料，不光要把文本翻译到目标语言，还需要把其中的语义标签也正确的迁移过去，因此无法直接使用通用的机器翻译器，且缺乏训练专用翻译器所需要的大量双语数据。除考虑语义标签迁移的问题之外，还要考虑语言文化迁移，例如生活在伦敦的用户可能会说“CallataxitoTowerofLondon”而不是“CallataxitoForbiddenCity”。因此，在训练语料的迁移过程中，不仅要考虑语义标签的迁移，还要考虑到文化差异。
技术实现思路
为了解决现有技术中的上述问题，即为了解决在对话系统中，因语义标签难以迁移和语言文化差异，造成口语理解的跨语言迁移困难的技术问题，为此目的，本专利技术提供了一种对话系统中口语理解的跨语言迁移方法，以解决上述技术问题。第一方面，本专利技术提供的对话系统中口语理解的跨语言迁移方法包括如下步骤：获取待迁移的源语言口语理解数据；利用预先构建的口语理解迁移模型对上述待迁移数据进行迁移，得到第一迁移结果；对上述第一迁移结果进行文化迁移，得到目标语言的口语理解数据；其中，构建上述口语理解迁移模型包括以下步骤：利用预设的通用平行语料训练通用机器翻译模型得到第一优化翻译模型；标注少量的双语口语理解语料，然后对双语口语理解语料进行语义槽替换，将替换后的语料作为双语类别标记语料；利用上述双语类别标记语料对上述第一优化翻译模型进行有监督的增量训练，得到第二优化翻译模型；使用带类别标记的待迁移数据，对上述第二优化翻译模型进行源端监督的强化翻译增量训练，得到口语理解迁移模型；所述带类别标记的待迁移数据为对所述源语言口语理解数据的语义槽替换为类别标记后得到的数据。进一步地，本专利技术提供的一个优选技术方案中，上述语义槽包括语义标签和语义槽值，以及“将所标注的双语口语理解语料中的语义槽替换为类别标记”的步骤包括：将所标注的上述双语口语理解语料中的语义标签和语义槽值，替换成指定的类别标记。进一步地，本专利技术提供的一个优选技术方案中，“利用带类别标记的待迁移数据，对上述第二优化翻译模型进行源端监督的强化翻译增量训练，得到口语理解迁移模型”的步骤包括：步骤41，将上述带类别标记的待迁移数据的单语数据进行输入，获得上述第二优化翻译模型softmax层的输出，得到维度为词表大小的概率分布；根据上述概率分布进行采样，得到采样句；按照上述概率分布进行局部最优解码，得到解码句；分别计算上述采样句和上述解码句的语义槽保留率，作为训练上述第二优化翻译模型的奖励项和奖励正则项；将上述采样句作为标签，利用策略梯度法优化上述第二优化翻译模型的参数。进一步地，本专利技术提供的一个优选技术方案中，“分别计算上述采样句和上述解码句的语义槽保留率”的步骤包括：根据上述解码句中语义槽的漏翻信息、错翻信息，利用如下公式计算上述采样句和上述解码句的语义槽保留率。其中，g(ci，s)是统计语义槽s在采样句ci中出现次数的函数，g(ei，s)为统计语义槽s在解码句ei中出现次数的函数。进一步地，本专利技术提供的一个优选技术方案中，“将上述采样句作为标签，利用策略梯度法优化上述第二优化翻译模型的参数”的步骤包括：根据最大化奖励的数学期望，利用上述奖励函数作为损失函数优化上述第二优化翻译模型：其中，x＝x1，x2，...是输入的句子,是解码生成的句子,wg～p(θ)表示生成句服从概率为p(θ)的分布，r(wg，x)表示奖励项，也就是SKR值，整个式子是对奖励项求数学期望，是数学期望。进一步地，本专利技术提供的一个优选技术方案中，“将上述采样句作为标签，利用策略梯度法优化上述第二优化翻译模型的参数”的步骤进一步地包括：利用蒙特卡洛采样近似上述数学期望，通过如下公式减少上述奖励函数的方差，优化上述第二优化翻译模型的参数：其中，wb对应贪心解码的翻译结果，ws对应采样解码的翻译结果，yt是解码器softmax函数的输入，ht是softmax函数之前的全连接层的输入向量，是的独热向量。进一步地，本专利技术提供的一个优选技术方案中，“对上述第一迁移结果进行文化迁移，得到目标语言的口语理解数据”的步骤包括：确定上述双语类别标记语料中对文化依赖的语义槽，基于上述对文化依赖的语义槽，收集目标语言语义槽值；根据上述对文化依赖的语义槽以及上述目标语言语义槽值，构建对文化依赖的语义槽数据库；按照数据库查询的方式，利用上述对文化依赖的语义槽数据库中的语义槽对上述双语类别标记语料中的类别标记进行替换，得到文化迁移后的目标语言的口语理解数据。第二方面，本申请还提供了一种存储装置，上述存储装置承载有一个或者多个程序，上述程序适于由处理器加载以执行实现上述
技术实现思路
中的任一方法。第三方面，本申请还提供了一种处理装置，该处理装置包括处理器存储设备，上述存储设备适于存储多条程序；其中，上述程序适于由处理器加载以执行上述
技术实现思路
中的任一方法。与最接近的现有技术相比，上述技术方案至少具有如下有益效果：本专利技术提供的话系统中口语理解的跨语言迁移方法，通过预先构建的口语理解迁移模型对现有的单语口语理解数据进行跨语言迁移，实现对目标语言口语理解带标注数据的获取，降低目标语言数据收集和标注的成本。其中，在训练口语理解迁移模型过程中，通过源端监督的强化翻译增量训练方式，有效的提升了语义标签的迁移效果，即迁移结果的质量。并且，通过文化迁移，减弱了直接迁移导致的的文化差异，提升了目标语言口语理解语料的本文档来自技高网...

【技术保护点】
1.一种对话系统中口语理解的跨语言迁移方法，其特征在于，所述方法包括：获取待迁移的源语言口语理解数据；利用预先构建的口语理解迁移模型对所述待迁移数据进行迁移，得到第一迁移结果；对所述第一迁移结果进行文化迁移，得到目标语言的口语理解数据；其中，构建所述口语理解迁移模型包括以下步骤：利用预设的通用平行语料训练通用机器翻译模型，得到第一优化翻译模型；标注所述平行语料中的双语平行口语理解语料，将所标注的双语口语理解语料中的语义槽替换为类别标记，将替换后的双语口语理解语料作为双语类别标记语料；利用所述双语类别标记语料对所述第一优化翻译模型进行有监督的增量训练，得到第二优化翻译模型；使用带类别标记的待迁移数据，对所述第二优化翻译模型进行源端监督的强化翻译增量训练，得到口语理解迁移模型；所述带类别标记的待迁移数据为对所述源语言口语理解数据的语义槽替换为类别标记后得到的数据。

【技术特征摘要】
1.一种对话系统中口语理解的跨语言迁移方法，其特征在于，所述方法包括：获取待迁移的源语言口语理解数据；利用预先构建的口语理解迁移模型对所述待迁移数据进行迁移，得到第一迁移结果；对所述第一迁移结果进行文化迁移，得到目标语言的口语理解数据；其中，构建所述口语理解迁移模型包括以下步骤：利用预设的通用平行语料训练通用机器翻译模型，得到第一优化翻译模型；标注所述平行语料中的双语平行口语理解语料，将所标注的双语口语理解语料中的语义槽替换为类别标记，将替换后的双语口语理解语料作为双语类别标记语料；利用所述双语类别标记语料对所述第一优化翻译模型进行有监督的增量训练，得到第二优化翻译模型；使用带类别标记的待迁移数据，对所述第二优化翻译模型进行源端监督的强化翻译增量训练，得到口语理解迁移模型；所述带类别标记的待迁移数据为对所述源语言口语理解数据的语义槽替换为类别标记后得到的数据。2.根据权利要求1所述的对话系统中口语理解的跨语言迁移方法，其特征在于，所述语义槽包括语义标签和语义槽值，以及“将所标注的双语口语理解语料中的语义槽替换为类别标记”的步骤包括：将所标注的所述双语口语理解语料中的语义标签和语义槽值，替换成指定的类别标记。3.根据权利要求1所述的对话系统中口语理解的跨语言迁移方法，其特征在于，“利用带类别标记的待迁移数据，对所述第二优化翻译模型进行源端监督的强化翻译增量训练，得到口语理解迁移模型”的步骤包括：将所述带类别标记的待迁移数据的单语数据进行输入，获得所述第二优化翻译模型softmax层的输出，得到维度为词表大小的概率分布；根据所述概率分布进行采样，得到采样句；按照所述概率分布进行局部最优解码，得到解码句；分别计算所述采样句和所述解码句的语义槽保留率，作为训练所述第二优化翻译模型的奖励项和奖励正则项；将所述采样句作为标签，利用策略梯度法优化所述第二优化翻译模型的参数。4.根据权利要求3所述的对话系统中口语理解的跨语言迁移方法，其特征在于，“分别计算所述采样句和所述解码句的语义槽保留率”的步骤包括：根据所述解码句中语义槽的漏翻信息、错翻信息，利用如下公式计算所述采样句...

【专利技术属性】
技术研发人员：周玉，白赫，张家俊，宗成庆，赵亮，
申请(专利权)人：中国科学院自动化研究所，出门问问信息科技有限公司，
类型：发明
国别省市：北京,11