多轮对话的处理方法及处理装置、车辆、存储介质制造方法及图纸

本发明专利技术公开了一种多轮对话的处理方法及处理装置、车辆、存储介质。多轮对话的处理方法，包括：基于多任务联合训练模型提取查询文本的多个特征，多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型；对多个特征进行映射以获取特征结构；将特征结构作为对话状态模型的输入以预测回复文本。本发明专利技术实施方式的多轮对话的处理方法，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。

Processing method, processing device, vehicle and storage medium of multi wheel dialogue

【技术实现步骤摘要】
多轮对话的处理方法及处理装置、车辆、存储介质
本专利技术涉及数据处理
，特别涉及一种多轮对话的处理方法及处理装置、车辆、存储介质。
技术介绍
智能汽车的人机交互过程中，车载显示屏和语音是两个主要的交互通道，通过语音和中控显示屏进行多轮问答交互也成为车载场景中获取信息的重要方式。在多轮对话状态跟踪中，需要不同维度的特征来对用户的回复进行预测。在相关技术中，认为意图识别、槽位预测或提取是不同独立的任务，因而采用多个模型来分别预测。然而，在真实场景中，需要考虑多模型预测带来架构的复杂性及耗时更高的问题。
技术实现思路
本专利技术实施方式提供一种多轮对话的处理方法及处理装置、车辆、存储介质。本专利技术实施方式的多轮对话的处理方法，包括：基于多任务联合训练模型提取查询文本的多个特征，所述多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型；对所述多个特征进行映射以获取特征结构；将所述特征结构作为对话状态模型的输入以预测回复文本。本专利技术实施方式的多轮对话的处理方法中，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。在某些实施方式中，基于多任务联合训练模型提取查询文本的多个特征，包括：基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛；在所述每个任务的损失收敛的情况下，对所述查询文本提取所述多个特征。在某些实施方式中，基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛，包括：基于所述预训练模型对所述查询文本进行处理以使所述预训练模型输出隐含层向量；采用所述隐含层向量作为所述多任务的每个任务的输入；根据所述输入分别确定所述每个任务的损失及所述损失的权重；根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛。在某些实施方式中，根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛，包括：确定所述多任务在每个训练周期的一个目标任务；遮掩除所述目标任务的其他任务的损失，并训练所述目标任务；交替训练直至完成所述每个任务对应的损失函数收敛。在某些实施方式中，确定所述多任务在每个训练周期的一个目标任务，包括：根据所述每个任务对应的损失的权重确定所述目标任务。在某些实施方式中，所述多个特征包括领域、意图、实体和/或槽位，所述多任务包括领域分类任务、意图分类任务、实体和/或槽位识别任务。在某些实施方式中，所述特征结构与所述对话状态模型的类型相关。在某些实施方式中，所述处理方法包括：获取查询语音；将所述查询语音转换为所述查询文本。本专利技术实施方式的多轮对话的处理装置包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述程序时，实现上述任一实施方式的处理方法。本专利技术实施方式的多轮对话的处理装置中，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。本专利技术实施方式的车辆包括上述实施方式的处理装置。本专利技术实施方式的车辆中，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。本专利技术实施方式的计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行的情况下，实现上述任一实施方式的处理方法。本专利技术实施方式的计算机可读存储介质中，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术实施方式的多轮对话的处理方法的流程示意图；图2是本专利技术实施方式的多轮对话的处理方法的过程示意图；图3是本专利技术实施方式的多任务联合训练模型的结构示意图；图4是本专利技术实施方式的编码器的结构示意图；图5-图7是本专利技术实施方式的多轮对话的处理方法的流程示意图；图8是本专利技术实施方式的多轮对话的流程示意图；图9是本专利技术实施方式的长短期记忆网络模型的结构示意图；图10是本专利技术实施方式的多轮对话的处理方法的流程示意图；图11是本专利技术实施方式的多轮对话的处理方法的过程示意图；图12是本专利技术实施方式的多轮对话的车辆的模块示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请参阅图1-图3，本专利技术实施方式提供一种多轮对话的处理方法。处理方法包括：步骤S12：基于多任务联合训练模型提取查询文本的多个特征，多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型；步骤S14：对多个特征进行映射以获取特征结构；步骤S16：将特征结构作为对话状态模型的输入以预测回复文本。本专利技术实施方式的多轮对话的处理方法中，采用多任务联合训练模型提取查询文本的多个特征，然后进行特征映射并预测回复文本。由于只采用多任务联合训练模型对查询文本进行预测，减少了使用资源，架构相对简单且方便扩展。在本专利技术实施方式中，可只采用一个模型对用户的查询文本进行预测提取特征，用较小的资源代价即可完成多个特征的预测提取。具体地，在某些实施方式中，多个特征包括领域、意图、实体和/或槽位，多任务包括领域分类任务、意图分类任务、实体和/或槽位识别任务。可以理解，有些查询文本包括领域、意图、实体和槽位等特征，有些查询文本包括领域、意图和实体等特征，有些查询文本包括领域、意图和槽位等特征。任务与特征相对应，当查询文本的特征包括实体和槽位时，多任务包括实体和槽位识别任务；当查询文本的特征包括实体不包括槽位时，多任务包括实体识别任务；当查询文本的特征包括槽位不包括实体时，多任务包括槽位识别任务。在其他实施方式中，多个特征可以是其他特征，多任务可以是其他任务，特征与任务相对应，在此不作具体限定。下文以多个特征包括领域、意图、实体和槽位，多任务联合微调训练包括f1(x1x2...xn)领域分类任务，f2(x1x2...xn)意图分类任务，f3(x1x2...xn)实体和槽位识别任务为例进行详细本文档来自技高网...

【技术保护点】
1.一种多轮对话的处理方法，其特征在于，包括：/n基于多任务联合训练模型提取查询文本的多个特征，所述多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型；/n对所述多个特征进行映射以获取特征结构；/n将所述特征结构作为对话状态模型的输入以预测回复文本。/n

【技术特征摘要】
1.一种多轮对话的处理方法，其特征在于，包括：
基于多任务联合训练模型提取查询文本的多个特征，所述多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型；
对所述多个特征进行映射以获取特征结构；
将所述特征结构作为对话状态模型的输入以预测回复文本。


2.根据权利要求1所述的处理方法，其特征在于，基于多任务联合训练模型提取查询文本的多个特征，包括：
基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛；
在所述每个任务的损失收敛的情况下，对所述查询文本提取所述多个特征。


3.根据权利要求2所述的处理方法，其特征在于，基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛，包括：
基于所述预训练模型对所述查询文本进行处理以使所述预训练模型输出隐含层向量；
采用所述隐含层向量作为所述多任务的每个任务的输入；
根据所述输入分别确定所述每个任务的损失及所述损失的权重；
根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛。


4.根据权利要求3所述的处理方法，其特征在于，根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛，包括：
确定所述多任务在每个训练周期的一个...

【专利技术属性】
技术研发人员：申众，于淼，
申请(专利权)人：广州小鹏汽车科技有限公司，
类型：发明
国别省市：广东;44