连贯性评估模型训练和连贯性评估方法、装置及设备制造方法及图纸

本申请涉及人工智能技术领域，提供一种连贯性评估模型训练和连贯性评估方法、装置及设备，用以提高对话的连贯性评估效率，其中，训练方法包括：获得归属于多个连贯性类别的各训练样本的编码特征，然后，对得到的各编码特征进行分类编码比对，获得对比损失，之后，对各编码特征进行连贯性评估，获取各训练样本的连贯性评估值，并对得到的各连贯性评估值进行分类排序比对，获得排序损失，最后，结合对比损失和排序损失进行模型参数调整。这样，通过对比学习的方式，实现自监督的自动化连贯性评估，从而提高连贯性测试效率。提高连贯性测试效率。提高连贯性测试效率。

【技术实现步骤摘要】
连贯性评估模型训练和连贯性评估方法、装置及设备


[0001]本申请涉及人工智能
，提供一种连贯性评估模型训练和连贯性评估方法、装置及设备。

技术介绍

[0002]随着对话系统的飞速发展，如何评估对话系统在对话进行过程中表现出的连贯性成为了现在的一个焦点。由于人工评估的方法无法满足对话系统开发过程中的频繁需求，因此，自动对话连贯性评测方法成为近年来的研究热点。
[0003]相关技术中，通常采用预训练和微调的两阶段训练方式，对对话连贯性评估模型进行训练，其中，在预训练阶段，采用自监督的学习方式进行模型训练，在微调训练阶段，采用标注的样本数据，对预训练阶段训练的模型进行进一步训练。
[0004]然而，微调阶段采用人工标注数据进行训练，没有完全摆脱对人工标注数据的依赖，仍需要耗费大量时间进行人工标注，进而影响对话系统的自动化测试效率。

技术实现思路

[0005]本申请实施例提供一种连贯性评估模型训练和连贯性评估方法、装置及设备，用以提高对话系统的自动化测试效率。
[0006]第一方面，本申请实施例提供一种连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种连贯性评估模型训练方法，其特征在于，所述连贯性评估模型中至少包含编码器和预测器，所述方法包括：将提取的各训练样本分别输入至所述编码器中进行特征提取，获得相应的编码特征；其中，所述各训练样本归属于多个连贯性类别，每个训练样本包含对话信息和应答信息，每个连贯性类别表征相应的对话信息与应答信息之间的一种连贯性；基于得到的各编码特征和所述多个连贯性类别进行分类编码比对，获得对比损失；将所述各编码特征分别输入至所述预测器中进行连贯性评估，得到相应的连贯性评估值，并基于得到的各连贯性评估值及其各自对应的连贯性类别进行分类排序比对，获得排序损失；基于所述对比损失和所述排序损失，对所述编码器和所述预测器进行参数调整。2.如权利要求1所述的方法，其特征在于，所述基于得到的各编码特征和所述多个连贯性类别进行分类编码比对，获得对比损失，包括：基于所述各训练样本各自归属的连贯性类别，对所述各训练样本进行分类，得到所述各训练样本各自的各同类样本和各异类样本；基于得到的各分类结果，对各编码特征进行相似度对比，获得所述各训练样本各自对应的对比子损失，并基于获得的各对比子损失，获得所述对比损失。3.如权利要求2所述的方法，其特征在于，所述基于所述各训练样本各自归属的连贯性类别，对所述各训练样本进行分类，得到所述各训练样本各自的各同类样本和各异类样本，包括：针对所述各训练样本中的每个训练样本，分别执行以下操作：将一个训练样本作为锚点样本，并将所述锚点样本所属的连贯性类别，作为锚点类别；基于所述锚点类别，从所述各训练样本中，筛选出归属于所述锚点类别的除所述锚点样本之外的训练样本，作为所述锚点样本对应的各同类样本；基于所述锚点类别，从所述各训练样本中，筛选出归属于除所述锚点类别之外的训练样本，作为所述锚点样本对应的各异类样本。4.如权利要求2所述的方法，其特征在于，所述基于得到的各分类结果，对各编码特征进行相似度对比，获得所述各训练样本各自对应的对比子损失，包括：针对所述各训练样本中的每个训练样本，分别执行以下操作：将一个训练样本作为锚点样本，并基于得到的各编码特征，分别计算所述锚点样本与所述各同类样本之间的第一相似度，以及分别计算所述锚点样本分别与所述各异类样本之间的第二相似度；将各第一相似度和各第二相似度之和，作为总相似度和，并分别计算所述各第一相似度与所述总相似度之间的比值，以及基于计算得到的各比值，得到所述锚点样本对应的对比子损失。5.如权利要求1
‑
4中任一项所述的方法，其特征在于，所述基于得到的各连贯性评估值及其各自对应的连贯性类别进行分类排序比对，获得排序损失，包括：基于得到的各连贯性评估值及其各自对应的连贯性类别，得到所述多个连贯性类别各自对应的类别总评估值；基于得到的多个类别总评估值，按照预设的所述多个连贯性类别之间的排列顺序，得
到所述多个连贯性类别中，每两个相邻连贯性类别之间的类别评估差值；基于预设的类别间隔参数，分别对得到的至少一个类别评估差值进行数值调整，获得排序损失。6.如权利要求5所述的方法，其特征在于，所述基于预设的类别间隔参数，分别对得到的至少一个类别评估差值进行数值调整，获得排序损失，包括：基于预设的类别间隔参数，分别对得到至少一个类别评估差值进行数值调整，得到至少一个候选差值；从所述至少一个候选差值中，筛选出取值大于预设取值阈值的候选差值，并将筛选出的至少一个候选差值，作为至少一个目标差值，以及基于所述至少一个目标差值，获得排序损失。7.如权利要求1
‑
4中任一项所述的方法，其特征在于，所述连贯性评估模型还包含分类器；则基于所述对比损失和所述排序损失，进行模型参数调整之前，还包括：将所述各编码特征输入至所述分类器中进行连贯性类别预测，获得相应的分类结果，并基于获得的各分类结果和所述各训练样本各自归属的连贯性类别进行分类...

【专利技术属性】
技术研发人员：陆柳村，王硕佳，赵瑞辉，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：