【技术实现步骤摘要】
本专利技术涉及深度学习和自然语言处理领域，特别是涉及一种对话表征的对比学习方法、装置及存储介质。
技术介绍
1、高质量的预训练文本表示对于各种下游任务来说都是有力的工具。但是，与诸如句子表示学习之类的任务相比较而言，对话表征学习受到了较少的关注。这主要是由于两方面的挑战：1)缺少关于对话表征学习的标准的评估基准，以及2)将对话语料合并到现有的表示学习范式中比较复杂。
2、现有研究指出：在对话和纯文本的语言模式之间存在本质上的不同，这导致了对话未被充分的表示。此外，通常来说，进行与对话相关的人工注释由于其复杂性和微妙的形式更复杂且更昂贵。因此，学习有效的通用对话表征变成非常重要的任务，但是目前，与句子表示学习相比较而言，对话表征受到较少的关注且目前还未获得充分开发。
3、在对话表征学习中，现有技术针对相同数据集的不同分集进行了训练和测试。现有技术的该方法虽然具有高性能，但是在出现域转换或者甚至是简单的数据集变化时，这种高性能非常容易下降。当前，迫切需求一种能够捕获适合广泛任务的通用信息的通用对话表征学习方法。
技术实现思路
1、本专利技术的实施例提供了一种对话表征的对比学习方法、装置及存储介质，以提供一种通用对话表征学习方法，该通用对话表征学习方法能解决对话语料库中话语频率不平衡问题，具有较高的性能。
2、为了实现上述目的，一方面，提供了一种对话表征的对比学习方法，包括：
3、基于样本权重和nt-xent损失函数确定对比损失函数其中批次
4、
5、其中，c和r分别表示所述文本对的上文和该上文的回复的embedding，c和r的下标i和j分别用于表示对应的文本对，τ为温度超参数，sim为余弦相似度；
6、
7、其中，α为所述文本对i的权值，所述α通过如下公式确定:
8、
9、其中，表示所述文本对i中回复在训练数据中出现的频率。
10、优选地，所述的对比学习方法，还包括：
11、通过将连续的对话回合确定为上文并将所确定的上文及其相邻的回复定义为正对来构造正对。
12、优选地，所述的对比学习方法，其中，所述构造正对包括：
13、设置窗口大小为m，所述m为正整数；
14、从给定对话中选择一句话作为回复，将与所述回复相邻的、在所述回复之前最近的m句话选择作为上文；
15、将所选择的上文-回复对作为正对，而所有其他剩余的对作为负对；
16、其中，所述m有多个取值。
17、优选地，所述的对比学习方法，其中,还包括：
18、初始化训练检查点；
19、将tansformer编码器最后一层的输入令牌编码取平均值；
20、在训练阶段，在所述tansformer编码器的顶部加入多个对比头，其中每一个头为线性层。
21、优选地，所述的对比学习方法，其中，还包括：构造用于评估对话表征质量的评估模型，所述评估模型包括：
22、分类任务和检索任务，其中，分类任务包括：动作预测，用于使用最近的对话历史作为输入来预测接下来话语的动作标签；和对话自然语言推理，用于检测回复是否与对话历史矛盾；检索任务包括：回复检索，用于根据给定的对话历史从回复候选池中选择最合适的回复；
23、选定的多个数据集，包括：选择用于动作预测任务的数据集gsim和dstc2；选择用于对话自然语言推理任务的数据集ic-tod和decode；及选择用于回复检索任务的数据集dstc7-ubuntu。
24、优选地，所述的对比学习方法，其中，所述构造用于评估对话表征质量的评估模型还包括：
25、针对动作预测任务，拼接最近的对话历史x，将所述对话历史x通过编码器f，并在应用sigmoid层之后使用多层感知器mlp对编码进行分类，这个过程的输出是动作标签a，其中，如果某一动作标签的概率超过0.5，则会预测该动作标签，其中：
26、a＝sigmoid(mlp(x))；
27、针对对话自然语言推理任务，将softmax函数应用于多层感知器mlp的输出来获得预测概率，其中，l为标签集，预测概率最高的标签为预测标签：
28、l＝softmax(mlp(x))；
29、针对回复检索任务，将所拼接的对话历史作为输入，检索与前一个对话回合上文相关且连贯的下一句话。
30、优选地，所述的对比学习方法，其中，所述构造用于评估对话表征质量评估模型还包括：
31、计算来自回复候选池中的各回复和给定对话历史的表征之间的距离，并且根据距离进行排序，选择距离最小的回复作为正确的回复。
32、另一方面，提供了一种对话表征的对比学习装置，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如上文任一所述的对话表征的对比学习方法。
33、又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如上文任一所述的对话表征的对比学习方法。
34、上述技术方案具有如下技术效果：
35、本专利技术实施例的技术方案提供了一种新的对话embedding方法,即加权的多上文对话对比学习(wmdc，weighted multi-context dialogue contrastive learning)；该wmdc和使用对比学习的样本重加权来获得通用的对话embedding，解决了已学习的对话embedding空间中的各向异性问题；
36、进一步的实施例中，还使用了多个上文窗口，以利用多个上文长度来进行灵活编码，使得多个窗口大小的正对能映射到对话embedding空间中；针对各种任务，通过与各种有竞争力的基准进行广泛比较，wmdc均获得了高水平的性能，这证明了wmdc能够有效地解决了现有对话语料库中的分布不平衡问题且更好地利用了语料库。
37、进一步的实施例中，提供了一种能够评估通用对话表征质量的、全面的对话表征评估基准(dreb，dialogue representation evaluation benchmark)，该基准能够用于评估对话表征的语言理解能力；其精心选择的数据集能够确保数据的全面性和代表性。该评估基准提供了一个全面的评估框架，有助于促进具有改进的泛化能力的对话表征学习方法的发展。
38、将本专利技术实施例的技术方案应用于与对话表征相关的各种人工智能应用领域如机器人客服等领域，可以提高相应领域如机器人客服的学习效率和服务质量。
本文档来自技高网...【技术保护点】
1.一种对话表征的对比学习方法，其特征在于，包括：
2.根据权利要求1所述的对比学习方法，其特征在于，还包括：
3.根据权利要求2所述的对比学习方法，其特征在于，所述构造正对包括：
4.根据权利要求1所述的对比学习方法，其特征在于,还包括：
5.根据权利要求1所述的对比学习方法，其特征在于，还包括：构造用于评估对话表征质量的评估模型，所述评估模型包括：
6.根据权利要求5所述的对比学习方法，其特征在于，所述构造用于评估对话表征质量的评估模型还包括：
7.根据权利要求6所述的对比学习方法，其特征在于，所述构造用于评估对话表征质量的评估模型还包括：
8.一种对话表征的对比学习装置，其特征在于，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至7任一所述的对话表征的对比学习方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至7任一所述的对话表征的对比学习方法。p>...
【技术特征摘要】
1.一种对话表征的对比学习方法，其特征在于，包括：
2.根据权利要求1所述的对比学习方法，其特征在于，还包括：
3.根据权利要求2所述的对比学习方法，其特征在于，所述构造正对包括：
4.根据权利要求1所述的对比学习方法，其特征在于,还包括：
5.根据权利要求1所述的对比学习方法，其特征在于，还包括：构造用于评估对话表征质量的评估模型，所述评估模型包括：
6.根据权利要求5所述的对比学习方法，其特征在于，所述构造用于评估对话表征质量的...
【专利技术属性】
技术研发人员：江豪，肖龙源，李海洲，李稀敏，李威，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。