【技术实现步骤摘要】
基于对比学习的模型训练方法及装置
[0001]本公开涉及人工智能
，特别涉及一种基于对比学习的模型训练方法及装置、电子设备、计算机可读存储介质。
技术介绍
[0002]对比学习(Contrastive Learning)，是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。
[0003]目前，在进行基于对比学习的模型训练时，一般是对样本文本数据进行数据增强(DataAugmentation)处理，将增强后的文本数据作为该样本文本数据的正例数据放入模型进行训练，将除该样本文本数据和其增强文本数据以外的其他数据作为该样本文本数据的负例数据放入模型进行训练。该种方法可能存在模型训练效果差以及收敛速度慢的问题。
技术实现思路
[0004]本公开提供一种基于对比学习的模型训练方法及装置、电子设备、计算机可读存储介质，以提升模型训练效果和收敛速度。
[0005]第一方面，本公开提供了一种基于对比学习的模型训练方法，该基于对比学习的模型训练方法包括：...
【技术保护点】
【技术特征摘要】
1.一种基于对比学习的模型训练方法，其特征在于，包括：对样本文本数据进行数据增强处理，获得多个增强文本数据；对所述样本文本数据和所述多个增强文本数据进行语义检测处理，获得与所述样本文本数据对应的正例数据集和负例数据集，其中，所述正例数据集中的增强文本数据的语义满足预设条件，所述负例数据集至少包括除所述正例数据集中的增强文本数据之外的增强文本数据；所述语义满足预设条件表征增强文本数据与所述样本文本数据之间的语义偏差程度满足预设条件；根据所述样本文本数据、所述正例数据集和所述负例数据集，对待训练的初始网络模型进行对比学习训练，获得目标网络模型。2.根据权利要求1所述的方法，其特征在于，所述对所述样本文本数据和所述多个增强文本数据进行语义检测处理，获得与所述样本文本数据对应的正例数据集，包括：将所述样本文本数据和第一增强文本数据输入至多个文本任务模型中，得到所述多个文本任务模型的预测结果，每个所述文本任务模型的预测结果包括所述样本文本数据以及所述第一增强文本数据的预测结果；所述第一增强文本数据为所述多个增强文本数据中的任一增强文本数据；根据所述多个文本任务模型的预测结果，计算所述第一增强文本数据与所述样本文本数据之间的语义偏差程度，得到第一语义评分，其中，所述第一语义评分与所述第一增强文本数据对应；在所述第一语义评分大于或等于预设阈值的情况下，将所述第一增强文本数据划分至所述正例数据集中。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个文本任务模型的预测结果，计算第一增强文本数据与所述样本文本数据之间的语义偏差程度，得到第一语义评分，包括：从所述多个文本任务模型的预测结果中获取任一预测结果作为第一预测结果；获取与所述第一预测结果对应的文本任务模型的目标任务类型，其中，所述目标任务类型表示所述文本任务模型所执行的文本任务的类型；根据所述目标任务类型和所述第一预测结果，得到与所述第一增强文本数据对应的第一子语义评分；根据所述第一子语义评分，得到所述第一语义评分。4.根据权利要求3所述的方法，其特征在于，所述目标任务类型包括第一预设任务类型和第二预设任务类型；在所述目标任务类型为所述第一预设任务类型或者所述第二预设任务类型的情况下，所述第一预测结果中包括与所述样本文本数据对应的第一子预测结果，以及与所述第一增强文本数据对应的第二子预测结果；所述根据所述目标任务类型和所述第一预测结果，得到与所述第一增强文本数据对应的第一子语义评分，包括：从所述第一预测结果中，获取所述第一子预测结果和所述第二子预测结果；在所述任务类型为所述第一预设任务类型的情况下，比较所述第一子预测结果和所述第二子预测结果是否一致；在两者一致的情况下，获取第一概率值和第二概率值之间的差值的绝对值，根据所述差值的绝对值，得到所述第一子语义评分；以及，在两者不一致的情
况下，确定所述第一子语义评分为...
【专利技术属性】
技术研发人员：吕乐宾，蒋宁，夏粉，肖冰，李宽，丁隆耀，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。