【技术实现步骤摘要】
本申请涉及人工智能以及数字医疗领域，尤其涉及一种基于预训练语言模型的数据处理方法以及相关设备。
技术介绍
1、自然语言处理是人工智能领域的重要分支，旨在使计算机能够理解和处理人类语言，使其能够执行各种语言相关的任务。例如自然语言处理在医疗领域中涉及有医疗文本、医疗文本匹配等任务。
2、目前，业界通常使用预训练模型完成相关的自然语言处理任务，微调训练也已经成为利用预训练模型的一种主流方法，然而，微调阶段和预训练阶段使用不同的训练方法更新预训练模型，具体的，预训练阶段由于没有标签，故往往会采用mlm的训练方式，将个别字遮盖住，然后用该词的真实结果和预测结果做loss更新语言模型；而微调阶段的少量任务数据是有标签的，使得微调阶段会使用预训练语言模型cls标记位置加入线性映射到各类标签，然后计算loss，如此更新语言模型的参数，导致两种更新参数的方式不一致，使得当前预训练模型训练精度差，训练效果不理想。
技术实现思路
1、本申请实施例的主要目的在于提出一种基于预训练语言模型的数据处理方...
【技术保护点】
1.一种基于预训练语言模型的数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于预训练语言模型的数据处理方法，其特征在于，所述分别对多组所述关联训练数据中的第一训练语句、所述第二训练语句和原始关联标签进行自然语言拼接处理，得到多个自然语言语料，包括：
3.根据权利要求1所述的基于预训练语言模型的数据处理方法，其特征在于，所述根据多个所述预测结果和多个所述原始关联标签计算训练损失值，包括：
4.根据权利要求3所述的基于预训练语言模型的数据处理方法，其特征在于，所述根据多个所述预测结果得到多个预测关联标签的第一概率分布
...【技术特征摘要】
1.一种基于预训练语言模型的数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于预训练语言模型的数据处理方法，其特征在于，所述分别对多组所述关联训练数据中的第一训练语句、所述第二训练语句和原始关联标签进行自然语言拼接处理，得到多个自然语言语料，包括：
3.根据权利要求1所述的基于预训练语言模型的数据处理方法，其特征在于，所述根据多个所述预测结果和多个所述原始关联标签计算训练损失值，包括：
4.根据权利要求3所述的基于预训练语言模型的数据处理方法，其特征在于，所述根据多个所述预测结果得到多个预测关联标签的第一概率分布结果，包括：
5.根据权利要求3所述的基于预训练语言模型的数据处理方法，其特征在于，所述根据所述第一概率分布结果和所述第二概率分布结果计算训练损失值，包括：
6.根据权利要求1所述的基于预训练语言模型的数据处理方法，其特征...
【专利技术属性】
技术研发人员：黄海龙，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。