模型优化方法、装置、电子设备及可读存储介质制造方法及图纸

本公开提供了一种模型优化方法、装置、电子设备及可读存储介质，所述方法包括：使用预测模型获取多个训练实例各自在标签集合上的预测概率分布，所述训练实例包括实体对和所述实体对所在的上下文；根据所述多个训练实例各自在标签集合上的预测概率分布，获取所述多个训练实例各自在标签集合上的伪概率分布；使用所述多个训练实例各自在标签集合上的伪概率分布和所述多个训练实例各自的初始标签优化所述预测模型，以更新所述多个训练实例各自在标签集合上的预测概率分布。标签集合上的预测概率分布。标签集合上的预测概率分布。

【技术实现步骤摘要】
模型优化方法、装置、电子设备及可读存储介质


[0001]本公开涉及计算机
，具体涉及一种模型优化方法、装置、电子设备及可读存储介质。

技术介绍

[0002]关系抽取任务的目标是给定实体对和实体对所在的上下文，基于预先设定的标签集合，预测实体对所具有的关系。比如对于“北京”和“中国”这一实体对，句子“北京是中国的首都”表达了它们之间“/地区/国家/首都”的关系。关系抽取作为信息抽取的重要子任务，可以被应用于很多下游任务中，比如知识图谱的构建与扩展，问答系统，搜索引擎等。目前主要采用有监督的学习方法进行关系抽取：将关系抽取任务当做分类问题，根据训练数据设计有效的特征，从而学习各种分类模型，然后使用训练好的分类器预测关系。但是，该方法需要大量的人工标注训练语料，而语料标注工作通常非常耗时耗力。为了打破有监督学习中人工标注数据的局限性，提出了远程监督算法，该算法的核心思想是将文本与大规模知识图谱进行实体对齐，利用知识图谱已有的实体间关系对文本进行标注。虽然远程监督标注方法非常高效，理论上可以构造无限多的标注数据，但是基于远程监督方法标注的数据通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，包括：使用预测模型获取多个训练实例各自在标签集合上的预测概率分布，所述训练实例包括实体对和所述实体对所在的上下文；根据所述多个训练实例各自在标签集合上的预测概率分布，获取所述多个训练实例各自在标签集合上的伪概率分布；使用所述多个训练实例各自在标签集合上的伪概率分布和所述多个训练实例各自的初始标签优化所述预测模型，以更新所述多个训练实例各自在标签集合上的预测概率分布。2.根据权利要求1所述的方法，其中，所述获取多个训练实例各自在标签集合上的预测概率分布，包括：获取所述训练实例的向量表示；将所述训练实例的向量表示输入到以softmax为激活函数的全连接层进行非线性变换，得到所述训练实例在标签集合上的预测概率分布。3.根据权利要求2所述的方法，其中，所述获取所述训练实例的向量表示，包括：获取所述训练实例的向量列表，所述向量列表包括所述训练实例中各个词的词向量和所述词相对于所述训练实例中的实体的位置向量；对所述训练实例的向量列表进行特征提取，得到特征提取结果；将所述特征提取结果以所述实体的位置为界限进行最大池化，得到池化结果；根据所述池化结果得到所述训练实例的向量表示。4.根据权利要求3所述的方法，其中：所述对所述训练实例的向量列表进行特征提取，得到特征提取结果，包括：将所述向量列表输入卷积神经网络，所述卷积神经网络输出所述特征提取结果；所述根据所述池化结果得到所述训练实例的向量表示，包括：将所述池化结果输入丢弃层，所述丢弃层输出所述向量表示。5.根据权利要求1所述的方法，还包括：使用所述多个训练实例和所述多个训练实例各自的初始标签对所述预测模型进行预训练。6.根据权利要求1所述的方法，其中，所述使用所述多个训练实例各自在标签集合上的伪概率分布和所述多个训练实例各自的初始标签优化所述预测模型，以更新所述多个训练实例各自在标签集合上的预测概率分布，包括：根据所述多个训练实例各自在标签集合上的伪概率分布确定所述多个训练实例各自的伪标签；使用所述多个训练实例、所述多个训练实例各自的初始标签和各自的伪标签，根据第一约束条件更新所述预测模型的参数，以更新所述多个训练实例各自在标签集合上的预测概率分布。7.根据权利要求6所述的方法，其中，所述第一约束条件包括：使所述多个训练实例各自在标签集合上的预测概率分布相对于相应训练实例的初始标签和伪标签的总损失函数最小化。8.根据权利要求7所述的方法，其中，所述第一约束条件还包括：
使所述多个训练实例各自在标签集合上的伪概率分布与相应训练实例在标签集合上的预测概率分布之间的总互信息下界最大化；使所述多个训练实例各自的预...

【专利技术属性】
技术研发人员：郭颖美，龙定坤，徐光伟，谢朋峻，王潇斌，黄非，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：