深度学习预训练模型调优方法、装置、电子设备及介质制造方法及图纸

本申请实施例提供了一种深度学习预训练模型调优方法、装置、电子设备及存储介质，该方法包括采集目标领域的语料数据，得到语料库；构建目标领域的标签类目体系，基于标签类目体系中的节点词在语料库出现的行数，在标签类目体系中确定子树结构的标签类目数据；基于子树结构的标签类目数据，构建图神经网络结构；将图神经网络结构嵌入深度学习预训练模型，并确定图神经网络结构的参数为调优参数；基于确定的调优参数对深度学习预训练模型进行调优训练。能够减少调优的参数量，并能够在确保深度学习预训练模型的准确率的前提下，提高对深度学习预训练模型的调优效率。学习预训练模型的调优效率。学习预训练模型的调优效率。

【技术实现步骤摘要】
深度学习预训练模型调优方法、装置、电子设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种深度学习预训练模型调优方法、装置、电子设备及存储介质。

技术介绍

[0002]大规模的预训练模型由于其强大的泛化能力和对规模数据的高效利用而得到了广泛关注。分类类别过多导致的数据不平衡往往是智能分类模型训练的难点，亦是模型精度提升的瓶颈。数据采样策略(上/下采样，SMOTE采样等)虽然在理论层面能够起到一定效果，但在实际应用中由于分类任务的复杂性，往往无法达到预期效果。
[0003]以中医疾病分类为例，中医已知的疾病分型(证型)类别达到1600多种，且类别之间的差异非常细微。基于目前效果最优的大规模预训练模型调优的方法，需要构建1600类的分类模型，其效果取决于1600类对应的训练数据质量。现实中，首先收集到全部1600类的高质量数据是十分困难的。其次，若需要为1600类中的每一类分别构建一个模型，意味着需要对原始大规模预训练模型调优1600次，且所有模型的参数量之和为原始模型的1600倍，会导致大量的工作，且调优过程中对参数的计算量也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习预训练模型调优方法，其特征在于，所述方法包括：采集目标领域的语料数据，得到语料库；构建所述目标领域的标签类目体系，所述标签类目体系为树型结构；基于所述标签类目体系中的节点词在所述语料库出现的行数，在所述标签类目体系中确定子树结构的标签类目数据；基于所述子树结构的标签类目数据，构建图神经网络结构；将所述图神经网络结构嵌入深度学习预训练模型，并确定所述图神经网络结构的参数为调优参数；基于所述调优参数对所述深度学习预训练模型进行调优训练。2.根据权利要求1所述的方法，其特征在于，所述基于所述标签类目体系中的节点词在所述语料库出现的行数，在所述标签类目体系中确定子树结构的标签类目数据，包括：将所述标签类目体系中的节点词在所述语料库中进行匹配，并统计各个节点的节点词在所述语料库中出现的行数；选取所述节点词在所述语料库中出现的行数大于预设阈值所对应的节点；基于选取的节点确定子树结构的标签类目数据。3.根据权利要求2所述的方法，其特征在于，所述基于选取的节点确定子树结构的标签类目数据，包括：从选取的节点中确定目标叶子节点；根据所述目标叶子节点，确定目标路径；在所述目标路径中选取目标父节点，并根据所述目标父节点确定目标子路径；基于所述目标路径和所述目标子路径，确定子树结构的标签类目数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述子树结构的标签类目数据，构建图神经网络结构，包括：获取所述子树结构的标签类目数据中的节点；根据所述子树结构的标签类目数据的节点数量，确定所述图神经网络的参数；基于确定的参数，构建得到图神经网络结构。5.根据权利要求1所述的方法，其特征在于，在将所述图神经网络结构嵌入深度学习预训练模型之前，所述方法还包括：获取目标语料，所述目标语料为所述子树结构的标签类目数据对应的语料；根据所述语料库...

【专利技术属性】
技术研发人员：胡意仪，阮晓雯，吴振宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：