一种基于模型特征信息增强的BERT模型融合方法技术

本发明专利技术公开了一种基于模型特征信息增强的BERT模型融合方法，该方法首先对所有的原模型进行部分模型融合，生成对应的中间模型，这些中间模型包含了原模型的特征信息，对原有模型进行了增强。然后对原有模型和中间模型共同进行模型融合，生成最终的新模型本发明专利技术通过增强原模型的特征信息，使得融合后的新模型可以获取到更多原模型相关的特征信息，进而提高了融合后新模型的表现效果。相比于直接对原有模型进行融合，本方法通过引入中间模型对原有模型进行增强，可以有效地提升原模型的特征信息，进而提高融合后新模型的表现效果。进而提高融合后新模型的表现效果。进而提高融合后新模型的表现效果。

【技术实现步骤摘要】
一种基于模型特征信息增强的BERT模型融合方法


[0001]本专利技术涉及BERT模型复用和BERT模型融合领域，尤其是涉及了一种基于模型特征信息增强的BERT模型融合方法。

技术介绍

[0002]BERT模型融合是一项重要的模型融合任务，其目的在于对多个单任务上微调好的BERT模型进行融合和复用，生成一个可以在多任务表现良好的新BERT模型。
[0003]目前的模型融合方法多是集中于图像识别领域和卷积网络，而对于自然语言处理和BERT模型融合的方法相对较少，这些方法往往并不能充分地利用原有BERT模型的特征信息，所以融合后的BERT模型并不能达到较好的表现效果。
[0004]目前BERT模型复用方法多集中于单个BERT模型的知识蒸馏与复用，侧重于对原有模型的压缩，没有考虑对多个BERT模型之间的特征融合，更没有考虑对BERT新模型多任务处理能力的提升。

技术实现思路

[0005]本专利技术的目的在于针对现有BERT模型融合技术的不足，提供了一种基于模型特征信息增强的BERT模型融合方法，本专利技术可以利用中间模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型特征信息增强的BERT模型融合方法，其特征在于，该方法的具体步骤如下：(1)首先，对于给定的N个原有模型，将其划分为N个不同的分组，每个分组包含N
‑
1个原有模型；(2)然后，对于划分后的N个分组，将每个分组中的N
‑
1个原有模型进行融合，生成N个对应的中间模型，中间模型相比于原有模型拥有较好的表现效果，对原有模型的特征信息进行了增强；(3)最后，将N个中间模型和N个原有模型，共同进行模型融合，生成一个最终的新模型。2.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，所述将每个分组中的N

【专利技术属性】
技术研发人员：陈珂，骆歆远，寿黎但，杨浩磊，陈刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：