基于模型拓印的垂类大模型生成方法、平台及存储介质技术

技术编号:42891314 阅读:21 留言:0更新日期:2024-09-30 15:10
本发明专利技术涉及模型学习技术领域,更具体涉及基于模型拓印的垂类大模型生成方法、平台及存储介质。所述方法包括:步骤S1:将多个开源模型中性能最好的开源模型作为第一模型;步骤S2:基于预设领域的第一数据集对第一模型进行训练,调整第一模型的权重进行调整,并基于第一模型及第一数据集生成第二数据集;步骤S3:通过知识蒸馏训练第二模型,并根据第二数据集中第j数据对应的第输出结果与将第j数据输入第二模型输出的第输出结果,调整第二模型的权重;步骤S4:根据第二模型隐藏层的位置及神经元数量来压缩第二模型。本发明专利技术解决了大模型复杂度高且精度不高的问题,降低了大模型的复杂度并提高了精度。

【技术实现步骤摘要】

本专利技术涉及模型学习,更具体涉及基于模型拓印的垂类大模型生成方法、平台及存储介质


技术介绍

1、随着人工智能技术的飞速发展,大模型在自然语言处理、计算机视觉等领域的应用越来越广泛。然而,对于特定的垂类领域,通用的大模型往往无法满足用户对性能和效率的要求,为了解决这一问题,希望开发出针对特定垂类领域的高性能、高效率的大模型,在现有技术中,例如:中国专利cn117877111a,提供一种轻量化的动作识别模型训练方法及系统,涉及动作识别
,包括:采集多张包含人体的动作图像并标注对应的动作类型标签形成训练数据集;针对每种动作类型分别搭建一个教师网络模型,并且将标注有动作类型标签的各动作图像输入对教师网络模型进行训练,在训练完毕后模型参数;搭建学生网络模型,采用半监督的方式使用训练数据集对学生网络模型进行训练,采用知识蒸馏的方式根据各教师网络模型的输出和学生网络模型的输出以及各教师网络模型的模型参数逐步更新学生网络模型的模型参数,直至学生网络模型的输出达到预设的收敛条件将学生网络模型作为轻量化的动作识别模型。有益效果是动作识别模型准确识确的同时具备轻量化特本文档来自技高网...

【技术保护点】

1.一种基于模型拓印的垂直类大模型生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括如下步骤:

3.根据权利要求1所述的方法,其特征在于,所述步骤S2中所述第一模型的训练包括如下步骤:

4.根据权利要求3所述的方法,其特征在于,所述步骤S2还包括:

5.根据权利要求1所述的方法,其特征在于,所述步骤S3包括如下步骤:

6.根据权利要求1所述的方法,其特征在于,所述步骤S4包括:

7.根据权利要求6所述的方法,其特征在于,所述第二模型从第一隐藏层到第N隐藏层的顺序进行减重,...

【技术特征摘要】

1.一种基于模型拓印的垂直类大模型生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤s1包括如下步骤:

3.根据权利要求1所述的方法,其特征在于,所述步骤s2中所述第一模型的训练包括如下步骤:

4.根据权利要求3所述的方法,其特征在于,所述步骤s2还包括:

5.根据权利要求1所述的方法,其特征在于,所述步骤s3包括如下步骤:

6.根据权利要求1所述的方法,其特征在于,所述步骤s4包括:

7.根据权利要求6所述...

【专利技术属性】
技术研发人员:颜思威段德峰颜海鹰
申请(专利权)人:深圳乐行智慧产业有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1