【技术实现步骤摘要】
本专利技术涉及机器学习，具体涉及基于对比学习的大语言模型蒸馏方法。
技术介绍
1、随着互联网技术的飞速发展，手机、电脑等各种电子设备成为了人们生活中不可缺少的部分之一，这些设备上各种应用每天都会产生海量的文本信息，如何有效利用这些文本信息是许多领域都需要解决的一个问题。在海量的文本信息基础上衍生出了多样的自然语言处理任务，深度学习在处理自然语言任务上表现出优异的性能。
2、近几年来出现的预训练语言模型在自然语言的研究上表现了较好的性能，但同时出现了网络模型臃肿、过参数化特性等缺点，限制了语言模型的实际的应用落地。现如今对预训练语言模型的轻量化进行了大量的研究，但大部分研究未区分语言模型的预训练阶段和微调阶段，导致了网络轻量化过程仍然需要较大的计算代价，其中采用基于知识蒸馏的模型压缩方法时，知识蒸馏中蒸馏温度的选取直接影响学生模型的训练效果。例如利用知识蒸馏技术获取大语言模型中文本摘要生成的学生模型，则模型输入样本的质量差异较大影响学生模型的训练效果，导致以大语言模型为教师模型进行知识蒸馏获取的学生模型的准确性较低。
技术实现思路
1、本专利技术提供基于对比学习的大语言模型蒸馏方法，以解决大语言模型蒸馏结果准确性低的问题，所采用的技术方案具体如下：
2、本专利技术一个实施例提供了基于对比学习的大语言模型蒸馏方法，该方法包括以下步骤：
3、获取图像文本匹配样本集合，图像文本匹配样本集合中每个元素对应一个图像数据；
4、根据图像文本匹配样本
5、根据图像文本匹配样本集合中每个元素的语义划分特征关联倾向序列和图像主题色特征关联倾向序列获取所述每个元素的图像文本关联特征系数；根据图像文本关联特征系数获取蒸馏温度；根据蒸馏温度采用知识蒸馏获取clip模型蒸馏结果，基于clip模型蒸馏结果获取图像文本的匹配结果。
6、优选的，所述根据图像文本匹配样本集合中每个元素对应的文本数据获取所述每个元素对应的分词向量表示和文本语义特征序列的方法为：
7、利用ocr技术获取图像文本匹配样本集合中每个元素对应的文本数据，利用字典分割算法获取所述文本数据划分结果，利用bert模型获取所述文本数据划分结果中每个分词的分词向量表示和每个分词的相似度得分，将所有所述分词的相似度得分由小到大排序组成的序列作为所述每个元素的文本语义特征序列。
8、优选的，所述根据图像文本匹配样本集合中每个元素对应的分词向量表示和文本语义特征序列获取图像文本匹配样本集合中不同元素之间的语义划分特征相似系数的方法为：
9、
10、式中，表示第个和第个元素之间的语义划分特征相似系数；和分别表示第个和第个元素对应的文本数据的文本特征序列，表示和之间的杰卡德系数；表示第个元素对应的文本数据中第个分词的分词向量表示，表示第个元素对应的文本数据中第个分词的分词向量表示，表示和之间的余弦相似度；表示第个元素对应的文本数据中分词的数量；表示第个元素对应的文本数据中分词的数量。
11、优选的，所述根据图像文本匹配样本集合中不同元素之间的语义划分特征相似系数获取图像文本匹配样本集合中每个元素对应的关联分析特征样本，基于所述关联分析特征样本获取所述每个元素的语义划分特征关联倾向序列的方法为：
12、对于图像文本匹配样本集合中的每个元素，获取所述每个元素与其它所有元素之间的语义划分特征相似系数，将所有所述语义划分特征相似系数按照由大到小的顺序排序组成的序列作为所述每个元素的关联特征分析序列，将所述关联特征分析序列中预设数量的数据对应的元素作为所述每个元素的关联分析特征样本，将关联特征分析序列中预设数量的数据组成的序列作为所述每个元素的语义划分特征关联倾向序列。
13、优选的，所述根据图像文本匹配样本集合中每个元素的色彩特征获取图像文本匹配样本集合中每个元素的图像色彩关联特征向量的方法为：
14、对于图像文本匹配样本集合中每个元素，采用八叉树主题色提取算法获取所述每个元素的预设数量个主题色，将所述每个元素对应的预设数量个主题色作为所述每个元素的图像关联特征向量。
15、优选的，所述根据图像文本匹配样本集合中每个元素的图像色彩关联特征向量获取图像文本匹配样本集合中每个元素的图像主题色特征关联倾向序列的方法为：
16、对于图像文本匹配样本集合中每个元素的关联分析特征样本，将所述每个元素的图像关联特征向量与每个所述关联分析特征样本对应的图像关联特征向量的余弦相似度的计算结果作为所述每个所述关联分析特征样本的图像特征相似系数，根据所述图像特征相似系数获取每个元素的图像主题色特征关联倾向序列。
17、优选的，所述根据所述图像特征相似系数获取每个元素的图像主题色特征关联倾向序列的方法为：
18、对于图像文本匹配样本集合中每个元素的关联分析特征样本，将每个元素所有的关联分析特征样本的图像特征相似系数按照由小到大的顺序组成的序列作为所述每个元素对应的图像主题色特征关联倾向序列。
19、优选的，所述根据图像文本匹配样本集合中每个元素的语义划分特征关联倾向序列和图像主题色特征关联倾向序列获取所述每个元素的图像文本关联特征系数的方法为：
20、
21、式中，表示第个元素的图像文本关联特征系数；和分别表示第个元素的语义划分特征关联倾向序列、图像主题色特征关联倾向序列，表示和之间的edr编辑距离；和分别表示第个元素与第个元素的语义划分特征关联倾向序列中第个和第个数据对应的元素之间的语义划分特征相似系数；和分别表示第个元素与第个元素的语义划分特征关联倾向序列中第个和第个数据对应的元素之间的图像特征相似系数；表示和中数据的数量。
22、优选的，所述根据图像文本关联特征系数获取蒸馏温度的方法为：
23、
24、式中，表示蒸馏温度；表示蒸馏温度调节参数；表示第个元素对应的图像文本关联特征系数；表示调节参数；表示clip模型中输入元素的数量。
25、优选的，所述根据蒸馏温度采用知识蒸馏获取clip模型蒸馏结果，基于clip模型蒸馏结果获取图像文本的匹配结果的方法为：
26、基于蒸馏温度采用知识蒸馏技术获取clip模型的蒸馏本文档来自技高网...
【技术保护点】
1.基于对比学习的大语言模型蒸馏方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素对应的文本数据获取所述每个元素对应的分词向量表示和文本语义特征序列的方法为：
3.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素对应的分词向量表示和文本语义特征序列获取图像文本匹配样本集合中不同元素之间的语义划分特征相似系数的方法为：
4.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中不同元素之间的语义划分特征相似系数获取图像文本匹配样本集合中每个元素对应的关联分析特征样本，基于所述关联分析特征样本获取所述每个元素的语义划分特征关联倾向序列的方法为：
5.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素的色彩特征获取图像文本匹配样本集合中每个元素的图像色彩关联特征向量的方法为：
6.
7.根据权利要求6所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据所述图像特征相似系数获取每个元素的图像主题色特征关联倾向序列的方法为：
8.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素的语义划分特征关联倾向序列和图像主题色特征关联倾向序列获取所述每个元素的图像文本关联特征系数的方法为：
9.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本关联特征系数获取蒸馏温度的方法为：
10.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据蒸馏温度采用知识蒸馏获取CLIP模型蒸馏结果，基于CLIP模型蒸馏结果获取图像文本的匹配结果的方法为：
...【技术特征摘要】
1.基于对比学习的大语言模型蒸馏方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素对应的文本数据获取所述每个元素对应的分词向量表示和文本语义特征序列的方法为：
3.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素对应的分词向量表示和文本语义特征序列获取图像文本匹配样本集合中不同元素之间的语义划分特征相似系数的方法为：
4.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中不同元素之间的语义划分特征相似系数获取图像文本匹配样本集合中每个元素对应的关联分析特征样本，基于所述关联分析特征样本获取所述每个元素的语义划分特征关联倾向序列的方法为：
5.根据权利要求1所述的基于对比学习的大语言模型蒸馏方法，其特征在于，所述根据图像文本匹配样本集合中每个元素的色彩特征获取图像文本匹配样本集合中每个元素的图像色彩...
【专利技术属性】
技术研发人员：王亚，赵策，屠静，万晶晶，颉彬，孙岩，潘亮亮，刘岩，
申请(专利权)人：卓世智星天津科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。