【技术实现步骤摘要】
本申请涉及人工智能，尤其是一种多模态大模型量化评估方法及系统。
技术介绍
1、多模态大模型的突破带来了可以解决各种图像与文本的复杂任务，许多模型接近甚至达到了人类专家水平的表现。多模态大模型旨在通过将llms(即大语言模型)与多模态输入相结合，实现更强大的通用智能，解决各种复杂的多模态任务，如视觉识别能力、知识能力、字符识别能力、数学能力、场景文本理解等。然而，对于当前多模态大模型复杂多样文本的输出内容，没有一个统一的方法来评估其模型能力，更没有智慧城市多模态大模型量化评估方法，无法对已训练多模态大模型的能力进行有效的量化评估。
2、现有的评估方法是将多模态大模型预测内容的每个位置与对应标签位置进行同一个字符判断。采用该方法的模型预测结果需保证模型输出与标签一致的假设，但不能实现同一个含义不同表达文本的准确判断；也有人使用其它大模型对多模态大模型预测文本与对应标签文本进行评估，获得一个评估值，该方法借助强大的其他大模型能力进行评估，虽然能部分实现同一含义不同表达内容的判断，却依然存在不可信判断，尤其是其他大模型不擅长领域的文
【技术保护点】
1.一种多模态大模型量化评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态大模型量化评估方法，其特征在于，所述训练集中的文本对以及与文本对对应的相似度值采用以下方法得到：将图片以及与该图片对应的提示文本输入第一多模态大模型，该多模态大模型输出与该图片以及该图片对应的提示文本对应的第六文本；将该图片以及与该图片对应的提示文本输入第二多模态大模型，该多模态大模型输出与该图片以及该图片对应的提示文本对应的第八文本；将第六文本与第八文本输入通用大模型，通用大模型输出第六文本与第八文本的相似度值；由第六文本与第八文本构成文本对，并将通用大模型输出的...
【技术特征摘要】
1.一种多模态大模型量化评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态大模型量化评估方法，其特征在于，所述训练集中的文本对以及与文本对对应的相似度值采用以下方法得到：将图片以及与该图片对应的提示文本输入第一多模态大模型，该多模态大模型输出与该图片以及该图片对应的提示文本对应的第六文本；将该图片以及与该图片对应的提示文本输入第二多模态大模型，该多模态大模型输出与该图片以及该图片对应的提示文本对应的第八文本；将第六文本与第八文本输入通用大模型，通用大模型输出第六文本与第八文本的相似度值；由第六文本与第八文本构成文本对，并将通用大模型输出的第六文本与第八文本的相似度值作为训练集中第六文本与第八文本构成的文本对所对应的相似度值。
3.根据权利要求1所述的多模态大模型量化评估方法，其特征在于，所述用于量化评估多模态大模型的输出结果的模型以bert模型为基准模型，添加相似度任务头和相似度函数构建而成；将文本对输入bert模型，将bert模型的输出采用第一方法调整后作为相似度任务头的输入，将相似度任务头的输出作为相似度函数的输入，将相似度函数的输出作为用于量化评估多模态大模型的输出结果的模型的输出。
4.根据权利要求3所述的多模态大模型量化评估方法，其特征在于，所述将文本对输入用于量化评估多模态大模型的输出结果的模型，用于量化评估多模态大模型的输出结果的模型中的bert模型输出第一特征矩阵和第二特征矩阵；第一特征矩阵与输入用...
【专利技术属性】
技术研发人员：汤军，孙逢振，李骥东，张结斌，郑义，
申请(专利权)人：成都智汇合能城市科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。