一种基于大模型与检索对比的小语种图片描述生成方法技术

本发明专利技术涉及一种基于大语言模型与检索对比的小语种图片描述生成方法，属于图片和自然语言处理技术领域。首先构建大语种到小语种平行语料数据集，以及大语种和小语种图片描述对数据集。然后进行多语理解大语言模型训练。之后进行图像文本对齐，向量数据库检索生成提示。最后根据训练好的模型和生成的提示词生成描述。本方法直接使用大语言模型生成，无需经过翻译步骤，从而提高了生成效率。图片描述生成直接针对小语种展开，通过引入检索对比技术，进一步提升了生成质量和准确率。本方法使得小语种图片描述生成更为可行，为相关领域的研究和应用提供了有力的技术支持。

【技术实现步骤摘要】

本专利技术涉及一种低资源的小语种图片描述生成方法，具体涉及一种基于大语言模型与检索对比的小语种图片描述生成方法，属于图片和自然语言处理。

技术介绍

1、图片描述生成，是一种针对输入图片生成符合语法自然通顺且贴合图片内容的语言文字的任务。现有的图片描述生成技术主要集中在中、英等主流语言中，但是对于小语种的研究方法较少。小语种，是相对英语、法语等应用面很广、用者甚众的外语而言，只在部分国家应用的外语语种，如德语、日语、西班牙语、意大利语、葡萄牙语、挪威语、芬兰语、克罗地亚语、斯洛文尼亚语、捷克语、阿尔巴尼亚语、保加利亚语、荷兰语、爱沙尼亚语、丹麦语、俄语、格鲁吉亚语、白俄罗斯语、亚美尼亚语、马其顿语、埃塞俄比亚语、匈牙利语、希腊语、塞尔维亚语、斯洛伐克语、波兰语、罗马尼亚语、瑞典语、拉脱维亚语、立陶宛语、乌克兰语、泰国语、阿拉伯语、印地语(印度语)、波斯语(伊朗语)、希伯来语(以色列语)、孟加拉语、印尼语、马来语、土耳其语、菲律宾语、越南语、老挝语、柬埔寨语、斯瓦西里语(东非)、祖鲁语、冰岛语、爱尔兰语等等。现有的方法都是首先生成中英文描述，然后通过翻译实现到本文档来自技高网...

【技术保护点】

1.一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，步骤1包括以下步骤：

3.如权利要求1所述的一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，步骤3.2中，输入图片经过图像编码器，生成图像特征与可学习参数经过图像文本对齐网络后输出向量；

4.如权利要求1所述的一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，步骤4包括以下步骤：

【技术特征摘要】

1.一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于大模型与检索对比的小语种图片描述生成方法，其特征在于，步骤1包括以下步骤：

3.如权利要求1所述的一种基于大模型与检索...

【专利技术属性】
技术研发人员：李春锦，张晓松，张华平，李玉岗，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：