多模态语言模型的训练方法和使用方法技术

本发明专利技术提供一种多模态语言模型的训练方法和使用方法，包括：将预先采集的样本数据集基于类别进行编码与拼接，得到模型词典和拼接文本；根据模型词典、拼接文本得到词典索引矩阵B；将B与当前语言模型中的嵌入矩阵E相乘，得到嵌入向量；基于嵌入向量的上下文信息对当前语言模型的嵌入层、隐藏层和输出层的参数权重进行修正，得到修正后语言模型；将嵌入向量输入至修正后语言模型，得到预测tokens及其概率；计算预测tokens和样本答案的tokens之间损失L；若L大于预设的损失阈值，则重复以上步骤；否则，则将修正后语言模型作为训练好的多模态语言模型。本多模态语言模型可以同时精确识别自然语言和多媒体语言。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其是涉及一种多模态语言模型的训练方法和使用方法。

技术介绍

1、在金融垂直领域，大模型的应用通常涉及到风险评估、欺诈检测、市场预测、客户细分、信贷审批等多种任务。为了在这些任务中取得最佳性能，对大模型进行调优至关重要。

2、但是现有语言大模型功能单一，无法同时精确处理自然语言和多媒体语言。

技术实现思路

1、基于此，本申请提供了一种多模态语言模型的训练方法和使用方法，本技术使用了一种通用的框架来实现多模态数据在大模型上的拓展和统一，使用较少的计算资源即可在基础通用语言模型上给予多模态的能力，即本多模态语言模型可以同时精确识别自然语言和多媒体语言。

2、第一方面，本专利技术实施例提供一种多模态语言模型的训练方法，所述训练方法用于预测金融数据，包括：s102:将预先采集的样本数据集基于类别进行编码与拼接，得到模型词典和拼接文本joint_tokens，其中，样本数据集的类别包括样本描述、样本图像、样本语音和样本答案；s104：根据所述模型词典，将joint_tok本文档来自技高网...

【技术保护点】

1.一种多模态语言模型的训练方法，其特征在于，所述训练方法用于预测金融数据，包括：S102:将预先采集的样本数据集基于类别进行编码与拼接，得到模型词典和拼接文本joint_tokens，其中，样本数据集的类别包括样本描述、样本图像、样本语音和样本答案；

2.根据权利要求1所述的多模态语言模型的训练方法，其特征在于，S102包括：

3.根据权利要求2所述的多模态语言模型的训练方法，其特征在于，S106包括：

4.根据权利要求3所述的多模态语言模型的训练方法，其特征在于，S108包括：

5.根据权利要求4所述的多模态语言模型的训练方法，其特征在...

【技术特征摘要】

1.一种多模态语言模型的训练方法，其特征在于，所述训练方法用于预测金融数据，包括：s102:将预先采集的样本数据集基于类别进行编码与拼接，得到模型词典和拼接文本joint_tokens，其中，样本数据集的类别包括样本描述、样本图像、样本语音和样本答案；

2.根据权利要求1所述的多模态语言模型的训练方法，其特征在于，s102包括：

3.根据权利要求2所述的多模态语言模型的训练方法，其特征在于，s106包括：

<...

【专利技术属性】
技术研发人员：冯国徽，赵津津，张云峰，高新，王艳荣，孙登蕊，安增花，张瑾，
申请(专利权)人：恒银金融科技股份有限公司，
类型：发明
国别省市：