一种为多模态大模型系统提供高质量数据的方法技术方案

本发明专利技术涉及数据处理技术领域，特别涉及一种为多模态大模型系统提供高质量数据的方法。该为多模态大模型系统提供高质量数据的方法，梳理行业业务知识，形成所属技术领域行业知识库，进行预处理和数据标注后，形成训练集，验证集和测试集，将文本块中的知识点转换成向量形式；针对个性化需求对模型参数进行微调，以优化模型性能指标；设计提示词，确保大语言模型能够准确理解所属行业知识的语义和结构；对用户提出的问题进行向量化处理，提交给大语言模型进行查询，获取与之最匹配的答案。该为多模态大模型系统提供高质量数据的方法，通过行归集整理，形成系统性、关联性、易用性的知识集，不仅提供了高质量数据，还为智能化服务提供了支撑。

【技术实现步骤摘要】

本专利技术涉及数据处理，特别涉及一种为多模态大模型系统提供高质量数据的方法。

技术介绍

1、目前，绝大多数的传统数字政务领域行业知识库管理体系的核心技术是基于传统的自然语言处理架构和基于分词器的知识图谱构建，其架构限制了其在满足现代政府和社会需求方面的效率和灵活性。传统数字政务领域行业知识库管理体系存在以下问题：

2、首先，信息时效性不足：传统数字政务领域行业知识库通常基于静态数据和文件，难以实时更新和反映政府政策、法规和事件的最新变化。

3、其次，难以应对复杂查询：传统数字政务领域行业知识库可能需要用户使用特定的关键字或术语来提出查询，这对于非专业用户或需要复杂信息的查询来说可能不够友好。

4、再次，缺乏上下文感知：传统数字政务领域行业知识库通常缺乏对问题背后上下文的深刻理解，这使得它们难以处理需要考虑多个相关政策或需要理解复杂政府行动的问题，这可能导致提供不准确或不完整的答案。

5、同时，无法个性化定制：传统数字政务领域行业知识库通常提供通用性的信息，而不考虑用户的特定需求或背景，使得用户无法获取与其个人本文档来自技高网...

【技术保护点】

1.一种为多模态大模型系统提供高质量数据的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤S1中，实现流程如下：

3.根据权利要求1所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤S2中，实现流程如下：

4.根据权利要求3所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤S2.5中，分词器通过倒排召回方式对文档进行分词，生成关系项Term集合，并建立关系项Term与文档的映射；

5.根据权利要求1所述的为多模态大模型系统提供高质量数据的方...

【技术特征摘要】

1.一种为多模态大模型系统提供高质量数据的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤s1中，实现流程如下：

3.根据权利要求1所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤s2中，实现流程如下：

4.根据权利要求3所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤s2.5中，分词器通过倒排召回方式对文档进行分词，生成关系项term集合，并建立关系项term与文档的映射；

5.根据权利要求1所述的为多模态大模型系统提供高质量数据的方法，其特征在于：所述步骤s3中，在结构化部署的基础大模型基础上，通过添加与所属技术领域行业相关的关键词、短语及数据隐私规定，采用数据增强技术提升模型泛化能力，针对行业知识组织的个性化需求进行模型参数微调，以优化模型性能指标。

6.根据权利...

【专利技术属性】
技术研发人员：李会，张峰，李照川，林一伟，张尧臣，王宾，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：