基于AI-Agent的全自动化数据处理与大模型微调系统技术方案

本发明专利技术涉及金融数据处理技术领域，公开了基于AI‑Agent的全自动化数据处理与大模型微调系统，包括以下模块：用户交互模块、数据处理技术模块，运用多模态识别技术以及自动清洗算法开展复杂数据处理、功能支撑模块、数据存储模块、日志记录模块、接口模块。本发明专利技术通过金融识别Agent和结构化输出Agent协同工作，先运用知识嵌入算法将RAG金融知识库概念转化为向量，接着对输入金融数据预处理并向量化，再用欧氏距离算法匹配金融概念，之后利用动态规划算法将非结构化数据转化为结构化数据，最后输出。这一系列算法的运用，精准识别金融概念，高效转换数据结构，全面提升金融数据处理的准确性与效率，助力金融机构进行深度分析与决策。

【技术实现步骤摘要】

本专利技术涉及金融数据处理，具体为基于ai-agent的全自动化数据处理与大模型微调系统。

技术介绍

1、在金融领域，数据处理和分析对金融机构的决策和运营至关重要。金融数据具有信息量大、格式多样、专业性强等特点，如何从海量金融数据中快速准确地识别关键信息，并将其转化为结构化数据，是金融数据处理的核心任务。

2、现有技术中，在金融数据处理方面，对于金融概念的识别，多采用传统的关键词匹配和简单的模式识别方法。在数据结构化处理上，一般通过手动制定规则或简单的模板匹配来实现，缺乏对复杂数据结构和语义信息的有效处理。对于金融知识库的运用，往往是简单的文本检索，难以深入挖掘知识间的关联。

3、然而，现有技术存在诸多不足之处。传统的金融概念识别方法容易出现误判和漏判，无法准确处理语义复杂的金融概念。手动制定规则和模板匹配的数据结构化方式效率低下，难以适应数据格式和需求的变化。简单的文本检索方式不能充分利用金融知识库的价值，无法为金融分析和决策提供全面、准确的支持，难以满足金融机构对数据处理准确性和效率日益增长的需求，鉴于此，我们提出一种基于ai-本文档来自技高网...

【技术保护点】

1.基于AI-Agent的全自动化数据处理与大模型微调系统，其特征在于，包括以下模块：

2.根据权利要求1所述的基于AI-Agent的全自动化数据处理与大模型微调系统，其特征在于，所述多模态识别技术集成OCR、Surya、Florence-2、Whisper Smal l算法，处理文档、语音、图像多模态数据。

3.根据权利要求1所述的基于AI-Agent的全自动化数据处理与大模型微调系统，其特征在于，所述数据处理技术模块中数据清洗的融合自动清洗算法包括移除敏感信息、文本规范化和质量过滤操作，同时支持多语言混合处理，其中移除敏感信息结合正则表达式、关键词匹配与语义理...

【技术特征摘要】

1.基于ai-agent的全自动化数据处理与大模型微调系统，其特征在于，包括以下模块：

2.根据权利要求1所述的基于ai-agent的全自动化数据处理与大模型微调系统，其特征在于，所述多模态识别技术集成ocr、surya、florence-2、whisper smal l算法，处理文档、语音、图像多模态数据。

3.根据权利要求1所述的基于ai-agent的全自动化数据处理与大模型微调系统，其特征在于，所述数据处理技术模块中数据清洗的融合自动清洗算法包括移除敏感信息、文本规范化和质量过滤操作，同时支持多语言混合处理，其中移除敏感信息结合正则表达式、关键词匹配与语义理解技术；文本规范化则利用深度学习文本生成模型、质量过滤结合启发式规则和机器学习分类器。

4.根据权利要求1所述的基于ai-agent的全自动化数据处理与大模型微调系统，其特征在于，所述数据处理技术模块中构建“数据输入—智能处理—场景适配—知识检索—精准应答”的闭环生态，通过建立回归模型分析数据清洗前后噪声率变化与agent系统准确率变化的关系，得到数据处理流程闭环优化的有效性分析结果。

5.根据权利要求1所述的基于ai-agent的全自动化数据处理与大模型微调系统，其特征在于，所述功能支撑模块中agent构建基于本地部署的开源大语言模型deepseek，利用dify平台构建特定功能agent系统。

6.根据权利要求5所述的基于ai-agent的全自动化数据处理与大模型...

【专利技术属性】
技术研发人员：张子琪，李鑫伟，殷梦婵，周星彤，陈瑾，李佳琦，吴胤乐，
申请(专利权)人：张子琪，
类型：发明
国别省市：