一种数据治理方法及系统技术方案

技术编号:45164019 阅读:22 留言:0更新日期:2025-05-06 18:22
本发明专利技术公开一种数据治理方法及系统,包括:接收用户搜索信息,进行语义检索,利用Embedding优化语义检索;搭建领域知识库,在领域知识库内进行检索;采用LLM大模型生成SQL代码,对数据进行处理;采用大模型进行数据集探索性数据分析。

【技术实现步骤摘要】

本专利技术涉及数据治理领域,具体涉及一种数据治理方法及系统


技术介绍

1、随着大数据时代的到来,企业积累了海量的数据资产。数据治理作为确保数据质量、一致性和可用性的重要手段,已成为企业数字化转型的关键环节。然而,现有的数据治理方法存在以下技术问题:

2、传统数据治理需要人工制定数据标准并进行数据清洗,这个过程耗时耗力。特别是在处理非结构化数据时,人工标准化的准确率较低,且难以应对快速变化的业务需求。现有的数据质量评估方法往往依赖人工经验判断,缺乏客观统一的评估标准。不同评估人员可能对同一数据得出不同的质量判断结果,影响数据治理的一致性。在处理跨部门、跨领域的数据时,由于缺乏对业务语义的深度理解,难以准确识别数据之间的关联关系,导致数据整合效果不理想。传统的基于规则的异常检测方法难以适应复杂多变的数据场景,经常出现漏报、误报的情况,影响数据治理的可靠性。现有元数据管理需要大量人工维护和更新,且难以准确描述数据之间的复杂关系,制约了数据资产的有效管理和利用。

3、上述技术问题严重影响了企业数据治理的效率和效果。随着大语言模型(llm)本文档来自技高网...

【技术保护点】

1.一种数据治理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用Embedding优化语义检索包括:

3.根据权利要求1所述的方法,其特征在于,所述搭建领域知识库包括:

4.根据权利要求3所述的方法,其特征在于,在生成文本块的过程中,对文本内容进行元数据抽取以及敏感信息检测。

5.根据权利要求2所述的方法,其特征在于,所述向量距离为余弦相似度。

6.一种数据治理系统,其特征在于,包括:

【技术特征摘要】

1.一种数据治理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用embedding优化语义检索包括:

3.根据权利要求1所述的方法,其特征在于,所述搭建领域知识库包括:

4....

【专利技术属性】
技术研发人员:李学文
申请(专利权)人:紫光云技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1