【技术实现步骤摘要】
本专利技术涉及数据治理领域,具体涉及一种数据治理方法及系统。
技术介绍
1、随着大数据时代的到来,企业积累了海量的数据资产。数据治理作为确保数据质量、一致性和可用性的重要手段,已成为企业数字化转型的关键环节。然而,现有的数据治理方法存在以下技术问题:
2、传统数据治理需要人工制定数据标准并进行数据清洗,这个过程耗时耗力。特别是在处理非结构化数据时,人工标准化的准确率较低,且难以应对快速变化的业务需求。现有的数据质量评估方法往往依赖人工经验判断,缺乏客观统一的评估标准。不同评估人员可能对同一数据得出不同的质量判断结果,影响数据治理的一致性。在处理跨部门、跨领域的数据时,由于缺乏对业务语义的深度理解,难以准确识别数据之间的关联关系,导致数据整合效果不理想。传统的基于规则的异常检测方法难以适应复杂多变的数据场景,经常出现漏报、误报的情况,影响数据治理的可靠性。现有元数据管理需要大量人工维护和更新,且难以准确描述数据之间的复杂关系,制约了数据资产的有效管理和利用。
3、上述技术问题严重影响了企业数据治理的效率和效果。随着
...【技术保护点】
1.一种数据治理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述利用Embedding优化语义检索包括:
3.根据权利要求1所述的方法,其特征在于,所述搭建领域知识库包括:
4.根据权利要求3所述的方法,其特征在于,在生成文本块的过程中,对文本内容进行元数据抽取以及敏感信息检测。
5.根据权利要求2所述的方法,其特征在于,所述向量距离为余弦相似度。
6.一种数据治理系统,其特征在于,包括:
【技术特征摘要】
1.一种数据治理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述利用embedding优化语义检索包括:
3.根据权利要求1所述的方法,其特征在于,所述搭建领域知识库包括:
4....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。