本发明专利技术公开了一种基于主动元数据的数据资产处理方法及系统，包括：基于数据湖和数据仓一体化架构对数据进行存储和纳管；基于Data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签；基于所述标签确定数据资产，对数据资产进行分类分级，并基于数据资产的分类分级结果进行数据资产编目；基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问。本发明专利技术基于主动元数据技术，运用湖仓一体化的数据存储纳管、DataOps技术开展数据预处理，实现便捷化、高性能的数据资产管理治理；运用主动元数据技术将纳管的元数据自动标签化，减少在机器学习反复训练过程中的投入。
1、数据成为资产，已经是行业共识。数据治理(data governance)是组织中涉及数据使用的一整套管理行为，是关于如何制定和实施数据的应用和技术管理的一系列政策和流程。运用数据治理系统或相近工具进行数据治理已在国家、政府、行业、协会中受到高度重视，并实施多项工作。
2、数据资产治理目前困难重重。数据没有进行统一纳管、资产形成过程人力投入较大、很多环节需要人工操作，并且数据资产共享困难，有安全隐患、没有共享的平台，无法发挥数据价值。
3、主动元数据是对用户、数据管理、系统、基础设施以及数据治理过程的持续分析，以确定数据在设计与实际运行之间的一致性和异常情况。主动元数据相对于传统元数据概念有着在所辖范畴上的扩张，即不仅回答数据是什么、如何构造以及相互关系，还包括数据在哪里、是否可信、可用性等内容，简而言之，就是包括了数据质量、使用、运维等数据。主动元数据是关于自动发现、分析和应用元数据的能力。传统元数据管理仅限于展示和分析，因此被称为“被动”，而主动元数据管理则能够“主动的”推荐或触发改进的行动，如发现新的元数据、标记错误数据、提出更合适的字段或表名、血缘分析后续动作自动化等。但是现有的主动元数据方法的最后环节，仅是将数据提升数据质量，数据怎样真正联动产生价值、形成资产对外供给、多节点数据缓存、数据版本控制没有考虑到，导致数据的价值大打折扣。
>1、本专利技术提出一种基于主动元数据的数据资产处理方法及系统，以解决如何对数据资产治理，以充分发挥数据资产价值的问题。2、为了解决上述问题，根据本专利技术的一个方面，提供了一种基于主动元数据的数据资产处理方法，所述方法包括：
3、基于数据湖和数据仓一体化架构对数据进行存储和纳管；
4、基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签；
5、基于所述标签确定数据资产，对数据资产进行分类分级，并基于数据资产的分类分级结果进行数据资产编目；
6、基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问。
7、优选地，其中所述基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签，包括：
8、对入湖的数据自动进行初步的数据清洗和元数据的备注加载和释义识别，确定元数据信息，并将所述元数据信息作为标签关联在元数据上；其中，更新的数据不覆盖，以版本日期编号的方式用标签标注；其中，所述元数据信息，包括：名称、类型属性、备注、释义识别和版本日期编号。
9、优选地，其中所述对数据资产进行分类分级，包括：
10、基于根据安全标准制定内置通用的基于身份证号和/或手机号的识别规则，或基于用户根据需求自定义的分类分级识别规则进行数据资产的分类分级。
11、优选地，其中所述基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问，包括：
12、选定需要共享的资产编目，按照分类分级信息配置过滤、脱敏和加密规则，再对需要共享的字段进行勾选，以形成服务接口，并对形成的服务接口的url进行接口审批，待审批通过后，形成数据服务安全窗口并对外开放。
13、优选地，其中所述方法还包括：
14、在对形成的服务接口的url进行接口审批时，需要经过系统管理员和数据所有者的确认通过，若存在至少有一人不通过，则审批流程将被退回；反之，则确定审批通过。
15、根据本专利技术的另一个方面，提供了一种基于主动元数据的数据资产处理系统，所述系统包括：
16、数据存储模块，用于基于数据湖和数据仓一体化架构对数据进行存储和纳管；
17、数据预处理模块，用于基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签；
18、数据资产管理模块，用于基于所述标签确定数据资产，对数据资产进行分类分级，并基于数据资产的分类分级结果进行数据资产编目；
19、数据服务安全窗口模块，用于基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问。
20、优选地，其中所述数据预处理模块，基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签，包括：
21、对入湖的数据自动进行初步的数据清洗和元数据的备注加载和释义识别，确定元数据信息，并将所述元数据信息作为标签关联在元数据上；其中，更新的数据不覆盖，以版本日期编号的方式用标签标注；其中，所述元数据信息，包括：名称、类型属性、备注、释义识别和版本日期编号。
22、优选地，其中所述数据资产管理模块，对数据资产进行分类分级，包括：
23、基于根据安全标准制定内置通用的基于身份证号和/或手机号的识别规则，或基于用户根据需求自定义的分类分级识别规则进行数据资产的分类分级。
24、优选地，其中所述数据服务安全窗口模块，基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问，包括：
25、选定需要共享的资产编目，按照分类分级信息配置过滤、脱敏和加密规则，再对需要共享的字段进行勾选，以形成服务接口，并对形成的服务接口的url进行接口审批，待审批通过后，形成数据服务安全窗口并对外开放。
26、优选地，其中所述数据服务安全窗口模块，还包括：
27、在对形成的服务接口的url进行接口审批时，需要经过系统管理员和数据所有者的确认通过，若存在至少有一人不通过，则审批流程将被退回；反之，则确定审批通过。
28、本专利技术提供了一种基于主动元数据的数据资产处理方法及系统，包括：基于数据湖和数据仓一体化架构对数据进行存储和纳管；基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签；基于所述标签确定数据资产，对数据资产进行分类分级，并基于数据资产的分类分级结果进行数据资产编目；基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问。本专利技术基于主动元数据技术，运用湖仓一体化的数据存储纳管、dataops技术开展数据预处理，实现便捷化、高性能的数据资产管理治理；运用主动元数据技术包含的如今相对成熟的内置规则和拼音文字库识别和解析算法，将纳管的元数据自动标签化，减少在机器学习反复训练过程中的投入。
本文档来自技高网...
【技术保护点】
1.一种基于主动元数据的数据资产处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于Data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签，包括：
3.根据权利要求1所述的方法，其特征在于，所述对数据资产进行分类分级，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.一种基于主动元数据的数据资产处理系统，其特征在于，所述系统包括：
7.根据权利要求6所述的系统，其特征在于，所述数据预处理模块，基于Data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签，包括：
8.根据权利要求6所述的系统，其特征在于，所述数据资产管理模块，对数据资产进行分类分级，包括：
9.根据权利要求6所述的系统，其特征在于，所述数据服务安全窗口模块，基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问，包括：
10.根据权利要求9所述的系统，其特征在于，所述数据服务安全窗口模块，还包括：
...
【技术特征摘要】
1.一种基于主动元数据的数据资产处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签，包括：
3.根据权利要求1所述的方法，其特征在于，所述对数据资产进行分类分级，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.一种基于主动元数据的数据资产...
【专利技术属性】
技术研发人员：王煜，何腾翔，白雪珂，李瑞祥，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。