【技术实现步骤摘要】
本专利技术涉及数据处理和元数据管理领域，特别是关于一种数据湖元数据的高时效性采集方法及系统。
技术介绍
1、随着大数据时代的到来，数据湖技术得到了广泛应用。数据湖是一个集中式存储和处理大量数据的平台，这些数据需要进行有效的管理和分析，其中，元数据作为描述数据的数据，它可以帮助用户更好地理解数据，提高数据处理效率，对于数据的管理、查询和分析具有重要意义。然而，对于数据湖元数据的采集，常规多采用库表对接周期全量或增量抽取的模式，时效性不高，数据一致性难以保障，大大制约了元数据的应用场景。
2、为解决上述问题，现有技术中提供了一些数据湖元数据采集的方法和系统，但是这些方法和系统往往需要对不同类型的数据湖平台进行单独适配，开发和维护成本较高，且实时性仍有待提高。因此，有必要提供一种新的方法及系统，以实现数据湖元数据的高效采集。
技术实现思路
1、针对上述问题，本专利技术的目的是提供一种数据湖元数据的高时效性采集方法及系统，能够解决现有技术中采集时效性不高且一致性保障不强的问题。
...【技术保护点】
1.一种数据湖元数据的高时效性采集方法，其特征在于，包括：
2.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，该方法还包括：
3.如权利要求2所述的一种数据湖元数据的高时效性采集方法，其特征在于，所述采用分布式事务方法，对高速缓存中的元数据信息进行存储，包括：
4.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，该方法还包括：
5.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，所述在数据湖上层数据湖工具中抽象封装大数据平台接口的适配层，包括：
6.如权...
【技术特征摘要】
1.一种数据湖元数据的高时效性采集方法，其特征在于，包括：
2.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，该方法还包括：
3.如权利要求2所述的一种数据湖元数据的高时效性采集方法，其特征在于，所述采用分布式事务方法，对高速缓存中的元数据信息进行存储，包括：
4.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，该方法还包括：
5.如权利要求1所述的一种数据湖元数据的高时效性采集方法，其特征在于，所述在数据湖上层数据湖工具中抽象封装大数据平台接口的适配层，包括：
6.如权利要求5所述的一种数据湖元数据的高时效性采集方法，其特征在于，所述将适配层与不同类型的数据湖平台...
【专利技术属性】
技术研发人员：李文倚，张垚，刘兆年，武鹏，王刘杨，程子玮，岳翔，刘小白，崔亚奇，常莉，
申请(专利权)人：中海石油中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。