【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种大数据治理方法及相关装置、设备和存储介质。
技术介绍
1、随着大数据在各行各业应用地越来越广泛，大数据技术也越趋于蓬勃发展，与此同时，也面临着越来越多的数据管理与治理挑战。
2、目前，传统的大数据平台架构复杂性高，通常由批处理层、实时处理层等多个组件构成。此外，还需要在两个不同的api中对同样的业务逻辑进行两次编程。其中，一次为批量计算，一次为流式计算。也就是说，针对同一业务问题产生了两套代码，形成了双倍的维护运维成本。进一步地，由于架构中的批处理层和实时处理层是独立进行数据处理的，这可能导致数据在两个层之间的不一致性，特别是在系统出现故障或错误时，数据的一致性更难以保证。当然，由此还导致需要额外的资源和硬件成本，即架构需要同时运行批处理层和实时处理层，这意味着需要额外的计算和存储资源来支持这两个层的运行。有鉴于此，如何降低大数据平台架构复杂度、硬件成本、维护运维成本以及计算和存储资源，并尽可能地提升数据一致性，成为亟待解决的问题。
技术实现思路
1、本申请主要解决的技术问题是提供一种大数据治理方法及相关装置、设备和存储介质，能够降低大数据平台架构复杂度、硬件成本、维护运维成本以及计算和存储资源，并尽可能地提升数据一致性。
2、为了解决上述技术问题，本申请第一方面提供了一种大数据治理方法，包括：从与大数据平台中数据采集层对接的源数据库，采集并缓存业务数据；其中，源数据库采用数据湖、数据仓中至少一种架构；调用大数据平台中数据计算
3、为了解决上述技术问题，本申请第二方面提供了一种大数据治理装置，包括：采集缓存模块、数据转存模块和数据计算模块，采集缓存模块，用于从与大数据平台中数据采集层对接的源数据库，采集并缓存业务数据；其中，源数据库采用数据湖、数据仓中至少一种架构；数据转存模块，用于调用大数据平台中数据计算层内的第一引擎，转存业务数据于大数据平台中的中间存储层；其中，中间存储层为数据湖架构的数据存储层；数据计算模块，用于在数据计算层中选择并调用计算引擎，计算中间存储层中的业务数据，得到计算结果。
4、为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的大数据治理方法。
5、为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的大数据治理方法。
6、上述方案，从与大数据平台中数据采集层对接的源数据库，采集并缓存业务数据，且源数据库采用数据湖、数据仓中至少一种架构，再调用大数据平台中数据计算层内的第一引擎，转存业务数据于大数据平台中的中间存储层，且中间存储层为数据湖架构的数据存储层，从而在数据计算层中选择并调用计算引擎，计算中间存储层中的业务数据，得到计算结果，由于数据湖架构的数据存储层能够适配于结构化数据、非结构化数据、半结构化数据等格式数据，故源数据库无论采用何种架构，中间存储层都能够适配并存储来自源数据库的业务数据，进而无论是流式计算还是批量计算都仅需选择并调用适用的计算引擎，从中间存储层实时计算或批量计算即可，而无需对同样的业务逻辑重复设计批处理层和实时处理层两套独立组件。故此，能够降低大数据平台架构复杂度、硬件成本、维护运维成本以及计算和存储资源，并尽可能地提升数据一致性。
本文档来自技高网...【技术保护点】
1.一种大数据治理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述数据计算层中选择并调用计算引擎，计算所述中间存储层中的业务数据，得到计算结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述任务类型，选择调用所述第一引擎或所述数据计算层内的第二引擎，来计算所述中间存储层中的业务数据，得到所述计算结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标主题域的业务流程，形成概念模型，包括：
7.根据权利要求5所述的方法，其特征在于，所述基于所述概念模型，得到所述业务对象所包含的属性信息，包括：
8.根据权利要求5所述的方法，其特征在于，所述基于所述逻辑模型进行物理建模，以实现所述逻辑模型落地，包括：
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种大数据治理装置，其特征在于，
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至9任一项所述的大数据治理方法。
12.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至9任一项所述的大数据治理方法。
...【技术特征摘要】
1.一种大数据治理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述数据计算层中选择并调用计算引擎，计算所述中间存储层中的业务数据，得到计算结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述任务类型，选择调用所述第一引擎或所述数据计算层内的第二引擎，来计算所述中间存储层中的业务数据，得到所述计算结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标主题域的业务流程，形成概念模型，包括：
7.根据权利要求5所述...
【专利技术属性】
技术研发人员：张致江，何飞，李学尚，徐甲甲，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。