数据管理的方法、装置、电子设备及存储介质制造方法及图纸

提供一种数据管理的方法、装置、设备以及存储介质。该数据管理的方法，包括：获取数据库实例的配置信息，该数据库实例包括至少一个数据源；根据该配置信息，接入至少一个原始数据层，每个原始数据层包括数据库实例的一个数据源的描述信息；接入至少一个原始数据层对应的至少一个操作数据存储层，每个操作数据存储层包括对数据库实例的一个数据源的处理规则；根据至少一个原始数据层和至少一个操作数据存储层，构建数据库实例对应的数据接入任务；根据数据接入任务，启动数据库实例的增量数据任务。通过复用一个数据库实例的数据接入任务，实现对该数据库实例中的至少一个数据源的接入，有利于对数据库实例中的数据源进行高效的数据接入。数据接入。数据接入。

【技术实现步骤摘要】
数据管理的方法、装置、电子设备及存储介质


[0001]本申请涉及计算机领域，并且更具体地，涉及数据管理的方法、装置、电子设备以及存储介质。

技术介绍

[0002]数据仓库需要采集业务的数据库的数据来实现数据的集中存储和集成计算能力。通常业界的数据接入是采用定时全量/增量的手段来实现，这种实现的缺点很明显：进入数据仓库的数据时效性很低(通常是T+1才能进入)。为了解决这一问题，业界出现了一种新的技术方案：变更数据捕获(Change Data Capture，CDC)，即直接读取业务数据库里的变更日志，并在下游逐条进行对应的变更，实现了数据仓库的实时数据接入功能。
[0003]数据接入需要保证接入数据的实时性与准确性，同时又能最小化对上游业务库的影响。对于数据中台而言，作为整个数据分析的数据中心，有大量的数据接入工作。如何高效地进行数据接入是亟待解决的问题。

技术实现思路

[0004]本申请实施例提供了一种数据管理的方法、装置、设备以及存储介质，能够有利于对数据库实例中的数据源进行高效的数据接入。
>[0005]第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理的方法，其特征在于，包括：获取数据库实例的配置信息，所述数据库实例包括至少一个数据源；根据所述配置信息，接入至少一个原始数据层，每个所述原始数据层包括所述数据库实例的一个数据源的描述信息；接入所述至少一个原始数据层对应的至少一个操作数据存储层，每个所述操作数据存储层包括对所述数据库实例的一个数据源的处理规则；根据所述至少一个原始数据层和所述至少一个操作数据存储层，构建所述数据库实例对应的数据接入任务；根据所述数据接入任务，启动所述数据库实例的增量数据任务。2.根据权利要求1所述的方法，其特征在于，所述至少一个数据源包括第一数据源，所述数据接入任务需要接入的数据包括所述第一数据源对应的存量数据。3.根据权利要求2所述的方法，其特征在于，还包括：停止获取所述数据库实例的增量数据任务，并获取所述增量数据任务的停止点位；启动摄取所述第一数据源的存量数据任务；在所述存量数据任务完成时，根据所述停止点位重新启动获取所述增量数据任务。4.根据权利要求3所述的方法，其特征在于，还包括：从流处理平台获取所述存量数据任务的状态信息，其中，所述流处理平台上用于运行所述存量数据任务；通过网络协议将所述状态信息传输至客户端，以使所述客户端显示所述状态信息。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，还包括：根据预先设置的数据结构对所述增量数据任务获取的增量数据进行加工处理。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，还包括：对所述增量数据任务获取...

【专利技术属性】
技术研发人员：张飞，罗伟，陆冠兴，陈海华，陈明，陈睿，
申请(专利权)人：深圳市富途网络科技有限公司，
类型：发明
国别省市：