多源数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了多源数据处理方法、装置、电子设备及可读存储介质，应用于数据处理技术领域，所述多源数据处理方法包括：通过任务配置界面获取用户针对于待处理任务输入的数据源信息；依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。本申请解决了进行多源数据处理的处理效率低的技术问题。多源数据处理的处理效率低的技术问题。多源数据处理的处理效率低的技术问题。

【技术实现步骤摘要】
多源数据处理方法、装置、电子设备及可读存储介质


[0001]本申请涉及数据处理
，尤其涉及一种多源数据处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着计算机技术的不断发展，各行各业都迎来了数字化的浪潮，对于软件系统生产厂商而言，在数字化转型的过程中也迎来了新的挑战，大多数企业的不同部门会设置有不同的数据系统，各数据系统的数据库相互独立导致企业内部数据互不相通，与此同时，企业面向的用户群体数据繁多且复杂，进而导致企业内跨数据库的多源数据处理成为亟待解决的问题，目前，数据工程师通常通过数据平台一一筛选来自于企业不同数据库中的数据，进而在提取数据后进行数据处理，以实现企业内部的数据处理需求，但是，由于海量数据的采集工作量之大和高质量数据标准模糊等原因，导致数据工程师通常需耗费大量时间进行数据处理需求的配置，所以，当前进行多源数据处理的处理效率低。

技术实现思路

[0003]本申请的主要目的在于提供一种多源数据处理方法、装置、电子设备及可读存储介质，旨在解决现有技术中进行多源数据处理的处理效率低的技术问题。
[0004]为实现上述目的，本申请提供一种多源数据处理方法，所述多源数据处理方法包括：通过任务配置界面获取用户针对于待处理任务输入的数据源信息；依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
[0005]为实现上述目的，本申请还提供一种多源数据处理装置，所述多源数据处理装置包括：获取模块，用于通过任务配置界面获取用户针对于待处理任务输入的数据源信息；更新模块，用于依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；拉取模块，用于将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；执行模块，用于通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
[0006]本申请还提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在所述
存储器上并可在所述处理器上运行的所述多源数据处理方法的程序，所述多源数据处理方法的程序被处理器执行时可实现如上述的多源数据处理方法的步骤。
[0007]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现多源数据处理方法的程序，所述多源数据处理方法的程序被处理器执行时实现如上述的多源数据处理方法的步骤。
[0008]本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的多源数据处理方法的步骤。
[0009]本申请提供了一种多源数据处理方法、装置、电子设备及可读存储介质，也即，通过任务配置界面获取用户针对于待处理任务输入的数据源信息；进而依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据，也即，实现了基于简单的人机交互，交互式获取待处理任务对应的至少一个待拉取任务数据的目的；进而将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；进而通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。由于待拉取任务数据是通过在任务配置界面进行简单人机交互，交互式导入的数据源信息和预设数据更新方式即可确定的，而非在获取待处理多源数据时，需通过数据平台一一筛选来自于企业不同数据库中的海量数据，进而在提取等待进行数据处理的相关数据后进行数据处理，所以克服了由于海量数据的采集工作量之大和高质量数据标准模糊等原因，导致通常需耗费大量时间进行数据处理需求的配置的技术缺陷，所以，提升了进行多源数据处理的处理效率。
附图说明
[0010]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本申请多源数据处理方法第一实施例的流程示意图；图2为本申请多源数据处理方法第二实施例的流程示意图；图3为本申请多源数据处理方法告警规则的设置界面示意图；图4为本申请多源数据处理装置实施例的示意图；图5为本申请实施例中多源数据处理方法涉及的硬件运行环境的设备结构示意图。
[0013]本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0014]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技
术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本专利技术保护的范围。
[0015]实施例一首先，应当理解的是，在企业进行数据处理的过程中，通常会存在需对不同的数据库的数据进行整合后再进行数据处理的应用场景，例如，假设数据库A存储有数据、数据和数据，数据库B存储有数据、和，倘若用户需通过数据和数据整合为数据，进而再对数据进行数据处理，此时通常需通过专业的数据工程师遍历采集所有数据库的数据，在查询到数据和数据再进行符合数据处理需求的数据处理参数配置，以实现对数据的数据处理，但是，企业面向的用户群体通常较为复杂，与此同时，由于企业内部数据库相互独立，导致数据库中的用户群体数据繁杂、冗余且缺乏统一的定义标准，进而衍生出一系列亟待解决的问题，例如，如何根据需求快速迭代处理不同服务对象的应用数据，以获取高质量数据辅助决策，以及如何在众多数据处理任务中，快速指定并执行任务以满足数据处理需求等，而各问题之间存在同一通病，也即，由于进行处理的数据来源于不同数据库，进而使得符合数据处理需求的多源数据的数据整合周期过长，最终导致多源数据处理的过程通常将耗费大量时间，所以，目前亟需一种提升多源数据处理的处理效率的方法。
[0016]本申请实施例提供一种多源数据处理方法，在本申请多源数据处理方法的第一实施例中，参照图1，所述多源数据处理方法包括：步骤S10，通过任务配置界面获取用户针对于待处理任务输入的数据源信息；步骤S20，依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；在本实施例中，需要说明的是，所述待处理任务用于表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据处理方法，其特征在于，所述多源数据处理方法包括：通过任务配置界面获取用户针对于待处理任务输入的数据源信息；依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。2.如权利要求1所述多源数据处理方法，其特征在于，所述通过任务配置界面获取用户针对于待处理任务输入的数据源信息的步骤包括：通过所述任务配置界面获取用户针对于待处理任务输入数据源基础信息；或通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信息和数据源基础信息。3.如权利要求2所述多源数据处理方法，其特征在于，所述通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信息和数据源基础信息的步骤包括：通过所述任务配置界面获取用户针对于待处理任务输入的数据源基础信息；检测所述任务配置界面对应的数据源表选项中是否存在用户针对于待处理任务配置的数据源表标识；若是，则依据所述数据源表标识，确定数据源表信息；若否，则通过任务配置界面获取用户针对于待处理任务输入的预设数量的任务标识信息，并将各所述任务标识信息共同作为所述数据源表信息。4.如权利要求1所述多源数据处理方法，其特征在于，所述待处理任务包括第一待处理任务和第二待处理任务，所述目标数据库包括第一目标数据库和第二目标数据库，所述依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据的步骤包括：若所述待处理任务为所述第一待处理任务，则依据所述数据源信息，在至少一个所述第一目标数据库中确定所述待处理任务对应的第一任务数据；将所述第一待处理任务裂变为各所述第一任务数据一一对应的待处理子任务；依据所述预设数据更新方式和各所述待处理子任务分别对应的数据更新时间，对各所述第一任务数据进行更新，得到所述待拉取任务数据；若所述待处理任务为所述第二待处理任务，则依据所述数据源信息对应的第一数据存储路径，在至少一个所述第二目标数据库中确定所述第二待处理任务对应的第二任务数据；依据所述预设数据更新方式，对所述第二任务数据进行更新，得到所述待拉取任务数据。5.如权利要求1所述多源数据处理方法，其特征在于，在所述将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据的步骤之前，所述多源数据...

【专利技术属性】
技术研发人员：梁招娣，杨敏超，梁伟，
申请(专利权)人：深圳市明源云科技有限公司，
类型：发明
国别省市：