数据流任务管理方法、系统、计算机设备和可读存储介质技术方案

本申请涉及一种数据流任务管理方法、系统、计算机设备和计算机可读存储介质，其中，该数据流任务管理方法包括：任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态；任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。通过本申请，利用任务状态表记录数据任务在数据接入、处理全流程上服务的状态，且逻辑易于复用，具有优异的扩展性。

【技术实现步骤摘要】
数据流任务管理方法、系统、计算机设备和可读存储介质
本申请涉及互联网
，特别是涉及数据流任务管理方法、系统、计算机设备和计算机可读存储介质。
技术介绍
DMP(Data-ManagementPlatform)数据管理平台，是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境中的系统平台。按照相关属性，DMP主要分为三类：原数据提供商、原媒体平台升级为技术提供商和纯粹的DMP平台。我司的营销数据中台BDH作为DMP产品，为品牌主管理来自各个数据源的大量级数据，并且针对各个数据源的特点及不同业务场景，经过一系列加工处理的环节，最终把数据存储下来，并支持后续应用。因此，我们面临的一个亟待解决的问题，即需要能够监控数据接入、处理全流程上服务的可用性、数据的完整性，并在发生问题时，能够迅速定位追踪上下游受影响的流程。
技术实现思路
本申请实施例提供了一种数据流任务管理方法、系统、计算机设备和计算机可读存储介质，利用任务状态表记录数据任务在数据接入、处理全流程上服务的状态，且逻辑易于复用，具有优异的扩展性。第一方面，本申请实施例提供了一种数据流任务管理方法，包括：任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态，具体的，ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取extract、转换transform、加载load至目的端的过程；任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，所述任务类型包括但不限于数据接入、数据ETL；所述任务状态包括但不限于成功、失败、进行中。基于上述步骤，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控所述任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。在其中一些实施例中，所述任务状态维护步骤进一步包括：记录新增步骤，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；记录更新步骤，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。在其中一些实施例中，所述记录更新步骤进一步包括：数据接入状态更新步骤，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；任务触发更新步骤，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；数据ETL状态更新步骤，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。基于上述步骤，通过所述任务状态表为每一份数据记录设置唯一任务ID，并基于所述任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中所述任务ID的任务状态，即可实现对全流程服务状态的监控。在其中一些实施例中，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口，通过所述查询接口其他服务可在状态表中根据所述任务ID查询数据任务的最近状态及文件大小等详细信息。第二方面，本申请实施例提供了一种数据流任务管理系统，包括：任务状态获取模块，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态，具体的，所述业务系统进行数据接入任务、数据ETL任务时向所述流程管理服务报告任务状态；任务状态维护模块，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。可选的，所述任务类型包括但不限于数据接入、数据ETL；所述任务状态包括但不限于成功、失败、进行中。基于上述模块，通过一流程管理服务维护任务状态表记录每一份数据，通过为每一份数据设置唯一标识，即为任务ID，并基于该任务ID记录数据在数据接入、数据ETL环节的状态，监控所述任务状态表的任务状态，便于运营人员监控任务细节，提升运营管理效率。基于此，针对长流程、多环节的数据处理任务进行监控，基于统一化的任务ID记录各环节任务处理状态，以便于确保业务层面服务的可用性及数据完整性。另外，当遇到问题时，基于前后一致的任务ID可以定位追踪单一数据源在各环节上的状态。在其中一些实施例中，所述任务状态维护模块进一步包括：记录新增模块，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态，具体的，设置任务ID、设置任务类型为数据接入、设置任务状态为进行中、设置任务创建时间；记录更新模块，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。在其中一些实施例中，所述记录更新模块进一步包括：数据接入状态更新模块，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；任务触发更新模块，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；数据ETL状态更新模块，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。基于上述模块，通过所述任务状态表为每一份数据记录设置唯一任务ID，并基于所述任务ID记录数据在数据接入、数据ETL环节的相应状态，通过监控数据表中所述任务ID的任务状态，即可实现对全流程服务状态的监控。在其中一些实施例中，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口，通过所述查询接口其他服务可在状态表中根据所述任务ID查询数据任务的最近状态及文件大小等详细信息。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时本文档来自技高网...

【技术保护点】
1.一种数据流任务管理方法，其特征在于，包括：/n任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态；/n任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；/n其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。/n

【技术特征摘要】
1.一种数据流任务管理方法，其特征在于，包括：
任务状态获取步骤，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态；
任务状态维护步骤，用于所述流程管理服务通过一任务状态表记录所述任务状态并实时更新所述任务状态；
其中，所述任务状态表至少包括：任务ID、任务类型、任务状态、创建时间和/或更新时间。


2.根据权利要求1所述的数据流任务管理方法，其特征在于，所述任务状态维护步骤进一步包括：
记录新增步骤，用于当所述业务系统开始数据接入任务时，所述任务状态表中新增一条记录并设置任务状态；
记录更新步骤，用于当所述数据接入任务成功或失败、触发数据ETL任务、数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID记录。


3.根据权利要求2所述的数据流任务管理方法，其特征在于，所述记录更新步骤进一步包括：
数据接入状态更新步骤，用于当所述业务系统数据接入任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败；
任务触发更新步骤，用于当所述业务系统触发数据ETL任务时，更新所述任务状态表中对应任务ID的记录，将任务类型设置为数据ETL，并将任务状态设置为进行中；
数据ETL状态更新步骤，用于当所述数据ETL任务成功或失败时，更新所述任务状态表中对应任务ID的记录，将任务状态更新为成功或失败。


4.根据权利要求1至3中任一项所述的数据流任务管理方法，其特征在于，所述流程管理服务设置一查询接口，所述查询接口用于连接外部服务接口。


5.一种数据流任务管理系统，其特征在于，包括：
任务状态获取模块，用于通过一独立的流程管理服务连接一业务系统并实时获取所述业务系统中数据处理的任务状态；
任务状态维...

【专利技术属性】
技术研发人员：钱晨涛，
申请(专利权)人：恩亿科北京数据科技有限公司，
类型：发明
国别省市：北京;11