数据管理的方法、装置及系统制造方法及图纸

本说明书实施例提供了一种数据管理的方法、装置及系统，该方法包括：接收回流任务创建请求；其中，该回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据源表配置信息和回流任务参数配置信息，确定创建回流任务所需的参数数据；其中，该参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据映射关系和回流周期创建回流任务。

【技术实现步骤摘要】
数据管理的方法、装置及系统
本说明书涉及数据处理领域，尤其涉及一种数据管理的方法、装置及系统。
技术介绍
随着信息技术的发展，越来越多的互联网应用都涉及到海量数据的存储。数据通常以表的形式存储在数据库中。在大数据时代，数据需要不断的进行流转、交换才能使得其价值最大化。为了便于数据的管理及流转，一般需要将获取的各种离线数据写入到线上数据库中。例如，可以是线上HBase数据库等。将离线数据写入线上数据库也可称为数据回流，为了实现离线数据回流到线上数据库，需要针对待回流数据创建回流任务，并将该回流任务部署在离线数据生产系统中，以使得生产系统根据回流任务将待回流数据回流到线上数据库。现阶段，大都是通过人工方式创建回流任务，使得回流任务的创建周期较长。因此，有必要提出一种技术方案，以实现回流任务的自动创建，从而降低回流任务的创建周期。
技术实现思路
本说明书实施例的目的是提供一种数据管理的方法、装置及系统，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供了一种数据管理的方法，包括：接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。本说明书实施例还提供了一种数据管理的装置，包括：接收模块，接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；确定模块，根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用模块，调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。本说明书实施例还提供了一种数据管理的系统，包括数据管理节点和任务创建节点；所述数据管理节点，用于接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用所述任务创建节点所对应的任务创建接口；任务创建节点，用于根据所述映射关系和所述回流周期创建所述回流任务。本说明书实施例还提供了一种数据管理的设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。本说明书实施例还提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。通过本实施例中的技术方案，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的数据管理的方法的第一种方法流程图；图2为本说明书实施例提供的数据管理的方法中，用户提交回流任务创建请求的界面示意图；图3为本说明书实施例提供的数据管理的方法中，进行数据回流的数据流示意图；图4为本说明书实施例提供的数据管理的方法中，进行数据回流的流程示意图；图5为本说明书实施例提供的数据管理的方法的第二种方法流程图；图6为本说明书实施例提供的数据管理的装置的模块组成示意图；图7为本说明书实施例提供的数据管理的系统的结构示意图；图8为本说明书实施例提供的数据管理的设备的结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。本说明书实施例的思想在于，在需要创建回流任务时，在获取到创建回流任务所需的参数数据后，调用任务创建接口，通过任务创建接口自动创建回流任务。从而实现了回流任务的自动创建，避免了通过人工编写代码的方式创建回流任务，从而缩短了回流任务的创建周期，并且还节省了人力。基于此，本说明书实施例提供了一种数据管理的方法、装置及系统。下述将分别一一介绍本说明书实施例所提供的数据管理的方法、装置及系统。本说明书实施例所提供的数据管理的方法的一种具体应用场景为，离线数据生产系统在获取到离线数据后，将该离线数据回流到线上数据库中，这时需要创建针对待回流数据的回流任务；具体的，该线上数据库可以为HBase数据库。图1为本说明书实施例所提供的本文档来自技高网...

【技术保护点】
1.一种数据管理的方法，包括：接收回流任务创建请求；其中，所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。

【技术特征摘要】
1.一种数据管理的方法，包括：接收回流任务创建请求；其中，所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。2.如权利要求1所述的方法，所述调用任务创建接口之后，所述方法还包括：将所述映射关系和所述回流周期转换为设定格式；将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。3.如权利要求1或2所述的方法，所述源表配置信息包括第一字段相关信息；所述回流任务参数配置信息包括所述回流周期；所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据，包括：从所述回流任务创建请求中提取所述第一字段相关信息和所述回流周期；其中，所述第一字段相关信息中包括第一字段标识；确定所述第一字段标识与所述第二字段标识之间的映射关系。4.如权利要求3所述的方法，所述确定所述第一字段标识与所述第二字段标识之间的映射关系，包括：根据用户操作，确定所述第一字段标识与所述第二字段标识之间的映射关系；或者，对所述第一字段以及目标表中的各个字段进行语义分析，确定与所述第一字段相对应的第二字段；建立所述第一字段标识与所述第二字段标识之间的映射关系。5.如权利要求1所述的方法，所述源表配置信息包括源表以及源表中需要回流的第一字段标识；所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据之前，所述方法还包括：根据所述源表以及所述第一字段标识检测是否已经创建所述回流任务创建请求所对应的回流任务。6.如权利要求1或2所述的方法，所述方法还包括：获取所述第一字段标识所对应的指标标识；根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。7.一种数据管理的装置，包括：接收模块，接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；确定模块，根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用模块，调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。8.如权利要求7所述的装置，还包括：转换模块，将所述映射关系和所述回流周期转换为设定格式；输入模块，将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。9.如权利要求7或8所述的装置，所述源表配置信息包括第一字段相关信息...

【专利技术属性】
技术研发人员：徐媛，李颀，康树鹏，赵坤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY