数据转移方法、装置、计算机可读存储介质和计算机设备制造方法及图纸

本申请涉及一种数据转移方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取业务数据；获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；根据所述作用对象对所述待转移数据进行转移操作。本申请提供的方案能够有效提高不同应用场景下生成待转移数据的灵活性，以及数据转移处理的效率。

【技术实现步骤摘要】
数据转移方法、装置、计算机可读存储介质和计算机设备
本申请涉及计算机
，特别是涉及一种数据转移方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着计算机技术的发展，出现了数据库技术。数据库中可以存储大量的业务数据。通过在数据库中拉取业务数据进行分析，可以进行后续的数据转移等操作。在传统的方式中，通常是采用硬编码的方式得到待转移数据。但是待转移数据通常与应用场景紧密关联。随着应用场景的增加，数据转移的需求也随之增加。若继续采用硬编码的方式，需要耗费较多的时间对每个应用场景进行硬编码。由此导致数据转移操作的灵活性不足，处理效率受到影响。
技术实现思路
基于此，有必要针对数据转移操作灵活性不足，转移处理效率较低的技术问题，提供一种数据转移方法、装置、计算机可读存储介质和计算机设备。一种数据转移方法，包括：获取业务数据；获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；根据所述作用对象对所述待转移数据进行转移操作。一种数据转移装置，其特征在于，所述装置包括：获取模块，用于获取业务数据；获取数据生成任务；筛选模块，用于根据所述数据生成任务对所述业务数据进行筛选；检索模块，用于利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；转移操作模块，用于利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；根据所述作用对象对所述待转移数据进行转移操作。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取业务数据；获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；根据所述作用对象对所述待转移数据进行转移操作。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取业务数据；获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；根据所述作用对象对所述待转移数据进行转移操作。上述数据转移方法、装置、计算机可读存储介质和计算机设备，通过数据生成任务对业务数据进行筛选，可以使得筛选出的业务数据符合数据生成任务的要求。由于业务数据与应用场景相关联，利用筛选出的业务数据检索对应的配置文件，可以快速获取与应用场景对应的配置信息。从而能够利用筛选出的业务数据、规则快速准确的生成与数据类型对应的待转移数据，而且能够及时根据作用对象将待转移数据进行转移操作。在这个过程中，由于应用场景对应的配置信息预先记录在配置文件中，通过检索配置文件即可获取所需的配置信息，无需再针对每一种应用场景进行硬编码，不仅有效节省了编码耗时，而且提高了不同应用场景下生成待转移数据的灵活性，以及数据转移处理的效率。附图说明图1为一个实施例中数据转移方法的应用环境图；图2为一个实施例中数据转移方法的链路示意图；图3为一个实施例中数据转移方法的流程示意图；图4为一个实施例中应用场景的示意图；图5为一个实施例中规则模板的示意图；图6为一个实施例中配置信息检索结果示意图；图7为一个实施例中数据生成任务的执行时序图；图8为一个实施例中批次任务处理步骤的流程示意图；图9为一个实施例中批次任务调度至计算资源的示意图；图10为一个实施例中远程容灾备份的架构示意图；图11为另一个实施例中数据转移装置的结构框图；图12为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中数据转移方法的应用环境图，包括业务平台110(服务器110)、服务器120和数据库130。业务平台110生成业务数据，业务数据存储在数据库130中。服务器120在数据库130中拉取业务数据。服务器120获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选。服务器120利用筛选出的业务数据在数据库130中检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则。服务器120利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据，根据所述作用对象对所述待转移数据进行转移操作。相应的链路示意图如图2所示。业务平台110(服务器110)、服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。如图2所示，在一个实施例中，提供了一种数据转移方法，该方法由计算机设备执行，计算机设备包括但是不限于服务器或终端。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图3，该数据转移方法具体包括如下步骤：S302，获取业务数据。服务器在数据库中拉取业务数据。业务数据可以是经过业务平台进行操作处理后所产生的数据。业务数据包括用户标识、数据来源、业务类型、业务操作数据等。不同的业务类型产生的业务数据不同。业务类型也可以配置一种或一种以上的应用场景。不同的业务类型可以配置不同的应用场景。不同的应用场景下，根据业务数据生成的待转移数据不同。进一步的，随着业务数据的增加，防止业务数据积压，服务器可以按固定时间间隔，在数据库中拉取业务数据，固定时间间隔内拉取到的业务数据可以标记为一个批次。通过对业务数据进行批次处理，能够及时生成待转移数据，以便提高待转移数据的转移处理效率。S304，获取数据生成任务，根据数据生成任务对业务数据进行筛选。服务器上运行了任务脚本，在到达预设的任务执行时间时，通过该任务脚本创建相应的数据生成任务。其中，任务脚本可以利用预设的任务参数创建数据生成任务。任务参数不同，数据生成任务不同。任务参数包括数据来源、数据类型、转移模式等。任务参数可以与部分业务参数相同。在到达数据生成任务的执行时间时，通过任务脚本对该项数据生成任务对应的业务数据进行筛选，筛选出于任务参数相对应的业务数据。例如，任务参数中包括支付类型和转移模式，任务脚本利用任务参数生成筛选条件：“支付类型”＝“在线”&“数据来源本文档来自技高网...

【技术保护点】
1.一种数据转移方法，包括：/n获取业务数据；/n获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；/n利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；/n利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；/n根据所述作用对象对所述待转移数据进行转移操作。/n

【技术特征摘要】
1.一种数据转移方法，包括：
获取业务数据；
获取数据生成任务，根据所述数据生成任务对所述业务数据进行筛选；
利用筛选出的业务数据检索对应的配置文件，所述配置文件中记录了与应用场景对应的作用对象、数据类型和规则；
利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据；
根据所述作用对象对所述待转移数据进行转移操作。


2.根据权利要求1所述的方法，其特征在于，所述利用筛选出的业务数据检索对应的配置文件包括：
利用所述筛选出的业务数据生成业务参数序列；
根据所述业务参数序列查询配置文件标识；
根据所述配置文件标识检索对应的配置文件。


3.根据权利要求1所述的方法，其特征在于，所述利用所述筛选出的业务数据、所述规则生成与所述数据类型对应的待转移数据包括：
根据所述作用对象确定对应的源对象和目标对象；
获取所述数据类型对应的优先级，根据所述优先级与所述规则利用所述筛选出的业务数据生成所述源对象与所述目标对象之间对应的待转移数据。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将预设时间间隔的数据生成任务生成批次任务，所述批次任务包括任务调度标识；
获取所述任务调度标识与计算资源之间的映射关系；
根据所述映射关系将所述批次任务调度至对应的计算资源进行处理。


5.根据权利要求4所述的方法，其特征在于，在所述根据所述作用对象对所述待转移数据进行转移操作之后，所述方法还包括：
获取转移区分维度，利用所述转移区分维度生成与所述批次任务对应的批次任务执行信息文件；
解析所述批次任务执行信息文件，得到解析后的文件；
通过所述解析后的文件识别所述批次任务对应的处理状态。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收终端上传的配置变更请求；所述配置变更请求中携带配置变更参数；所述配置变更参数包括应用场景；
根据所述配置变更请求调用对应配置服务接口；
通过所述配置服务接口调用与所述应用场景对应的配置信息，利用所述配置信息与所述变更参数生成变更后的配置文件。


7.根据权利要求1所述的方法，其特征在于，在所述根据所述作用对象对所述待转移数据进行转移操作之后，所述方法还包括：
调用与所述配置文件、所述业务数据以及经过转移操作后生成的结果数据调用对应的容灾策略...

【专利技术属性】
技术研发人员：杨健明，杨小月，江东妹，夏文龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44