数据库数据采集方法、应用服务器及计算机可读存储介质技术

本发明专利技术公开了一种数据库数据采集方法，该方法包括：对用户上传的脚本进行自动归类，并导入文件系统中；制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。本发明专利技术还提供一种应用服务器及计算机可读存储介质。本发明专利技术提供的数据库数据采集方法、应用服务器及计算机可读存储介质能够极大减少人力成本，提升采集效率。

Database data acquisition method, application server and computer readable storage medium

The invention discloses a data collection method of database, which includes automatically classifying the script uploaded by users and importing the file system; making collection tasks and corresponding backup tasks, binding execution scripts, and adding the collection tasks and backup tasks to the execution message queue and the backup message queue; The acquisition task is obtained from the execution message queue, and the collection task is parsed, loaded and executed; the backup task is obtained from the backup message queue, and the backup task is parsed, loaded and executed. The invention also provides an application server and a computer readable storage medium. The database data acquisition method, the application server and the computer readable storage medium provided by the invention can greatly reduce the labor cost and enhance the collection efficiency.

【技术实现步骤摘要】
数据库数据采集方法、应用服务器及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据库数据采集方法、应用服务器及计算机可读存储介质。
技术介绍
目前，由于数据库数据采集需求细节点多，采集过程复杂且耗时较长，需要投入大量人力且难于管理。因此，需要一种自动化采集平台，以解决现有采集方式的采集任务混乱、成本高、移植性差等方面的问题。
技术实现思路
有鉴于此，本专利技术提出一种数据库数据采集方法、应用服务器及计算机可读存储介质，以解决至少一个上述技术问题。首先，为实现上述目的，本专利技术提出一种数据库数据采集方法，该方法包括步骤：对用户上传的脚本进行自动归类，并导入文件系统中；制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。可选地，该方法还包括步骤：维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。可选地，所述归类是根据所述脚本的命名借助智能字符本文档来自技高网...

【技术保护点】
一种数据库数据采集方法，应用于应用服务器，其特征在于，所述方法包括步骤：对用户上传的脚本进行自动归类，并导入文件系统中；制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。

【技术特征摘要】
1.一种数据库数据采集方法，应用于应用服务器，其特征在于，所述方法包括步骤：对用户上传的脚本进行自动归类，并导入文件系统中；制定采集任务和相应的备份任务，绑定执行脚本，并将所述采集任务和备份任务加入执行消息队列及备份消息队列；从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务；及从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务。2.如权利要求1所述的数据库数据采集方法，其特征在于，该方法还包括步骤：维护所述采集任务和备份任务的状态，在执行所述采集任务和备份任务后，进行所述采集任务和备份任务的状态更新。3.如权利要求1或2所述的数据库数据采集方法，其特征在于，所述归类是根据所述脚本的命名借助智能字符识别ICR技术实现名称索引创建及归类。4.如权利要求1或2所述的数据库数据采集方法，其特征在于，从所述执行消息队列中获取采集任务，解析、加载、执行所述采集任务的步骤具体包括：持续从所述执行消息队列中获取所述采集任务的任务信息；解析所述任务信息，得到任务内容和采集配置文件，并获取所述采集任务绑定的脚本文件；初始化支持所述脚本文件对应的脚本语言的脚本引擎，并加载所述脚本文件，从而执行所述采集任务，根据所述采集规则配置采集出目标数据。5.如权利要求1或2所述的数据库数据采集方法，其特征在于，从所述备份消息队列中获取备份任务，解析、加载、执行所述备份任务的步骤具体包括：判断所述备份消息队列是否为空，若不为空，则依序获取所述备份消息队列中的备份任务的任务信息；解析所述任务信息，得到需要备份的数据地址、备份策略和所述备份任务绑定的脚本文件；验证所述地址的数据是否存在，若不存在，记录日志，并在所述备份消息队列中移除所述备份任务，获取下一个备份任务；所述地址的数据若存在，则加载所述脚本文件，从而执行所述备份任务...

【专利技术属性】
技术研发人员：王广博，黄平根，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44