多任务解析系统及方法技术方案

一种多任务解析系统及方法，该方法包括如下步骤：设置多个任务的ＸＱｕｅｒｙ脚本文件及所述任务的运行时间，并将ＸＱｕｅｒｙ脚本文件存储到数据库中；将所述任务注册到排程服务器中；在到达所述任务的运行时间后，排程服务器向脚本解析服务器发送任务请求；脚本解析服务器接收所述任务请求后，从数据库中载入所述任务对应的ＸＱｕｅｒｙ脚本文件；根据ＸＱｕｅｒｙ脚本文件中设置的每个任务对应需要解析的网页及节点，对所述多个任务的ＸＱｕｅｒｙ脚本文件同时进行解析，从网页中获取每个节点对应的数据；将每个任务的ＸＱｕｅｒｙ脚本文件解析得到的数据合并在一起，并将每个任务的数据存储到数据库中。利用本发明专利技术可以对多个任务的ＸＱｕｅｒｙ脚本文件同时进行解析。

【技术实现步骤摘要】

本专利技术涉及一种，尤其涉及一种XQuery 。
技术介绍
随着XML (Extensible Markup Language,可扩展标i己i吾言)越 来越成熟，目前已成为数据存储、共享及处理的主要形式，需要有新 的工具和系统来提高XML的灵活性。其中一个需要提高的重要方面 是怎样提高查询XML数据的能力。具体地说，随着互联网络的普及， 许多数据都以XML格式存在于网页中，怎样从这些XML网页中查 询想要的数据变得越来越重要。XQuery是用来查询和操纵XML数据或任何能以XML形式出现 的数据，如关系型数据库。XQuery提供了解析XML的功能，可以 对查询任务进行解析，但由于网络信息量巨大而且复杂，XQuery对 查询任务的解析效率有待提高。
技术实现思路
鉴于以上内容，有必要提供一种多任务解析系统，其可对多个任 务的XQuery脚本文件同时进行解析。鉴于以上内容，还有必要提供一种多任务解析方法，其可对多个 任务的XQuery脚本文件同时进行解析。一种多任务解析系统，包括任务管理计算机、排程服务器、脚本 解析服务器及数据库，所述数据库中存储有XQuery脚本文件，所述 Xquery脚本文件中设置有每一个任务对应需要解析的网页及节点， 所述任务管理计算机包括任务设置模块，用于设置多个任务的 XQuery脚本文件及所述任务的运行时间，并将XQuery脚本文件存储到数据库中；注册模块，用于将所述任务注册到排程服务器中；所 述排程服务器包括发送模块，用于在到达所述任务的运行时间后， 向脚本解析服务器发送任务请求；所述脚本解析服务器包括脚本载 入模块，用于从数据库中载入所述任务对应的XQuery脚本文件；脚 本解析模块，用于根据XQuery脚本文件中设置的每个任务对应需要 解析的网页及节点，对所述多个任务的XQuery脚本文件同时进行解 析，从网页中获取每个节点对应的数据；及合并模块，用于将每个任 务的XQuery脚本文件解析得到的数据合并在一起，并将每个任务的 数据存储到数据库中。一种多任务解析方法，包括如下步骤设置多个任务的XQuery 脚本文件及所述任务的运行时间，并将XQuery脚本文件存储到数据 库中；将所述任务注册到排程服务器中；在到达所述任务的运行时间 后，排程服务器向脚本解析服务器发送任务请求；脚本解析服务器接 收所述任务请求后，从数据库中载入所述任务对应的XQuery脚本文 件；根据XQuery脚本文件中设置的每个任务对应需要解析的网页及 节点，对所述多个任务的XQuery脚本文件同时进行解析，从网页中 获取每个节点对应的数据；将每个任务的XQuery脚本文件解析得到 的数据合并在一起，并将每个任务的数据存储到数据库中。相较于现有技术，所述的，可以对多个任 务的XQuery脚本文件同时进行解析，提高了任务解析的效率。附图说明图1是本专利技术多任务解析系统较佳实施例的系统架构图。图2是本专利技术多任务解析系统较佳实施例的功能模块关联图。图3是本专利技术多任务解析方法较佳实施例的流程图。具体实施例方式如图1所示，是本专利技术多任务解析系统较佳实施例的系统架构 图。该系统主要包括任务管理计算机10、排程服务器20、脚本解析服务器30、数据库40及网络50。所述数据库40连接有任务管理计算机10和脚本解析服务器30， 用于存储XQuery脚本文件及脚本解析服务器30对任务进行解析后 得到的数据。所述XQuery脚本文件中设置有每一个任务对应需要解 析的网页及节点(该节点代表网页所包含的数据类型)，对该XQuery 脚本文件进行解析，可以获取这些网页中该节点对应的数据，所述网 页可以XML格式。由于网页中含有大量的数据，有些数据是不重要 的(比如一些广告)，在对网页中的数据进行分析时，需要过滤那些 不重要的数据，只获取查询任务想要查询的数据。通过在XQuery脚 本文件中设置每一个任务对应需要解析的网页及节点，当脚本解析服 务器30对该XQuery脚本文件进行解析时，只获取网页中该节点对 应的数据。所述任务管理计算机10连接有排程服务器20，用于设置不同任 务的XQuery脚本文件及该任务的运行时间，其中， 一个任务可以包 括多个XQuery脚本文件，对任务进行解析即对该任务对应的XQuery 脚本文件进行解析。所述任务可以是一个查询请求，例如，定期从网 络50连接的网页中搜寻所需的技术情报，所述网络50可以是国际互 联网络或局域网络。当设定好一个任务后，再将该任务注册到排程服 务器20中。所述排程服务器20用于管理排程，其中， 一个排程可以 包括多个任务，用于排定任务管理计算机10设置的任务的运行时间， 当到达某一任务的运行时间后，就向脚本解析服务器30发送一个任 务请求。所述脚本解析服务器30连接有排程服务器20和网络50，用于 接收排程服务器20发送的任务请求，对该任务进行解析，即根据 XQuery脚本文件中设置的该任务对应需要解析的网页及节点，对 XQuery脚本文件进行解析，获取网页中该节点对应的数据。通过解 析该任务从网络50的网页中获取该任务需要查询的数据，然后将查 询得到的数据保存在数据库40中。如果多个任务的运行时间相同， 脚本解析服务器30会同时对多个任务的XQuery脚本文件进行解析。在本实施例中，将以多个4壬务的运4亍时间相同进4亍描述。如图2所示，是本专利技术多任务解析系统较佳实施例的功能模块关 联图。所述任务管理计算机10包括任务设置模块110及注册模块111。 所述排程服务器20包括发送^^莫块210。所述脚本解析服务器30包括 脚本载入模块310,脚本解析模块311及合并模块312。本专利技术所称 的模块是完成一特定功能的计算机程序段，比程序更适合于描述软件 在计算机中的执行过程，因此在本专利技术对软件描述中都以模块描述。首先，用户通过任务设置模块110在任务管理计算机10中设置 多个任务的XQuery脚本文件及所述任务的运行时间，并将XQuery 脚本文件存储到数据库40中。所述任务的运行时间可以设定为每天 的固定时间点，其中， 一个任务可以包4舌多个XQuery脚本文件，所 述XQuery脚本文件中设置有每个任务对应需要解析的网页及节点。 然后，注册模块111将所述任务注册到排程服务器20中。当到达所 述任务的运行时间后，排程服务器20中的发送模块210向脚本解析 服务器30发送任务请求。脚本解析服务器30接收所述任务请求后， 脚本载入模块310从数据库40中载入所述任务对应的XQuery脚本 文件。脚本解析模块311根据XQuery脚本文件中设置的每个任务对应 需要解析的网页及节点，对多个任务的XQuery脚本文件同时进行解 析，从网络50的网页中获取每个节点对应的数据。当脚本解析模块311解析完所述任务对应需要解析的XQuery脚 本文件后，合并模块312将每个任务的XQuery脚本文件解析得到的 数据合并在一起，得到每个任务所需的数据，并将每个任务的数据存 储到数据库40中。例如，任务A包括脚本script 1及script 2，任务 B包括脚本script 3及script 4。当脚本解析模块311解析完脚本script 1 、 script 2、 script 3及scri本文档来自技高网...

【技术保护点】
一种多任务解析系统，包括任务管理计算机、排程服务器、脚本解析服务器及数据库，其特征在于，所述数据库中存储有ＸＱｕｅｒｙ脚本文件，所述Ｘｑｕｅｒｙ脚本文件中设置有待解析的网页及节点，所述任务管理计算机包括：任务设置模块，用于设置多个任务的ＸＱｕｅｒｙ脚本文件及所述多个任务的运行时间，并将ＸＱｕｅｒｙ脚本文件存储到数据库中，每一任务包括一个或多个ＸＱｕｅｒｙ脚本文件；及注册模块，用于将所述多个任务注册到排程服务器中；所述排程服务器包括：发送模块，用于在到达所述多个任务的运行时间后，向脚本解析服务器发送任务请求；所述脚本解析服务器包括：脚本载入模块，用于从数据库中载入所述多个任务对应的ＸＱｕｅｒｙ脚本文件；脚本解析模块，用于根据ＸＱｕｅｒｙ脚本文件中设置的每个任务对应需要解析的网页及节点，对所述多个任务的ＸＱｕｅｒｙ脚本文件同时进行解析，从网页中获取每个节点对应的数据；及合并模块，用于将每个任务的ＸＱｕｅｒｙ脚本文件解析得到的数据合并在一起，并将每个任务的数据存储到数据库中。

【技术特征摘要】
1. 一种多任务解析系统，包括任务管理计算机、排程服务器、脚本解析服务器及数据库，其特征在于，所述数据库中存储有XQuery脚本文件，所述Xquery脚本文件中设置有待解析的网页及节点，所述任务管理计算机包括任务设置模块，用于设置多个任务的XQuery脚本文件及所述多个任务的运行时间，并将XQuery脚本文件存储到数据库中，每一任务包括一个或多个XQuery脚本文件；及注册模块，用于将所述多个任务注册到排程服务器中；所述排程服务器包括发送模块，用于在到达所述多个任务的运行时间后，向脚本解析服务器发送任务请求；所述脚本解析服务器包括脚本载入模块，用于从数据库中载入所述多个任务对应的XQuery脚本文件；脚本解析模块，用于根据XQuery脚本文件中设置的每个任务对应需要解析的网页及节点，对所述多个任务的XQuery脚本文件同时进行解析，从网页中获取每个节点对应的数据；及合并模块，用于将每个任务的XQuery脚本文件解析得到的数据合并在一起，并将每个任务的数据存储到数据库中。2. 如权利要求1所述的多任务解析系统，其特征在于，所述多个任务的运行时间相同。3. 如权利要求1所述的多任务解析系统，...

【专利技术属性】
技术研发人员：李忠一，叶建发，卢秋桦，陈旭纯，
申请(专利权)人：鸿富锦精密工业深圳有限公司，鸿海精密工业股份有限公司，
类型：发明
国别省市：94[中国|深圳]