数据采集和文件下传的控制方法和装置制造方法及图纸

本发明专利技术公开一种数据采集和文件下传的控制方法和装置，所述方法包括：解析命令参数；所述命令参数包括采集配置文件的名称；解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。本发明专利技术提供的技术方案，使数据采集进程与文件下传进程能够并行执行，从而显著提高执行效率，能够适用于需要采集的源表多、下传文件多的场景。

【技术实现步骤摘要】
数据采集和文件下传的控制方法和装置
本专利技术涉及数据处理
，尤其涉及一种数据采集和文件下传的控制方法和装置。
技术介绍
当前，全球化进程日益加深，金融机构的业务逐渐遍及海内外，这就要求金融机构的信息化系统要适应不断扩大的业务需求，从而导致外围系统日益繁多，系统间批处理交互日益频繁。金融机构业务系统普遍面临大量数据采集和相对有限的服务器资源间的矛盾，如果没有高效方便的数据采集手段，短时间内的数据采集量会造成服务器的批处理拥堵，甚至严重消耗计算资源和内存资源，导致其他批处理无法正常执行。从上述分析可以确定，不能简单的通过增加服务器硬件资源来解决问题，还需要从软件系统的架构和数据采集算法上来解决问题。目前的技术中，数据采集和文件下传在同一个进程中执行，先采集完数据，再调用传输脚本下传文件，然后再继续采集数据，该方案适合采集的源表数据少，下传文件少的情况，如果需要采集的源表多，下传文件多时，此种方案有很大的缺陷，效率很低。
技术实现思路
有鉴于此，本专利技术提供了一种数据采集和文件下传的控制方法和装置，使数据采集进程与文件下传进程能够并行执行，从而显著提高执行效率，能够适用于需要采集的源表多、下传文件多的场景。为实现上述目的，本专利技术提供如下技术方案：一种数据采集和文件下传的控制方法，包括：解析命令参数；所述命令参数包括采集配置文件的名称；解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。进一步的，所述解析所述采集配置文件，包括：解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。进一步的，所述创建数据采集池和文件下传池，包括：创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；所述基于所述数据采集池启动数据采集子进程，包括：获取采集任务，所述采集任务位于所述数据采集请求池；采集源数据表数据，根据采集配置参数生成下传文件；将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；所述基于所述文件下传池启动文件下传子进程，包括：获取文件下传任务；根据下传配置参数使用下传脚本下发文件；将下传结果添加至文件下传回复池。进一步的，所述基于所述数据采集池启动数据采集子进程之前，还包括：依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。进一步的，还包括：创建结果处理线程；检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；若批量任务结束，释放资源。进一步的，所述解析系统配置文件和所述采集配置文件，生成总采集文件任务列表之前，还包括：创建日志文件。一种数据采集和文件下传的控制装置，包括：第一解析模块，用于解析命令参数；所述命令参数包括采集配置文件的名称；第二解析模块，用于解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；第一创建模块，用于创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；第一启动模块，用于基于所述数据采集池启动数据采集子进程；第二启动模块，用于基于所述文件下传池启动文件下传子进程。进一步的，所述第二解析模块解析所述采集配置文件的过程，具体包括：解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。进一步的，所述第一创建模块具体用于创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；所述第一启动模块具体用于：获取采集任务，所述采集任务位于所述数据采集请求池；采集源数据表数据，根据采集配置参数生成下传文件；将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；所述第二启动模块具体用于：获取文件下传任务；根据下传配置参数使用下传脚本下发文件；将下传结果添加至文件下传回复池。进一步的，还包括：添加模块，用于依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。进一步的，还包括：第二创建模块，用于创建结果处理线程；记录模块，用于检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；资源释放模块，用于若批量任务结束，释放资源。进一步的，还包括：第三创建模块，用于创建日志文件。经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种数据采集和文件下传的控制方法和装置。本专利技术提供的技术方案，首先解析命令参数，所述命令参数包括采集配置文件的名称，然后解析系统配置文件和所述采集配置文件，生成总采集文件任务列表，创建数据采集池和文件下传池，其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存，然后基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程，从而使数据采集进程与文件下传进程能够并行执行，能够显著提高处理效率，从而能够适用于需要采集的源表多、下传文件多的场景。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种数据采集和文件下传的控制方法的流程图；图2为本专利技术实施例提供的一种数据采集和文件下传的控制装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。首先，对现有技术做简单介绍：现有应用系统中，一般采用静态SQL(StructuredQueryLanguage，结构化查询语言)和单进程进行数据采集和文件下传，分别说明如下：1、查询数据库的SQL语句是静态的，即数据库查询语句事先写好在程序里，编译后不可更改，如要更改SQL语句，比如增加字段名称，需要重新编译程序才能生效，灵活性不够；2本文档来自技高网...

【技术保护点】
1.一种数据采集和文件下传的控制方法，其特征在于，包括：解析命令参数；所述命令参数包括采集配置文件的名称；解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。

【技术特征摘要】
1.一种数据采集和文件下传的控制方法，其特征在于，包括：解析命令参数；所述命令参数包括采集配置文件的名称；解析系统配置文件和所述采集配置文件，生成总采集文件任务列表；创建数据采集池和文件下传池；其中，所述数据采集池与所述文件下传池各自设置在两个独立的共享内存；基于所述数据采集池启动数据采集子进程，基于所述文件下传池启动文件下传子进程。2.根据权利要求1所述的方法，其特征在于，所述解析所述采集配置文件，包括：解析所述采集配置文件的采集配置参数，所述采集配置参数包括银行类型、预采集的数据表个数和类型和预采集的数据表的定义信息；所述预采集的数据表的定义信息包括：筛选字段的数量、数据表名称、数据表主键、生成文件的后缀、全量采集的限定条件个数、全量查询的结构化查询语言SQL语句、增量采集的限定条件个数和增量查询的结构化查询语言SQL语句；其中，所述全量查询的结构化查询语言SQL语句和所述增量查询的结构化查询语言SQL语句为结构化查询语言SQL4语句。3.根据权利要求2所述的方法，其特征在于，所述创建数据采集池和文件下传池，包括：创建数据采集请求池和数据采集回复池，以及文件下传请求池和文件下传回复池；所述基于所述数据采集池启动数据采集子进程，包括：获取采集任务，所述采集任务位于所述数据采集请求池；采集源数据表数据，根据采集配置参数生成下传文件；将下传任务添加至文件下传请求池中，通过数据采集回复池更新总采集文件任务列表的任务状态；所述基于所述文件下传池启动文件下传子进程，包括：获取文件下传任务；根据下传配置参数使用下传脚本下发文件；将下传结果添加至文件下传回复池。4.根据权利要求3所述的方法，其特征在于，所述基于所述数据采集池启动数据采集子进程之前，还包括：依据所述总采集文件任务列表，将数据采集任务添加到数据采集请求池。5.根据权利要求1所述的方法，其特征在于，还包括：创建结果处理线程；检查批量任务完成状况，将完成采集的数据表名和文件名记录在文本中；若批量任务结束，释放资源。6.根据权利要求5所述的方法，其特征在于，所述解析系统配置文件和所述采集配置文件，生成总采集文件任务列表之前，还包括：创建日志文件。7.一种数据采...

【专利技术属性】
技术研发人员：段于胜，张琰，郑彦淇，郭锦帅，李清泉，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11