一种用于文件装载的方法和装置制造方法及图纸

本发明专利技术提供一种文件装载方法，根据文件中的记录数，将文件分成一个或多个段，利用两个或者更多个工作单元并发处理所述一个或多个段，其中，所述两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新工作状态，所述工作状态用于为异常处理提供信息。

【技术实现步骤摘要】
一种用于文件装载的方法和装置
本专利技术涉及文件装载的并发处理和断点续装，并且尤其涉及用于文件装载的方法和装置。
技术介绍
在金融或电信等系统中，将应用参数录入到系统，即文件装载，是保持业务正确运行的前提，尤其地，在联机系统中快速装入参数是及时准确响应服务的必要前提。现有技术中，常见的参数录入方式有人工逐参数录入或者通过数据库工具导入与数据库所要求的格式匹配的参数文件。现有技术中的这些方式有如下缺点：耗时、对参数录入以及参数文件格式要求较高、出错几率大，以及出错后的修复十分麻烦。因此，需要一种能够实现文件的快速装载、对文件格式要求较低、出错几率小以及修复简单的方法和装置。
技术实现思路
为解决现有技术的上述问题和其它问题，本专利技术的一个目的在于提供一种文件装载方法，包括以下步骤，根据文件中的记录数，将文件分成一个或多个段，利用两个或者更多个工作单元并发处理一个或多个段，其中，两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新各自的工作状态，工作状态用于为异常处理提供信息。优选地，将对应于一个或多个段的段信息分配给两个或者更多个工作单元，每个工作单元根据被分配到的段信息处理相应的段。优选地，段信息包括用于指示相应的段的开始记录和结束记录的指针。优选地，工作状态包括对预定数量的记录的处理结果。优选地，工作状态进一步包括发生异常的记录的指针。优选地，当工作状态指示处理结果为异常，从发生异常的记录的指针处开始恢复处理。优选地，采用轮询模式监控工作状态。优选地，上述方法进一步包括向外部系统发送关于工作状态的信息，并将来自外部系统的响应信息更新到工作状态中。优选地，工作状态被存储在文件中，以及两个或者更多个工作单元共同维护一个工作状态文件或者两个或者更多个工作单元分别维护各自的工作状态文件。优选地，文件是参数文件，记录是参数，处理是将参数文件中的参数录入到系统的数据库中。优选地，处理通过将参数直接装载到正式参数表来完成录入。根据本专利技术的另一个目的，提供了一种文件装载装置，包括：预处理模块，用于根据文件中的记录数，将文件分成一个或多个段，工作单元模块，包括两个或者更多个工作单元，用于并发处理一个或多个段，异常处理模块，用于进行异常处理，其中，两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新各自的工作状态，工作状态用于为异常处理模块提供信息。优选地，预处理模块将对应于一个或多个段的段信息分配给两个或者更多个工作单元，每个工作单元根据被分配到的段信息处理相应的段。优选地，段信息包括用于指示相应的段的开始记录和结束记录的指针，工作状态包括对预定数量的记录的处理结果和发生异常情况的记录的指针，异常处理模块被配置成监控工作单元的工作状态，当工作状态指示处理结果为异常时，从发生异常的记录开始恢复处理。优选地，该装置进一步包括文件反馈处理模块，用于向外部系统发送关于工作状态的信息，并将来自外部系统的响应信息更新到工作状态中。优选地，该装置进一步包括文件控制模块，用于文件的预处理和工作单元的处理装载进行监控。本文提出了一种支持并发和断点续装的参数文件装载方法和装置。这种方法针对到文件读写的效率比较低，不能满足大记录数下短时间内解析并实时装载的需求，提出了并发装载，如采用的多线程或者多线程并发的方式。对待装载文件首先根据文件大小决定文件并发的数目，对每一个工作单元(相应的线程或者进程)分配不同的文件段，不同线程在各自的段内独立工作互不影响，这种并发装载的设计有效地克服了文件串行处理以及I/O上的低效率的缺陷。现有技术中的文件装载通常先将参数慢慢装入临时表，处理好后再统一导入正式表。本专利技术针对大记录数文件装载时间长，并且在期间发生磁盘、数据库、网络、主机掉电等异常时恢复起来麻烦的缺陷，本专利技术的方法将参数直接装载到正式参数表，提高参数的时效性，并实时记录每个工作单元已处理工作点的方式。因此即使发生了异常也能够从断点处迅速恢复，不会出现大面积重做或者正式表记录已经有前面处理的冗余数据问题。本专利技术的技术方案在应用金融信息等系统的参数文件装载中能够缩短业务数据生效时间、提高服务质量和异常恢复能力。附图说明在参照附图阅读了本专利技术的具体实施方式以后，本领域技术人员将会更清楚地了解本专利技术的各个方面。本领域技术人员应当理解的是，这些附图仅仅用于配合具体实施方式说明本专利技术的技术方案，而并非意在对本专利技术的保护范围构成限制。其中，图1是根据本专利技术实施例的文件装载装置的结构示意图。具体实施方式下面参照附图，对本专利技术的具体实施方式作进一步的详细描述。如图1所示，文件装载装置可以包括预处理模块、工作单元模块、异常处理模块、控制模块和文件反馈处理模块。预处理模块模块是文件装载的入口，负责接收来自外部系统的调用指令，并将调用指令进行解析和预处理。其根据调用指令装载文件或参数文件的记录，并且根据文件中的记录数，将文件分成一个或多个段。在一个实施例中，预处理模块可以将对应于一个或多个段的段信息分配给两个或者更多个工作单元，每个工作单元根据被分配到的段信息处理相应的段。在一个实施例中，段信息可以包括待处理文件的记录的指针，指示相应的段的开始记录和结束记录。也就是说，段信息可以包含待处理参数文件的指针，指示段的始末位置。进一步，可以控制单个文件的分段数量。当可被并发处理的段的数量达到预定上限时，则等待至前面被派发出去的段由工作单元处理完成，即直到有工作单元闲置的时候再继续分配段。后文将详细描述工作单元的处理。这里，预处理模块将单个文件拆分成一个或多个段并让多个工作单元并发处理的优点在于，一方面，分段并发处理可以充分利用当前主机系统的并发特性，大幅度地提升装载文件的速度；另一方面，如本文后面将详细描述的，分段并发处理能够降低异常处理的颗粒度。当某个段异常时，只需重做该段，从而提升装载文件的效率。本领域的技术人员可以理解的本专利技术不限于将参数文件内数据提取到参数数据库，还可以被应用于任何文件的装载或者对于文件的任何处理。工作单元模块包括两个或者更多个工作单元，用于并发处理所述一个或多个段以完成每个文件段的装置任务。在一个实施例中，两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新工作状态，工作状态可以被用于为后文将描述的异常处理模块提供信息。例如，工作单元每解析装载段内的预定数量的数据则提交数据库并更新记录工作单元的工作状态。这里，工作状态可以被存储在文件中，工作单元可以共同维护一个工作状态文件或者分别维护各自的工作状态文件。作为文件记录的工作状态可以被用于实现参数文件的断点续传。举例来说，段内具有1000条记录，而“预定数量”可以被设定为10条，即工作单元处理好10条后更新工作状态。如此，更新越频繁后续出现异常时断点续装中重复处理记录的数量越少。在一个实施例中，工作状态进可以包括发生异常情况的记录的指针来指示恢复操作的起点。在一个实施例中，工作状态可以包括对所述预定数量的记录的处理结果，该处理结果可以包括正常情况和异常情况。异常处理模块，用于进行异常处理，对工作状态为异常的段进行异常排查，待异常处理完毕，将工作状态更新为正常。在一个实施例中，当工作状态指示处理结果为异常时，异常处理模块从发生异常本文档来自技高网...

【技术保护点】
一种文件装载方法，其特征在于，根据文件中的记录数，将文件分成一个或多个段，利用两个或者更多个工作单元并发处理所述一个或多个段，其中，所述两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新各自的工作状态，所述工作状态用于为异常处理提供信息。

【技术特征摘要】
1.一种文件装载方法，其特征在于，根据文件中的记录数，将文件分成一个或多个段，利用两个或者更多个工作单元并发处理所述一个或多个段，其中，所述两个或者更多个工作单元的每一个每次在处理完对应的段中的预定数量的记录后就更新各自的工作状态，所述工作状态用于为异常处理提供信息。2.如权利要求1所述的方法，其特征在于，将对应于所述一个或多个段的段信息分配给所述两个或者更多个工作单元，每个工作单元根据被分配到的段信息处理相应的段。3.如权利要求2所述的方法，其特征在于，所述段信息包括用于指示所述相应的段的开始记录和结束记录的指针。4.如权利要求1所述的方法，其特征在于，所述工作状态包括对所述预定数量的记录的处理结果。5.如权利要求4所述的方法，其特征在于，所述工作状态进一步包括发生异常的记录的指针。6.如权利要求5所述的方法，其特征在于，当工作状态指示处理结果为异常，从发生异常的记录的指针处开始恢复处理。7.如权利要求6所述的方法，其特征在于，采用轮询模式监控工作状态。8.如权利要求1所述的方法，其特征在于，进一步包括向外部系统发送关于工作状态的信息，并将来自外部系统的响应信息更新到工作状态中。9.如权利要求1所述的方法，其特征在于，所述工作状态被存储在文件中，以及所述两个或者更多个工作单元共同维护一个工作状态文件或者所述两个或者更多个工作单元分别维护各自的工作状态文件。10.如权利要求1所述的方法，其特征在于，所述文件是参数文件，所述...

【专利技术属性】
技术研发人员：陈林，鲁志军，茅毓铭，杨燕明，华锦芝，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：