【技术实现步骤摘要】
本专利技术涉及文件处理，特别涉及一种基于shell对文件进行拉取、处理和推送的方法。
技术介绍
1、在银行系统中，常常需要对各种各样的文件进行批量的操作处理，由于文件可能来源于不同的渠道，文件的格式会有各种的差异；同时文件也可能存放在不同的服务器，这就增加了银行系统对差异文件处理的难度。
2、因此，有必要提供一种基于shell对文件进行拉取、处理和推送的方法，以降低银行系统对差异文件进行处理的难度。
技术实现思路
1、本专利技术的目的在于提供一种基于shell对文件进行拉取、处理和推送的方法，以降低银行系统对差异文件进行处理的难度。
2、为了解决现有技术中存在的问题，本专利技术提供了一种基于shell对文件进行拉取、处理和推送的方法，包括以下步骤：
3、基于shell脚本定义服务器配置文件；
4、基于shell脚本定义拉取文件列表的配置文件；
5、基于shell脚本定义格式处理配置文件；
6、基于shell脚本定义业务配置文件；
7、定义所述格式处理配置文件的路径和所述业务配置文件的路径；
8、进行拉取、处理和推送。
9、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，服务器配置文件包括：
10、拉取服务器名称；
11、登录远程服务器的ip、用户名以及密码；
12、文件所存服务器的路径；
13、远程登录服务器的方
14、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，远程登录服务器的方式包括ftp方式或sftp方式。
15、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，拉取文件列表的配置文件包括：
16、待拉取文件列表的名称；
17、待拉取文件列表内所有待拉取的文件的具体名称。
18、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，拉取文件列表的配置文件支持文件造空和解压文件的配置化管理。
19、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，格式处理配置文件包括：
20、文件的分组类型；
21、文件类型，以限定上传文件或下载文件；
22、文件的id；
23、文件的描述；
24、文件的操作，包括：解压操作、检查文件的头、对文件重命名和/或对文件的格式进行更新；
25、文件的下载路径、下载文件名称；
26、文件的上传路径、上传文件名称。
27、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，业务配置文件包括以下步骤：
28、shell脚本读取所述拉取文件列表的配置文件，以获取所有待拉取的文件的列表；
29、shell脚本读取所述服务器配置文件，以获取服务器信息并登录服务器获取文件；
30、shell脚本读取所述格式处理配置文件，以对获取的文件进行头校验、行检验和文件大小校验，并对获取的文件进行格式化处理，备注本地的存放路径。
31、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，进行拉取、处理和推送的方式如下：
32、获取所述格式处理配置文件的路径和所述业务配置文件的路径；
33、获取已经定义的任务，所述任务基于springbatch设置，任务为拉取或推送；
34、通过springbatch获取批量任务，并执行业务配置文件，以实现拉取或推送文件；
35、对于拉取的文件，进行处理。
36、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，处理方式包括基于springbatch的reader、processor和writer进行读、处理和写，以对文件的数据进行落库。
37、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，各文件具有单独的接口格式，文件接口格式包括文件名称、文件路径、系统文件id的xml配置。
38、在本专利技术所提供的基于shell对文件进行拉取、处理和推送的方法中，由于文件可能来源于不同的渠道，文件的格式会有各种的差异，因此本专利技术对不同的文件进行转换，来匹配银行系统的格式进行处理；同时文件也可能存放在不同的服务器，因此本专利技术配置了不同渠道的ip、用户、密码和文件等信息，通过登录远程服务器来拉取目标文件；从而对取到的文件进行校验、处理和落库等操作；并且本专利技术还可以将文件推送到不同的服务器。本专利技术降低了银行系统对差异文件进行处理的难度。
本文档来自技高网...【技术保护点】
1.一种基于shell对文件进行拉取、处理和推送的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，服务器配置文件包括：
3.如权利要求2所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，远程登录服务器的方式包括ftp方式或sftp方式。
4.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件包括：
5.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件支持文件造空和解压文件的配置化管理。
6.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，格式处理配置文件包括：
7.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，业务配置文件包括以下步骤：
8.如权利要求7所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，进行拉取、处理和推送的方式如下：p>
9.如权利要求7所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，处理方式包括基于springbatch的reader、processor和writer进行读、处理和写，以对文件的数据进行落库。
10.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，各文件具有单独的接口格式，文件接口格式包括文件名称、文件路径、系统文件ID的XML配置。
...【技术特征摘要】
1.一种基于shell对文件进行拉取、处理和推送的方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，服务器配置文件包括：
3.如权利要求2所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，远程登录服务器的方式包括ftp方式或sftp方式。
4.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件包括：
5.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件支持文件造空和解压文件的配置化管理。
6.如权利要求1所述的基于shell对文件进行拉取、处理和推送的...
【专利技术属性】
技术研发人员：高磊，
申请(专利权)人：上海通联金融服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。