【技术实现步骤摘要】
一种文件处理方法及系统
本专利技术涉及计算机
,更具体地说,涉及一种文件处理方法及系统。
技术介绍
随着社会的不断发展,用户在银行办理的业务越来越多,随之产生了大量的交易文件,银行工作人员每天需要通过份额管理系统将大量的交易文件写入数据库。在现有技术中,在从服务器中下载需要处理的交易文件后,对交易文件进行解压和解密,得到交易明文文件;通过份额管理系统对得到的交易明文文件进行单线程逐行读取交易明文文件中的每条用户交易数据至内存中,并且,每当读取一条用户交易数据至内存时,就根据内存中该条用户交易数据生成相应的SQL语句,以便根据生成的SQL语句将与其对应的用户交易数据写入数据库。但是,所下载的交易文件包含大量的用户交易数据,逐行读取对交易明文文件中的用户交易数据需要较长的时间,并且,每读取一条用户交易数据就要根据所读取的用户交易数据生成相应的SQL语句,才能将所读取用户交易数据写入数据库,与数据库连接的次数过多,导致份额管理系统的性能降低。
技术实现思路
有鉴于此,本专利技术提供一种文件 ...
【技术保护点】
1.一种文件处理方法,其特征在于,应用于文件处理系统,所述方法包括:/n对服务器中的预设目录进行轮询,当查询到所述预设目录下存在交易文件时,下载所述交易文件,并对所述交易文件进行解压和解密,得到交易明文文件,其中,所述交易明文文件包括多条用户交易数据;/n调用文件拆分进程每次从所述交易明文文件拆分出预设长度的文件块,并将所述文件块存储至预先设置的任一子文件,直至拆分完所述交易明文文件,其中,所述子文件的数量是根据校验进程的数量预先设置的,每个所述子文件中存储的所述文件块的数量相同;/n并行执行每个所述校验进程读取一个所述子文件,并对所读取的所述子文件中的每条所述用户交易数据 ...
【技术特征摘要】
1.一种文件处理方法,其特征在于,应用于文件处理系统,所述方法包括:
对服务器中的预设目录进行轮询,当查询到所述预设目录下存在交易文件时,下载所述交易文件,并对所述交易文件进行解压和解密,得到交易明文文件,其中,所述交易明文文件包括多条用户交易数据;
调用文件拆分进程每次从所述交易明文文件拆分出预设长度的文件块,并将所述文件块存储至预先设置的任一子文件,直至拆分完所述交易明文文件,其中,所述子文件的数量是根据校验进程的数量预先设置的,每个所述子文件中存储的所述文件块的数量相同;
并行执行每个所述校验进程读取一个所述子文件,并对所读取的所述子文件中的每条所述用户交易数据进行校验,直至读取完所有所述子文件为止;
若每个所述子文件中的每条所述用户交易数据均校验通过,利用预设的SQL语句模板生成与每个所述子文件中每条所述用户交易数据相关联的SQL语句,批量执行预设数量的所述SQL语句将相关联的所述用户交易数据写入数据库,直至将全部所述用户交易数据写入所述数据库。
2.根据权利要求1所述的方法,其特征在于,所述对所述交易文件进行解压和解密,得到交易明文文件,包括:
对所述交易文件进行解压,得到密文文件;
每次对从所述密文文件中去读的预设长度的密文进行解密,直至对所述密文文件解密完成,得到交易明文文件。
3.根据权利要求1所述的方法,其特征在于,所述调用文件拆分进程每次从所述交易明文文件拆分出预设长度的文件块,并将所述文件块存储至预先设置的任一子文件,直至拆分完所述交易明文文件,包括:
调用文件拆分进程每次从所述交易明文文件中拆分出预设长度的的文件块,并将所述文件块映射入所述文件拆分进程的进程地址空间,以便将所述进程地址空间中映射的所述文件块存储至预先设置的任一子文件,直至拆分完所述交易明文文件;
其中,所述预设长度是根据所述文件拆分进程的进程地址空间的大小预先设置的。
4.根据权利要求1所述的方法,其特征在于,所述对所述用户交易数据进行校验,包括:
从所述用户交易数据中获取用户基本信息;
根据所述用户基本信息,从所述服务器中获取与所述用户基本信息对应的目标用户交易数据;
判断所述用户交易数据与所述目标用户交易数据是否一致;
若一致,确定所述用户交易数据校验通过;
若不一致,确定所述用户交易数据校验失败。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若存在校验失败的所述用户交易数据,输出相应的报警信息,并将所述报警信息记录在所述文件处理系统的日志文件中。
6.一种文件...
【专利技术属性】
技术研发人员:李彬炀,刘笑天,高士奇,吴雅楠,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。