【技术实现步骤摘要】
文件处理方法、装置、非易失性存储介质及计算机设备
[0001]本专利技术可用于数据处理
,具体而言,涉及一种文件处理方法
、
装置
、
非易失性存储介质及计算机设备
。
技术介绍
[0002]大规模数据处理的场景中,通常涉及大规模的数据传输
。
目前金融机构的各个业务系统中,后端的数据保存在数据库中,文件传输的方式为将数据表文件导出,再经过文件传输将其发送到接收方
。
相关技术中可以按行将数据库表的数据保存到数据文件中,文件的每个字段存放的都为数据表中的值
。
在数据库表中数据量较大时,其对应的数据文件也会十分庞大,对于网络传输和服务器资源会造成极大压力
。
[0003]针对上述的问题,目前尚未提出有效的解决方案
。
技术实现思路
[0004]本专利技术实施例提供了文件处理方法
、
装置
、
非易失性存储介质及计算机设备,可用于金融科技领域或其他领域,以至少解决由于文件体积庞大造成的文件传输效率低的技术问题
。
[0005]根据本专利技术实施例的一个方面,提供了一种文件处理方法,包括:获取待处理的原始数据文件,其中,原始数据文件包括至少一个数据列;从至少一个数据列中确定待处理的列;获取待处理的列对应的编码文件,其中,编码文件用于对原始数据文件进行压缩或者解压缩,编码文件包括原始值与编码值之间的对应关系,原始值为压缩前的文件中包括的原始数据 ...
【技术保护点】
【技术特征摘要】
1.
一种文件处理方法,其特征在于,包括:获取待处理的原始数据文件,其中,所述原始数据文件包括至少一个数据列;从所述至少一个数据列中确定待处理的列;获取所述待处理的列对应的编码文件,其中,所述编码文件用于对所述原始数据文件进行压缩或者解压缩,所述编码文件包括原始值与编码值之间的对应关系,所述原始值为压缩前的文件中包括的原始数据,所述编码值为压缩后的文件中包括的编码数据,所述编码值的数据位数小于所述原始值的数据位数;根据所述编码文件对所述原始数据文件进行处理,生成处理后的目标数据文件
。2.
根据权利要求1所述的方法,其特征在于,获取待处理的原始数据文件,包括:获取待压缩的数据源表文件,其中,所述原始数据文件包括所述数据源表文件;从所述至少一个数据列中确定待处理的列,包括:从所述数据源表文件中的至少一个数据列中确定目标列;根据所述编码文件对所述原始数据文件进行处理,生成处理后的目标数据文件,包括:根据所述编码文件对所述数据源表文件进行编码压缩,生成压缩文件
。3.
根据权利要求2所述的方法,其特征在于,获取所述编码文件,包括:获取目录行和获取数据存储行,其中,所述目录行包括所述目标列与所述数据存储行的对应关系,所述数据存储行包括所述原始值与所述编码值之间的对应关系
。4.
根据权利要求2所述的方法,其特征在于,获取所述待处理的列对应的编码文件,包括:获取所述目标列中原始数据的种类数;在所述目标列为
N
列的情况下,确定所述
N
列目标列各自对应的
N
个有效数据数,其中,所述有效数据数表征各自对应的目标列中原始数据的种类数,
N
大于等于1;根据所述
N
个有效数据数,确定所述
N
列目标列一一对应的
N
个编码长度,其中,所述
N
个编码长度表征各自对应的目标列包括的原始值对应的编码值的数据位数;根据所述
N
个编码长度,确定所述
N
列目标列各自包括的原始值对应的编码值,生成所述编码文件
。5.
根据权利要求4所述的方法,其特征在于,所述根据所述
N
个有效数据数,确定所述
N
列目标列一一对应的
N
个编码长度,包括:确定所述
N
个有效数据数各自的十进制数据位数;根据所述
N
个有效数据数各自的十进制数据位数,确定所述
N
列目标列一一对应的
N
个编码长度,其中,所述
N
列目标列一一对应的
N
个编码长度为所述
N
列目标列对应的...
【专利技术属性】
技术研发人员:汤畅通,孙婧岚,徐辰翀,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。