文件处理方法技术

本发明专利技术公开了一种文件处理方法

【技术实现步骤摘要】
文件处理方法、装置、非易失性存储介质及计算机设备


[0001]本专利技术可用于数据处理
，具体而言，涉及一种文件处理方法
、
装置
、
非易失性存储介质及计算机设备
。

技术介绍

[0002]大规模数据处理的场景中，通常涉及大规模的数据传输
。
目前金融机构的各个业务系统中，后端的数据保存在数据库中，文件传输的方式为将数据表文件导出，再经过文件传输将其发送到接收方
。
相关技术中可以按行将数据库表的数据保存到数据文件中，文件的每个字段存放的都为数据表中的值
。
在数据库表中数据量较大时，其对应的数据文件也会十分庞大，对于网络传输和服务器资源会造成极大压力
。
[0003]针对上述的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0004]本专利技术实施例提供了文件处理方法
、
装置
、
非易失性存储介质及计算机设备，可用于金融科技领域或其他领域，以至少解决由于文件体积庞大造成的文件传输效率低的技术问题
。
[0005]根据本专利技术实施例的一个方面，提供了一种文件处理方法，包括：获取待处理的原始数据文件，其中，原始数据文件包括至少一个数据列；从至少一个数据列中确定待处理的列；获取待处理的列对应的编码文件，其中，编码文件用于对原始数据文件进行压缩或者解压缩，编码文件包括原始值与编码值之间的对应关系，原始值为压缩前的文件中包括的原始数据，编码值为压缩后的文件中包括的编码数据，编码值的数据位数小于原始值的数据位数；根据编码文件对原始数据文件进行处理，生成处理后的目标数据文件
。
[0006]可选地，获取待处理的原始数据文件，包括：获取待压缩的数据源表文件，其中，原始数据文件包括数据源表文件；从至少一个数据列中确定待处理的列，包括：从数据源表文件中的至少一个数据列中确定目标列；根据编码文件对原始数据文件进行处理，生成处理后的目标数据文件，包括：根据编码文件对数据源表文件进行编码压缩，生成压缩文件
。
[0007]可选地，获取编码文件包括：获取目录行和获取数据存储行，其中，目录行包括目标列与数据存储行的对应关系，数据存储行包括原始值与编码值之间的对应关系
。
[0008]可选地，获取待处理的列对应的编码文件，包括：获取所述目标列中原始数据的种类数；在目标列为
N
列的情况下，确定
N
列目标列各自对应的
N
个有效数据数，其中，有效数据数表征各自对应的目标列中原始数据的种类数，
N
大于等于1；根据
N
个有效数据数，确定
N
列目标列一一对应的
N
个编码长度，其中，
N
个编码长度表征各自对应的目标列包括的原始值对应的编码值的数据位数；根据
N
个编码长度，确定
N
列目标列各自包括的原始值对应的编码值，生成编码文件
。
[0009]可选地，根据
N
个有效数据数，确定
N
列目标列一一对应的
N
个编码长度，包括：确定
N
个有效数据数各自的十进制数据位数；根据
N
个有效数据数各自的十进制数据位数，确定
N
列目标列一一对应的
N
个编码长度，其中，
N
列目标列一一对应的
N
个编码长度为
N
列目标列对应的有效数据数各自的十进制数据位数
。
[0010]可选地，从数据源表文件中的至少一个数据列中确定目标列，包括：获取预先设定的有效率编码阈值；确定数据源表文件包括的数据列各自的数据有效率；根据预先设定的有效率编码阈值和数据列各自的数据有效率，从至少一个数据列中筛选出目标列，其中，目标列的数据有效率小于有效率编码阈值
。
[0011]可选地，确定数据源表文件包括的数据列各自的数据有效率，包括：获取数据列中原始数据的种类数；确定数据源表文件包括的数据列各自的数据总数和各自的有效数据数，其中，有效数据数表征各自对应的数据列中原始数据的种类数；根据数据总数和有效数据数，确定数据列各自的数据有效率
。
[0012]可选地，根据编码文件对数据源表文件进行编码压缩，生成压缩文件，包括：根据编码文件对数据源表文件中的目标列进行编码压缩，生成目标列对应的压缩列；根据压缩列和数据源表文件中除目标列以外的数据列，生成压缩文件
。
[0013]可选地，获取待处理的原始数据文件，包括：获取压缩文件；从至少一个数据列中确定待处理的列，包括：从压缩文件中的至少一个数据列中确定压缩列，其中，待处理的列包括压缩列，压缩列为根据编码文件对数据源表文件中的目标列进行编码压缩后生成的；根据编码文件对原始数据文件进行处理，生成处理后的目标数据文件，包括：根据编码文件解压压缩文件，生成数据源表文件
。
[0014]根据本专利技术实施例的另一方面，还提供了一种文件处理装置，包括：第一获取模块，用于获取待处理的原始数据文件，其中，原始数据文件包括至少一个数据列；确定模块，用于从至少一个数据列中确定待处理的列；第二获取模块，用于获取待处理的列对应的编码文件，其中，编码文件用于对原始数据文件进行压缩或者解压缩，编码文件包括原始值与编码值之间的对应关系，原始值为压缩前的文件中包括的原始数据，编码值为压缩后的文件中包括的编码数据，编码值的数据位数小于原始值的数据位数；生成模块，根据编码文件对原始数据文件进行处理，生成处理后的目标数据文件
。
[0015]根据本专利技术实施例的又一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述任意一项所述文件处理方法
。
[0016]根据本专利技术实施例的再一方面，还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于运行所述存储器存储的程序，其中，所述程序运行时执行上述任意一项所述文件处理方法
。
[0017]在本专利技术实施例中，通过获取待处理的原始数据文件，其中，原始数据文件包括至少一个数据列；从至少一个数据列中确定待处理的列；获取待处理的列对应的编码文件，其中，编码文件用于对原始数据文件进行压缩或者解压缩，编码文件包括原始值与编码值之间的对应关系，原始值为压缩前的文件中包括的原始数据，编码值为压缩后的文件中包括的编码数据，编码值的数据位数小于原始值的数据位数；根据编码文件对原始数据文件进行处理，生成处理后的目标数据文件，达到了使进行传输时的文件中字段长度减小的目的，从而实现了减小文件体积的技术效果，进而解决了由于文件体积庞大造成的文件传输效率低的技术问题
。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文件处理方法，其特征在于，包括：获取待处理的原始数据文件，其中，所述原始数据文件包括至少一个数据列；从所述至少一个数据列中确定待处理的列；获取所述待处理的列对应的编码文件，其中，所述编码文件用于对所述原始数据文件进行压缩或者解压缩，所述编码文件包括原始值与编码值之间的对应关系，所述原始值为压缩前的文件中包括的原始数据，所述编码值为压缩后的文件中包括的编码数据，所述编码值的数据位数小于所述原始值的数据位数；根据所述编码文件对所述原始数据文件进行处理，生成处理后的目标数据文件
。2.
根据权利要求1所述的方法，其特征在于，获取待处理的原始数据文件，包括：获取待压缩的数据源表文件，其中，所述原始数据文件包括所述数据源表文件；从所述至少一个数据列中确定待处理的列，包括：从所述数据源表文件中的至少一个数据列中确定目标列；根据所述编码文件对所述原始数据文件进行处理，生成处理后的目标数据文件，包括：根据所述编码文件对所述数据源表文件进行编码压缩，生成压缩文件
。3.
根据权利要求2所述的方法，其特征在于，获取所述编码文件，包括：获取目录行和获取数据存储行，其中，所述目录行包括所述目标列与所述数据存储行的对应关系，所述数据存储行包括所述原始值与所述编码值之间的对应关系
。4.
根据权利要求2所述的方法，其特征在于，获取所述待处理的列对应的编码文件，包括：获取所述目标列中原始数据的种类数；在所述目标列为
N
列的情况下，确定所述
N
列目标列各自对应的
N
个有效数据数，其中，所述有效数据数表征各自对应的目标列中原始数据的种类数，
N
大于等于1；根据所述
N
个有效数据数，确定所述
N
列目标列一一对应的
N
个编码长度，其中，所述
N
个编码长度表征各自对应的目标列包括的原始值对应的编码值的数据位数；根据所述
N
个编码长度，确定所述
N
列目标列各自包括的原始值对应的编码值，生成所述编码文件
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述
N
个有效数据数，确定所述
N
列目标列一一对应的
N
个编码长度，包括：确定所述
N
个有效数据数各自的十进制数据位数；根据所述
N
个有效数据数各自的十进制数据位数，确定所述
N
列目标列一一对应的
N
个编码长度，其中，所述
N
列目标列一一对应的
N
个编码长度为所述
N
列目标列对应的...

【专利技术属性】
技术研发人员：汤畅通，孙婧岚，徐辰翀，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：