一种基于信用卡大数据平台分割超大文件的计算方法技术

本发明专利技术提供一种基于信用卡大数据平台分割超大文件的计算方法。该基于信用卡大数据平台分割超大文件的计算方法，包括S1.将信用卡数据导入系统，每一个文件都会生成对应的标识文件，S2.标识文件生成固定格式，标识文件的格式为：文件名称_YYYYMMDD_文件下标索引.0K，S3.当大数据平台生成完整文件时，首先要对文件大小进行检测，如果文件大小超过2G，则对文件进行对半拆分。针对信用卡系统处理传输商户历史流水文件，以及授权历史文件过程中，采用科学高效的对大文件进行均匀切片拆分，分批传送到与之对应的大数据平台文件服务器，方便切片文件的合并，完整性检测，缩短传输时间，减小网络压力提高容错率，确保系统的高可用以及时效性。效性。效性。

【技术实现步骤摘要】
一种基于信用卡大数据平台分割超大文件的计算方法


[0001]本专利技术涉及分割大文件
，具体为一种基于信用卡大数据平台分割超大文件的计算方法。

技术介绍

[0002]如果需要考虑用户体验，则可以把整个任务设计成可中断可恢复的步进模式。比如，切割100G的文件，可以把这个任务设计为100个步骤，每个步骤处理1G。每个步骤的处理前、处理中、处理后，都要记录在配置文件中。这样，即使系统崩溃，也能最大程度地恢复进度，不需要重新处理整个文件。

技术实现思路

[0003](一)解决的技术问题
[0004]针对现有技术的不足，本专利技术提供了一种基于信用卡大数据平台分割超大文件的计算方法，解决了传输时间长的问题。
[0005](二)技术方案
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于信用卡大数据平台分割超大文件的计算方法，包括以下步骤：
[0007]S1.将信用卡数据导入系统，每一个文件都会生成对应的标识文件；
[0008]S2.标识文件生成固定格式，标识文件的格式为：文件名称_YYYYMMDD_文件下标索引.OK；
[0009]S3.当大数据平台生成完整文件时，首先要对文件大小进行检测，如果文件大小超过2G，则对文件进行对半拆分，并生成新的中间文件名称，新的中间文件名称为，文件名称_YYYYMMDD_文件下标索引.txt；
[0010]S4.对新生成的文件再次进行上述处理，直到文件没有超过2G为止；
[0011]S5.将文件再次过滤判断文件是否超过100万行，每超过100万行则截取生成一个新文件，和对应的标识文件；
[0012]S6.接收方在接收文件时，检测文件是否存在，首先接收数据文件，再接收对应的标识文件，以完成标识文件的接收视为当前数据文件的完整接收；
[0013]S7.读取标识文件内容，整合标识文件的文件大小，以及文件行数，验证文件的完整性，如有遗失文件重新拉取，通过文件下标索引将数据文件拼接为完整文件。
[0014]优选的，S1中所述的标识文件为信用卡大数据平台相关历史文件，基本文件的容量超过2G，文件的行数超过100万。
[0015]优选的，S2中所述标识文件的文件内容为文件名称_文件大小_文件行数_文件下标索引/总文件数量。
[0016]优选的，S3中所述的拆分的逻辑为当前行数对半拆分行数向上取整，生成新中间文件，和对应的标识文件，所述标识文件的作用为验证文件的完整性，所述文件下标索引的
作用为当有多个同类型文件时，标记文件自身的顺序。
[0017]优选的，S5完成后文件都拆分在2G以下，文件行数在100万以下。
[0018]优选的，S1中文件是基于符合第二范式的文件数据，即文件中其他数据元素都依赖于主关键字，或称该数据元素唯一地被主关键字所标识，第二范式是数据库规范化中所使用的一种正规形式。
[0019](三)有益效果
[0020]本专利技术提供了一种基于信用卡大数据平台分割超大文件的计算方法。具备以下有益效果：
[0021]1、该基于信用卡大数据平台分割超大文件的计算方法，针对信用卡系统处理传输商户历史流水文件，以及授权历史文件过程中，采用科学高效的对大文件进行均匀切片拆分，分批传送到与之对应的大数据平台文件服务器，方便切片文件的合并，完整性检测，缩短传输时间，减小网络压力提高容错率，确保系统的高可用以及时效性。
附图说明
[0022]图1为本专利技术结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]如图1所示，本专利技术实施例提供一种基于信用卡大数据平台分割超大文件的计算方法，包括，S1.将信用卡数据导入系统，每一个文件都会生成对应的标识文件，标识文件为信用卡大数据平台相关历史文件，基本文件的容量超过2G，文件的行数超过100万，文件是基于符合第二范式的文件数据，即文件中其他数据元素都依赖于主关键字，或称该数据元素唯一地被主关键字所标识，第二范式是数据库规范化中所使用的一种正规形式，第二范式(Second Normal Form，2nd NF)是指每个表必须有主关键字(Primary key)，其他数据元素与主关键字一一对应，通常称这种关系为函数依赖(Functional dependence)关系，即表中其他数据元素都依赖于主关键字，或称该数据元素唯一地被主关键字所标识，第二范式是数据库规范化中所使用的一种正规形式，它的规则是要求数据表里的所有非主属性都要和该数据表的主键有完全依赖关系，如果有哪些非主属性只和主键的一部分有关的话，它就不符合第二范式，同时可以得出：如果一个数据表的主键只有单一一个字段的话，它就一定符合第二范式，S2.标识文件生成固定格式，标识文件的格式为：文件名称_YYYYMMDD_文件下标索引.OK，标识文件的文件内容为文件名称_文件大小_文件行数_文件下标索引/总文件数量，S3.当大数据平台生成完整文件时，首先要对文件大小进行检测，如果文件大小超过2G，则对文件进行对半拆分，并生成新的中间文件名称，新的中间文件名称为，文件名称_YYYYMMDD_文件下标索引.txt，S3中所述的拆分的逻辑为当前行数对半拆分行数向上取整，生成新中间文件，和对应的标识文件，所述标识文件的作用为验证文件的完整性，所述文件下标索引的作用为当有多个同类型文件时，标记文件自身的顺序，S4.对新生成的文件
再次进行上述处理，直到文件没有超过2G为止，S5.将文件再次过滤判断文件是否超过100万行，每超过100万行则截取生成一个新文件，和对应的标识文件，S5完成后文件都拆分在2G以下，文件行数在100万以下，S6.接收方在接收文件时，检测文件是否存在，首先接收数据文件，再接收对应的标识文件，以完成标识文件的接收视为当前数据文件的完整接收，S7.读取标识文件内容，整合标识文件的文件大小，以及文件行数，验证文件的完整性，如有遗失文件重新拉取，通过文件下标索引将数据文件拼接为完整文件。
[0025]尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信用卡大数据平台分割超大文件的计算方法，其特征在于，包括以下步骤：S1.将信用卡数据导入系统，每一个文件都会生成对应的标识文件；S2.标识文件生成固定格式，标识文件的格式为：文件名称_YYYYMMDD_文件下标索引.OK；S3.当大数据平台生成完整文件时，首先要对文件大小进行检测，如果文件大小超过2G，则对文件进行对半拆分，并生成新的中间文件名称，新的中间文件名称为，文件名称_YYYYMMDD_文件下标索引.txt；S4.对新生成的文件再次进行上述处理，直到文件没有超过2G为止；S5.将文件再次过滤判断文件是否超过100万行，每超过100万行则截取生成一个新文件，和对应的标识文件；S6.接收方在接收文件时，检测文件是否存在，首先接收数据文件，再接收对应的标识文件，以完成标识文件的接收视为当前数据文件的完整接收；S7.读取标识文件内容，整合标识文件的文件大小，以及文件行数，验证文件的完整性，如有遗失文件重新拉取，通过文件下标索引将数据文件拼接为完整文件。2.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：姜天择，
申请(专利权)人：上海通联金融服务有限公司，
类型：发明
国别省市：