【技术实现步骤摘要】
本专利技术涉及计算机数据文件处理
，尤其是涉及一种。
技术介绍
对于大型金融机构或企业来说，其计算机系统一般都需要对海量数据(又称为代 理数据)文件进行批量处理，如代收费、代发工资等数据文件，这些海量数据的传输大都采 用批量文件方式上传到核心处理系统。 考虑到计算机系统的处理效率和性能等因素，大型金融机构或企业一般规定了每天大批量文件传输的场次和时间，如一天分若干场次运行代理批量，代理数据文件按既定的场次时间提交到主机核心系统，再由主机运行人员启动相应批量处理模块。 这种传统处理方法其技术特点是批量交易数据量大，占用系统的资源较少，但交易处理完成时间比客户提交的时间延后较多。 可见，传统的处理方式存在以下的缺点传统代理业务的海量数据文件批量场次 要求固定，且必须人工参与处理，系统处理效率低，不够灵活。
技术实现思路
( — )要解决的技术问题 有鉴于此，本专利技术的主要目的在于提供一种对海量数据文件进行传输处理的装置 及方法，以解决目前对海量数据文件进行传输处理时效率低的问题，形成一种联机发起交 易处理请求、批量执行数据处理的交易模式，以批量方式完成对各类外...
【技术保护点】
一种对海量数据文件进行传输处理的装置，其特征在于，该装置包括代理客户端（０１）、代理服务器（０２）和核心主机（０３），其中： 代理客户端（０１），用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器（０２）； 代理服务器（０２），用于接收代理客户端（０１）发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机（０３）发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端（０１）； 核心主机（０３），用于接收代理服务器（０２）发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回...
【技术特征摘要】
一种对海量数据文件进行传输处理的装置，其特征在于，该装置包括代理客户端(01)、代理服务器(02)和核心主机(03)，其中代理客户端(01)，用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器(02)；代理服务器(02)，用于接收代理客户端(01)发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机(03)发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端(01)；核心主机(03)，用于接收代理服务器(02)发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器(02)。2. 根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述代 理服务器(02)包括通讯处理单元(20)、数据处理单元(21)和数据存储单元(22)，其中通讯处理单元(20)将接收的代理客户端(01)发送过来的业务处理请求和海量数据文 件转发给数据处理单元(21)进行处理；数据处理单元(21)接收到通讯处理单元(20)发送的业务处理请求和海量数据文件 后，向核心主机(03)发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理 客户端(Ol)，以及将处理结果存储到数据存储单元(22)中；数据存储单元(22)存储代理数据处理过程中的控制参数，至少包括联机批量处理控 制表和对照联机批量处理参数表。3. 根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述通 讯处理单元(20)包括数据接收模块(201)和数据转发模块(202)，其中数据接收模块(201)，接收代理客户端(01)发送过来的业务处理请求和海量数据文 件，并转发给数据处理单元(21)进行处理；数据转发模块(202)，利用序号发生器生成序号，该序号中利用两位交易序号用于区分 应用来源，并发起联机交易请求，上送交易信息到数据处理单元(21);同时将数据处理单 元(21)返回的处理结果，再返传到代理客户端(01)。4. 根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述数 据处理单元(21)包括数据识别模块(203)、数据守候模块(204)、数据自检模块(205)和数 据异常处理模块(206)，其中数据识别模块(203)，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登 记的联机批量处理参数检验是否在允许交易的时间段；数据守候模块(204)，用于监测核心主机(03)返回的状态文件，并把核心主机(03)返 回状态登记在服务器侧的联机批量处理控制表；数据自检模块(205)，用于通过对照在服务器侧的联机批量处理参数表，检查在联机批 量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态；数据异常处理模块(206)，用于对数据自检模块(205)检查出来的异常状态交易进行 后续处理，根据不同状况，选择不同的后续处理方式，至少包括继续触发和报错。5. 根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述核 心主机(03)包括交易请求处理单元(31)、调度作业处理单元(32)、代理数据处理单元(33) 和数据存储单元(34)，其中交易请求处理单元(31)接收代理服务器(02)上送的交易请求，将交易请求中包含的 交易序号信息登记在数据存储单元(34)，并将登记成功标志返回给代理服务器(02);调度处理作业处理单元(32)访问数据存储单元(34)，根据登记的交易请求控制信息， 生成并运行批量指令集，并触发代理数据处理单元(33);代理数据处理单元(33)负责对代理数据文件进行业务处理，并将处理结果返回给代 理服务器(02);数据存储单元(34)用于存储代理数据处理过程中的控制参数，至少包括联机批量处 理控制表和对照联机批量处理参数表。6. 根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述调 度处理作业处理单元(32)包括调度作业守候模块(303)，该模块采用轮循监测手段，检查数据存储单元(34)中主机 侧的联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的 记录逐笔进行处理；调度作业生成模块(304)，读取数据存储单元(34)中的联机批量处理参数定制表，根 据从该联机批量处理参数定制表中取得的设置数据生成批量GET和PUT指令集；该联机批 量处理参数定制表在主机侧，包括FTP地址和文件长度；调度作业触发模块(305)，用于根据调度作业生成模块(304)生成的批量指令集，触发 代理数据处理单元(33)进行业务功能处理。7. 根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述代 理数据处理单元(33)包括代理数据上传模块(306)、代理数据处理模块(307)和代理数据 返传模块(308)，其中，代...
【专利技术属性】
技术研发人员：吴绵顺，王涛，钱锋，孙雨辰，佘俊胜，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。