批量数据处理方法、前端系统、主机及批量数据处理系统技术方案

本发明专利技术提供了一种批量数据处理方法、前端系统、主机及批量数据处理系统，该方法包括：获取用户提交的待处理交易数据；按照待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；暂存需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；将暂存的交易数据按照先入先出的方式出列，将出列的交易数据汇总后分批发送给主机；获取主机根据交易数据生成的交易处理结果，并根据交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。利用本发明专利技术可以解决交易高并发量引起的系统瓶颈问题，降低了网络带宽的压力并提高了数据的处理效率，提高了系统在数据并发爆发时的稳定性，保证生产安全。

Batch data processing method, front end system, host computer and batch data processing system

The invention provides a data processing method, the front-end system of the host and the batch data processing system, the method includes: obtaining the user submitted pending transaction data to be processed; according to the type of transaction data sorting of the transaction data, transaction data to extract the host processing; temporary transaction needs the data processing and the host, generating a primary key for the untreated transaction records of user transactions ID; the transaction data temporarily out according to FIFO, will be out of the transaction data aggregated wholesale to the host; access to the host according to the transaction processing results of transaction data generated, and according to the transaction processing without transaction the state update the corresponding record results, and feedback to the user. The invention can solve the trading system bottleneck problems caused by high concurrency, reduces network bandwidth pressure and improve the data processing efficiency, improve the stability of the system in concurrent data bursts, ensure the safety of production.

【技术实现步骤摘要】

本专利技术涉及计算机数据交互
，特别涉及一种批量数据处理方法、前端系统、主机及批量数据处理系统。
技术介绍
随着互联网的高速发展，大型企业的信息系统越来越广泛，不同应用系统间的交互越来越频繁，数据并发量越来越大，各应用系统间的负载均衡一直是企业不断关注的问题。同时，某些时段交易量的集中爆发可能造成系统间的数据传输堵塞，极大的影响了生产稳定和客户的体验。例如，证券交易所收盘时点出现的股票基金买卖高峰、铁路售票系统春运期间出现的抢票、淘宝网双11抢购，经常出现瞬间数据并发量巨大导致系统超负荷运行，出现资源抢占导致大量传输数据堵塞并出现网络延迟、数据处理失败的现象，给用户造成了一定的经济损失，同时也给企业造成了较大的负面影响。因此，如何有效解决数据量集中爆发时的数据传输和数据处理效率，逐渐成为大型企业信息系统亟需解决的问题。
技术实现思路
为解决上述技术问题，本专利技术提供了一种批量数据处理方法、前端系统、主机及批量数据处理系统。本专利技术一方面提供了一种批量数据处理方法，所述批量数据处理方法包括：获取用户提交的待处理交易数据；按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；获取所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。在一实施例中，暂存所述需要主机处理的交易数据，包括：将所述需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。在一实施例中，所述批量数据处理方法还包括：当未能获取所述主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一包含用户交易ID的待确认命令并发送给所述主机；接收所述主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。在一实施例中，所述批量数据处理方法还包括：定期获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果；根据所述交易结果文件对所述未处理交易记录进行勾对及更新，将因与所述主机通讯失败导致的疑账交易结果反馈给用户。在一实施例中，所述批量数据处理方法还包括：在第T+1日获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果，T为所述交易数据的交易日；根据所述未处理交易记录中的用户交易ID查询所述交易结果文件中是否存在相应的交易处理结果；如果否，则将所述未处理交易记录的状态修改为发送主机失败并反馈给用户；如果是，则将所述未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。本专利技术还提供了一种批量数据处理方法，所述批量数据处理方法包括：接收需要本地处理的交易数据，并将所述交易数据暂存至待批处理队列中；根据所述交易数据的数据特性对所述待批处理队列中的交易数据进行分类；对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。在一实施例中，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当未返传的所述交易处理结果的累计数量达到预设数量时，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。在一实施例中，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。在一实施例中，所述批量数据处理方法还包括：在交易日当天营业时间结束后，扫描所述交易日当天已处理的交易数据对应的交易处理结果，并生成交易结果文件并输出。在一实施例中，所述批量数据处理方法还包括：接收包含用户交易ID的待确认命令；根据所述待确认命令中的用户交易ID查询包含至少一个交易处理结果的交易处理文件，并将与所述用户交易ID相关的交易处理结果输出。本专利技术另一方面还提供了一种前端系统，所述前端系统包括：交易数据获取单元，用于获取用户提交的待处理交易数据；交易数据分拣单元，用于按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；缓存单元，用于暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；交易数据传送单元，用于将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；处理结果接收单元，用于接收所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。在一实施例中，所述缓存单元包括一监控进程模块，用于将所述需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。在一实施例中，所述前端系统还包括：待确认命令生成单元，用于当未能获取所述主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一包含用户交易ID的待确认命令并发送给所述主机；第一反馈单元，用于接收所述主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。在一实施例中，所述前端系统还包括：同步单元，用于定期获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果；第二反馈单元，用于根据所述交易结果文件对所述未处理交易记录进行勾对及更新，将因与所述主机通讯失败导致的疑账交易结果反馈给用户。在一实施例中，所述前端系统还包括：文件获取单元，用于在第T+1日获取与所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果，T为所述交易数据的交易日；查询单元，用于根据所述未处理交易记录中的用户交易ID查询所述交易结果文件中是否存在相应的交易处理结果；第三反馈单元，用于当所述查询单元的查询结果为否时，将所述未处理交易记录的状态修改为发送主机失败，以及当所述查询单元的查询结果为是时，将所述未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。本专利技术一方面还提供了一种批量数据处理主机，所述主机包括：数据接收单元，用于接收需要本地处理的交易数据，并将所述交易数据暂存至待批处理队列中；分类单元，用于根据所述交易数据的数据特性对所述待批处理队列中的交易数据进行分类；数据处理单元，用于对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。在一实施例中，所述主机还包括：处理结果返传单元，用于定期扫描未返传的交易处理结果，当未返传的交易处理结果的累计数量达到预设数量时，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。在一实施例中，所述处理结果返传单元还用于：定期扫描未返传的交易处理结果，当达本文档来自技高网...

【技术保护点】
一种批量数据处理方法，其特征在于，所述批量数据处理方法包括：获取用户提交的待处理交易数据；按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；获取所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

【技术特征摘要】
1.一种批量数据处理方法，其特征在于，所述批量数据处理方法包括：获取用户提交的待处理交易数据；按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；获取所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。2.根据权利要求1所述的批量数据处理方法，其特征在于，暂存所述需要主机处理的交易数据，包括：将所述需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。3.根据权利要求1所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：当未能获取所述主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一包含用户交易ID的待确认命令并发送给所述主机；接收所述主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。4.根据权利要求1所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：定期获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果；根据所述交易结果文件对所述未处理交易记录进行勾对及更新，将因与所述主机通讯失败导致的疑账交易结果反馈给用户。5.根据权利要求1所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：在第T+1日获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果，T为所述交易数据的交易日；根据所述未处理交易记录中的用户交易ID查询所述交易结果文件中是否存在相应的交易处理结果；如果否，则将所述未处理交易记录的状态修改为发送主机失败并反馈给用户；如果是，则将所述未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。6.一种批量数据处理方法，其特征在于，所述批量数据处理方法包括：接收需要本地处理的交易数据，并将所述交易数据暂存至待批处理队列中；根据所述交易数据的数据特性对所述待批处理队列中的交易数据进行分类；对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。7.根据权利要求6所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当未返传的所述交易处理结果的累计数量达到预设数量时，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。8.根据权利要求6所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。9.根据权利要求6所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：在交易日当天营业时间结束后，扫描所述交易日当天已处理的交易数据对应的交易处理结果，并生成交易结果文件并输出。10.根据权利要求6所述的批量数据处理方法，其特征在于，所述批量数据处理方法还包括：接收包含用户交易ID的待确认命令；根据所述待确认命令中的用户交易ID查询包含至少一个交易处理结果的交易处理文件，并将与所述用户交易ID相关的交易处理结果输出。11.一种前端系统，其特征在于，所述前端系统包括：交易数据获取单元，用于获取用户提交的待处理交易数据；交易数据分拣单元，用于按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出...

【专利技术属性】
技术研发人员：方林鹏，谭汉清，郭海球，罗东晓，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11