跑批处理方法及装置制造方法及图纸

本发明专利技术公开了一种跑批处理方法及装置，涉及大数据领域，其中该方法包括：在跑批失败需重新跑批时，查询预设批量临时表中所有记录的最大主键；批量临时表用于存储已经成功写入批量文件数据的主键；将最大主键作为查询条件从数据库中查询需要生成批量文件且主键大于最大主键的数据；将主键大于最大主键的数据写入预设数组中；逐条从数组中读取数据，以追加的方式写入原批量文件，每写入一条数据，将该条数据的主键记录于批量临时表中；主键大于最大主键的数据为跑批失败未写入批量文件的数据。本发明专利技术使得跑批失败需重新跑批时，只需将还未写入批量文件的数据追加写入批量文件中，无需覆盖已成功写入批量文件的数据，大大地提升了跑批处理的效率。跑批处理的效率。跑批处理的效率。

Batch processing method and device

【技术实现步骤摘要】
跑批处理方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种跑批处理方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前，银行的对私交易平台拥有上千万的用户，对私平台每天晚上会将用户当天的交易记录生成对账批量文件并下传给其他产品。在生成对账批量文件过程中，若由于系统崩溃等突发情况导致跑批失败后，需重新跑批重新生成批量文件并覆盖原批量文件。由于数据量巨大，重新生成文件的效率极差。如一千万用户已跑批生成了九百万条记录后失败，需重新跑批会重新生成一千万条记录的批量文件，并覆盖失败前已生成的九百万条记录。因此，若由于系统崩溃等突发情况导致跑批失败后，需重新跑批重新生成批量文件并覆盖原批量文件，效率极差。

技术实现思路

[0004]本专利技术实施例提供一种跑批处理方法，用以使得跑批失败需重新跑批时，只需将还未写入批量文件的数据追加写入批量文件中，无需覆盖已成功写入批量文件的数据，该方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跑批处理方法，其特征在于，包括：在跑批过程中出现失败需重新跑批时，查询预设批量临时表中所有记录的最大主键；批量临时表用于存储已经成功写入批量文件数据的主键；将最大主键作为查询条件从数据库中查询需要生成批量文件且主键大于最大主键的数据；将主键大于最大主键的数据写入预设数组中；逐条从所述数组中读取数据，以追加的方式写入原批量文件，每写入一条数据，将该条数据的主键记录于批量临时表中，直至数组中的数据全部写入批量文件；主键大于最大主键的数据为跑批失败未写入批量文件的数据。2.如权利要求1所述的跑批处理方法，其特征在于，还包括按照如下方法进行未出现跑批失败情况的跑批处理：从数据库中查询所有需要生成批量文件的数据；将所有需要生成批量文件的数据存储在数组中；逐条从所述数组中读取数据后写入批量文件，每写入一条后，将该条数据的主键记录于批量临时表中，直至数组中的数据全部写入批量文件。3.如权利要求1或2所述的跑批处理方法，其特征在于，还包括：在数组中的数据全部写入批量文件里后，清空批量临时表。4.如权利要求1所述的跑批处理方法，其特征在于，跑批过程中出现失败需重新跑批的处理方法允许根据批量临时表的记录被多次执行。5.如权利要求1所述的跑批处理方法，其特征在于，所述主键为交易序列号。6.一种跑批处理装置，其特征在于，包括：获取单元，用于在跑批过程中出现失败需重新跑批时，查询预设批量临时表中所有记录的最大主键；批量临时表用于存储已经成功写入批量文件数据的主键；查询单元，用于将最大主键作为查询条件从数据库中查询需要生成批量文件且主键大于最大主键的数据；写入单元...

【专利技术属性】
技术研发人员：滕建德，王欣，王增峰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：