一种数据处理方法、装置、设备及介质制造方法及图纸

技术编号:37155324 阅读:27 留言:0更新日期:2023-04-06 22:16
本申请涉及数据处理领域,尤其涉及一种数据处理方法、装置、设备及介质。用以解决现有技术中批处理的方法导致的处理结果不准确的问题。由于本申请实施例中,电子设备在获取到待处理的每个交易数据后,先将待处理的每个交易数据存放在数据库中,为该数据库加分布式锁,并在加锁完成后对待处理的每个交易数据进行批处理,在批处理完成后释放所加的分布式锁,从而可以通过加分布式锁的方式确保其他设备或电子设备的其他线程不会对待处理的每个交易数据进行处理,进而可以准确有效地对待处理的每个交易数据进行批处理,得到准确的处理结果。果。果。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质


[0001]本申请涉及数据处理领域,尤其涉及一种数据处理方法、装置、设备及介质。

技术介绍

[0002]随着业务增长,逐渐产生大规模的交易数据,现有技术中通常有对大规模的交易数据进行批处理的需求,例如需要在每个月固定时间对某些账户进行扣款,例如不同银行间进行交易数据交互前,需要批量转换交易数据的格式。然而现有技术中在对交易数据进行批处理时,可能存在其他设备对该批处理的交易数据中的某一交易数据进行处理,或者可能存在进行批处理的电子设备中其他功能的线程,对该批处理的交易数据中某一交易数据进行处理,导致某一交易数据受影响,使得批处理的处理结果不准确。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置、设备及介质,用以解决现有技术中批处理的方法导致的处理结果不准确的问题。
[0004]本申请实施例提供了一种数据处理方法,所述方法包括:
[0005]获取待处理的每个交易数据;
[0006]将所述待处理的每个交易数据存放在数据库中,为所述数据库加分布式锁,并对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:获取待处理的每个交易数据;将所述待处理的每个交易数据存放在数据库中,为所述数据库加分布式锁,并对所述待处理的每个交易数据进行批处理,在对所述待处理的每个交易数据处理完成后,释放所述分布式锁。2.根据权利要求1所述的方法,其特征在于,所述获取待处理的每个交易数据包括:接收批处理请求,其中,所述批处理请求中携带有待处理的每个交易数据的存放路径及第一MD5值;所述第一MD5值为发送所述批处理请求的设备根据待处理的每个交易数据生成的;根据所述存放路径获取待处理的每个交易数据;所述获取待处理的每个交易数据之后,所述将所述待处理的每个交易数据存放在数据库中之前,所述方法还包括获取所述待处理的每个交易数据对应的第二MD5值;判断所述第一MD5值与所述第二MD5值是否一致,若一致,则执行后续将所述待处理的每个交易数据存放在数据库中的步骤。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:若所述第一MD5值与所述第二MD5值不一致,则发送预设的提醒信息。4.根据权利要求1所述的方法,其特征在于,所述为所述数据库加分布式锁包括:生成随机数,将所述随机数加入key的预设位置中,获取目标key,将所述目标key加入所述数据库中;并保存所述随机数;所述释放所述分布式锁包括:获取所述数据库中存放的目标key,获取所述目标key中所述预设位置的随机数,若获取到的随机数与保存的随机数一致,则将所述目标key从所述数据库中删除。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:针对所述目标key对应保存有预设的过期时间间隔;按照预设的时间间隔,判断当前时间与将所述目标key加入存放待处理的每个交易数据的数据库的时间之间的时间间隔是否超过所述过期时间间隔,若是,则释放分布式锁。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:若接收到进度查询的请求,则获取当前批处理是否完成,并发送获取结果。7.一种数据处理装置,其特征在于,所述装置包括:获取模块,用于获取待处理的每个交易数据;处理模块,用于将所述待处理的每个交易数据存放在数据库中,为所述数据库加分布式锁,并对所述待处理的每个交易数据进行批处理,在对所述待处理的每个交易数据处理完成后,释放所述分布式锁。8.根据权利要求7所述的装置,其特征在于,所述获取模...

【专利技术属性】
技术研发人员:徐华扬张润
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1