批处理内容判重方法、系统、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种批处理内容判重方法、系统、装置、终端设备及存储介质，通过获取当前批次的各条明细；根据所述各条明细生成相应的字符串，并计算出所述字符串的信息摘要特征码；获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁；根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果。本发明专利技术提高了批处理内容判重的检测效率。本发明专利技术提高了批处理内容判重的检测效率。本发明专利技术提高了批处理内容判重的检测效率。

【技术实现步骤摘要】
批处理内容判重方法、系统、装置、终端设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种批处理内容判重方法、系统、装置、终端设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，有许多行业需要大批量处理数据，例如教育、金融、税务等行业的数据；大型企业所管理的庞大的产品数据和交易数据；社会管理、城建等方面产生的大规模共性数据等。随着数据从不同平台处于离散、不统一和不规范的分布状况，向着数据的大集中或大集成的方向转变，从海量数据中提取大数据集进行快速地批量处理有广泛的实际需求，在分布式集群批处理的场景下，如何对大批量高并发的批次内容的可疑批次进行判重检测已成为数据批处理工程中日益突出的问题。
[0003]目前针对批处理内容判重检测的主要方式是按文件内容进行匹配，这种方法需要将新的批次内容与各个历史批次内容进行对比，因此每产生一个新的批次，都需要与每个历史文件做对比运算，因此需要较长的检测时间，进而影响用户体验。
[0004]因此，有必要提出一种提高批处理内容判重的检测效率的解决方案。<br/>
技术实现思路
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批处理内容判重方法，其特征在于，所述批处理内容判重方法包括以下步骤：获取当前批次的各条明细；根据所述各条明细生成相应的字符串，并计算出所述字符串的信息摘要特征码；获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁；根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果。2.如权利要求1所述的批处理内容判重方法，其特征在于，所述获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁的步骤之后还包括：判断是否获取到所述远程字典缓存服务中所述信息摘要特征码对应的分布式锁；若未获取到所述远程字典缓存服务中所述信息摘要特征码对应的分布式锁，则等待预设时间后，返回执行所述获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁的步骤以及后续步骤。3.如权利要求1所述的批处理内容判重方法，其特征在于，所述根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果的步骤包括：根据所述分布式锁对所述远程字典缓存服务进行查询调用，得到查询数据；判断所述查询数据中是否存在值为所述信息摘要特征码的缓存数据；若所述查询数据中存在值为所述信息摘要特征码的缓存数据，则判定所述当前批次可疑；若所述查询数据中不存在值为所述信息摘要特征码的缓存数据，则判定所述当前批次合规，并将所述值为所述信息摘要特征码的缓存数据插入到所述远程字典缓存服务中；将判定所述当前批次可疑或合规的结果作为所述判重结果。4.如权利要求1所述的批处理内容判重方法，其特征在于，所述根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果的步骤之后还包括：释放所述信息摘要特征码对应的分布式锁；返回所述判重结果。5.如权利要求1所述的批处理内容判重方法，其特征在于，所述根据所述各条明细生成相应的字符串，并计算出所述字符串的信息摘要特征码的步骤包括：提取所述各条明细的关键要素；将所述关键要素按相同顺序进行拼接，得到拼接串；将所述拼接串放入拼接串列表；对所述拼接串列表进行排序，并将排序后的拼接串列表...

【专利技术属性】
技术研发人员：阳鹤松，杨兢，
申请(专利权)人：深圳金融电子结算中心有限公司，
类型：发明
国别省市：