数据撮合方法及装置制造方法及图纸

本申请实施例提供一种数据撮合方法及装置，方法包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合；本申请既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

Data matching method and device

【技术实现步骤摘要】
数据撮合方法及装置
本申请涉及数据处理领域，具体涉及一种数据撮合方法及装置。
技术介绍
随着信息技术的发展，各行各业的数据量都是以指数级别迸发，在当前大数据的背景下，大型数据处理系统往往需要对两个有序无关的数据集做相关联的数据整合和分析处理。目前，现有技术中对多个不同类标空间的数据集的关联整合处理，往往是采用数据类集之间的触发因素，通过触发关联，搜索数据链，完成整合处理。例如，基于数据集A，要对数据集B做分类和聚类处理，当数据集A中某一数据记录r出现时，会触发一个信息处理进程，将该数据记录r与数据集B中的每一条数据做比较分析处理，找出与之相关联的数据记录s，完成数据记录s的分析处理，与此类似，当数据集A中同时出现多个数据记录时，会同步触发多个信息处理进程进行信息数据处理。专利技术人发现，目前的数据处理系统多数是由单个数据集触发，基于单数据集触发的多线程触发处理模式。触发数据处理虽然处理模式简单快速有效，但却大大依赖于系统的并发处理，尽管当前大型主机事务处理中间件支持较高的并发数，但当数据集中数据记录过多，触发处理并发数高时，触发的线程数目往往大于中间件系统所支持的并发数，从而导致数据处理失败，甚至出现丢失数据等现象。同时，由于触发处理模式是基于单个数据记录维度，当前后出现的数据记录间隔较短时，会出现单个数据记录多笔线程同时触发，不仅会导致重复数据处理，致使数据记录处理失误，而且容易发生数据处理系统死锁等待的情况，致使排队的事务越来越多，部分进程被强制关掉，更严重的情况下会导致事务处理系统宕机，增加了系统的运行风险。
技术实现思路
针对现有技术中的问题，本申请提供一种数据撮合方法及装置，既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种数据撮合方法，包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。进一步地，在所述确定源数据集中的有效源数据和目标数据集中的有效目标数据之前，包括：对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。进一步地，所述确定源数据集中的有效源数据，包括：对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。进一步地，所述确定目标数据集中的有效目标数据，包括：对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。进一步地，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。进一步地，在所述得到与所述有效源数据满足同一触发规则的所述有效目标数据之后，包括：判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。进一步地，所述进行数据撮合，包括：基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。进一步地，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。第二方面，本申请提供一种数据撮合装置，包括：数据整合模块，用于确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；数据撮合模块，用于依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。进一步地，数据来源有效性判断单元，用于对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；数据构成条件判断单元，用于判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；数据录入单元，用于根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。进一步地，所述数据整合模块包括：有效源数据确定单元，用于对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。进一步地，所述数据整合模块包括：目标数据状态判断单元，用于对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；有效目标数据确定单元，用于对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。进一步地，还包括：触发条件判断单元，用于根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。进一步地，还包括：撮合规则判断单元，用于判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。进一步地，所述数据撮合模块包括：撮合处理单元，用于基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。进一步地，还包括：缓冲队列组建单元，用于对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据撮合方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据撮合方法的步骤。由上述技术方案可知，本申请提供一种数据撮合方法及装置，通过对输入到系统中的源数据和目标数据进行归纳整合，得到用于进行数据撮合的源数据集和目标数据集，并对源数据集和目标数据集进行数据有效性筛选，确定初步满足数据撮合条件的有效源数据和有效目标数据，并将其组建为两个数据缓冲队列，根据数据缓冲队列中有效源数据和有效目标数据的排列顺序依次进行有效源数据和有效目标数据的数据撮合，由于在进行数据撮合前有效源数据和有效目标数据为本文档来自技高网...

【技术保护点】
1.一种数据撮合方法，其特征在于，所述方法包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

【技术特征摘要】
1.一种数据撮合方法，其特征在于，所述方法包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。2.根据权利要求1所述的数据撮合方法，其特征在于，在所述确定源数据集中的有效源数据和目标数据集中的有效目标数据之前，包括：对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。3.根据权利要求1所述的数据撮合方法，其特征在于，所述确定源数据集中的有效源数据，包括：对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。4.根据权利要求1所述的数据撮合方法，其特征在于，所述确定目标数据集中的有效目标数据，包括：对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；对数据状态为正常的所述目标数据进行数据有效性判断，将数据有效性判断结果为有效的所述目标数据设定为所述有效目标数据。5.根据权利要求1所述的数据撮合方法，其特征在于，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：根据所述有效源数据在源数据缓冲队列中的排列顺序和所述有效目标数据在目标数据缓冲队列中的排列顺序，依次判断所述有效源数据和所述有效目标数据的固有触发条件是否满足同一触发规则，得到与所述有效源数据满足同一触发规则的所述有效目标数据。6.根据权利要求5所述的数据撮合方法，其特征在于，在所述得到与所述有效源数据满足同一触发规则的所述有效目标数据之后，包括：判断所述有效目标数据是否满足预设撮合规则，得到满足预设撮合规则的所述有效目标数据。7.根据权利要求6所述的数据撮合方法，其特征在于，所述进行数据撮合，包括：基于所述预设撮合规则对与所述有效源数据满足同一触发规则的所述有效目标数据进行撮合处理，得到经过撮合处理后的所述有效目标数据。8.根据权利要求5所述的数据撮合方法，其特征在于，在所述依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合之前，包括：对所述有效源数据和所述有效目标数据分别进行数据排序处理，得到源数据缓冲队列和目标数据缓冲队列。9.一种数据撮合装置，其特征在于，包括：数据整合模块，用于确定源数据集中的有效源数据和目标数据集...

【专利技术属性】
技术研发人员：林泽瑞，何晓，何伟玄，陈树勇，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11