聚合处理方法、装置、系统、设备、存储介质及程序产品制造方法及图纸

本公开实施例公开了一种聚合处理方法、装置、系统、设备、存储介质及程序产品，所述方法包括：接收目标聚合操作命令，当确定所述目标聚合操作命令为跨机房聚合操作命令时，将所述目标聚合操作命令分解为两个或多个目标操作子命令；将所述目标操作子命令发送给与所述目标操作子命令对应机房的对应计算节点；响应于接收到所有机房总计算节点发送的目标操作预聚合子结果，对于所述目标操作预聚合子结果进行聚合操作，得到聚合结果。该技术方案可以大大降低需要在机房间传输的数据量，这样不仅会提高机房间数据传输的速率，也能够有效提升机房间网络的使用率。房间网络的使用率。房间网络的使用率。

【技术实现步骤摘要】
聚合处理方法、装置、系统、设备、存储介质及程序产品


[0001]本公开实施例涉及数据处理
，具体涉及一种聚合处理方法、装置、系统、设备、存储介质及程序产品。

技术介绍

[0002]随着数据技术和科学技术的发展，数据存储量和数据运算量日益增加。当大数据集群规模大到需要跨机房时，由于机房间的网络带宽远小于机房内部的网络带宽，因此若此时执行跨机房shuffle操作时，就需要占用大量的机房间网络带宽，这样不仅会影响机房间数据传输的速率，也不利于提升机房间网络的使用率。

技术实现思路

[0003]本公开实施例提供一种聚合处理方法、装置、系统、设备、存储介质及程序产品。
[0004]第一方面，本公开实施例中提供了一种聚合处理方法，适用于处理器。
[0005]具体的，所述聚合处理方法，包括：
[0006]接收目标聚合操作命令，当确定所述目标聚合操作命令为跨机房聚合操作命令时，将所述目标聚合操作命令分解为两个或多个目标操作子命令；
[0007]将所述目标操作子命令发送给与所述目标操作子命令对应机房的对应计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚合处理方法，适用于处理器，包括：接收目标聚合操作命令，当确定所述目标聚合操作命令为跨机房聚合操作命令时，将所述目标聚合操作命令分解为两个或多个目标操作子命令；将所述目标操作子命令发送给与所述目标操作子命令对应机房的对应计算节点，以使所述计算节点执行所述目标操作子命令生成目标操作子结果发送给机房总计算节点，以在机房总计算节点处对于所述目标操作子结果进行预聚合，得到目标操作预聚合子结果；响应于接收到所有机房总计算节点发送的目标操作预聚合子结果，对于所述目标操作预聚合子结果进行聚合操作，得到聚合结果。2.根据权利要求1所述的方法，所述接收目标聚合操作命令之后，还包括：对于所述目标聚合操作命令进行解析，确定所述目标聚合操作命令是否为跨机房聚合操作命令。3.根据权利要求2所述的方法，所述对于所述目标聚合操作命令进行解析，确定所述目标聚合操作命令是否为跨机房聚合操作命令，包括：对于所述目标聚合操作命令进行数据源解析，确定所述目标聚合操作命令是否为跨机房聚合操作命令。4.根据权利要求3所述的方法，所述对于所述目标聚合操作命令进行数据源解析，确定所述目标聚合操作命令是否为跨机房聚合操作命令，包括：确定所述目标聚合操作命令对应的目标操作子命令的数据源；当所述数据源中至少有两个不同时，确定所述目标聚合操作命令为跨机房聚合操作命令。5.一种聚合处理方法，适用于计算节点，包括：接收目标操作子命令；执行所述目标操作子命令，生成目标操作子结果；将所述目标操作子结果发送给同机房总计算节点。6.一种聚合处理方法，适用于机房总计算节点，包括：接收同机房计算节点发送的目标操作子结果；确定是否已接收完成同机房所有计算节点的目标操作子结果；当确定已接收完成同机房所有计算节点的目标操作子结果时，对于所述目标操作子结果进行预聚合，得到目标操作预聚合子结果，并将所述目标操作预聚合子结果发送给处理器。7.一种聚合处理方法，适用于包括处理器、计算节点和总计算节点的系统，包括：处理器接收目标聚合操作命令，当确定所述目标聚合操作命令为跨机房聚合操作命令时，将所述目标聚合操作命令分...

【专利技术属性】
技术研发人员：关振宇，朱家强，郑为锋，
申请(专利权)人：拉卡拉支付股份有限公司，
类型：发明
国别省市：