一种面向流连接算子中落伍者优化方法及装置制造方法及图纸

本发明专利技术涉及分布式流计算领域，特别是指一种面向流连接算子中落伍者优化方法及装置。所述方法包括：获取待进行流连接的第一数据流以及第二数据流；构建Ls‑Stream数据流调度器；其中，Ls‑Stream数据流调度器包括分发器组件、连接实例组件和控制器组件；根据分发器组件、连接实例组件和控制器组件，对多组第一数据元组以及多组第二数据元组进行连接，得到数据流连接结果。本发明专利技术通过融合基于哈希与基于键的数据分区方法，构建了一个高效的两级路由策略，旨在优化连接实例的工作负载分配。此外，该策略的实施使得每个连接实例能够同时管理多个分区，从而提升了系统的整体效能。与现有的框架相比，提出的数据流调度器降低了系统响应时间和提高了系统吞吐量。

【技术实现步骤摘要】

本专利技术涉及分布式流计算，特别是指一种面向流连接算子中落伍者优化方法及装置。

技术介绍

1、负载不均衡可能导致“落伍者”的出现，即在处理数据流时连接实例明显落后于其他实例。目前，最先进的解决方案能够通过热键管理和随机分区来平衡连接实例之间的工作负载，从而减轻“落伍者”的负担。然而，这些解决方案要么依赖于复杂的路由策略，要么依赖于较低的资源效率处理结构，这使得它们容易受到实例之间负载频繁变化的影响。

2、流连接是流处理系统中最为关键且资源密集型的操作之一，在多个领域有着广泛的应用，包括金融、电子商务、交通运输和医疗保健等领域。与传统的数据库连接操作相比，由于数据流具有连续、高速和实时等特性，流连接更具挑战性。流连接必须将来自两个数据源的数据进行合并以进行复杂的数据分析，这对系统资源提出了巨大的需求。因此，实现高效的流连接对于提升系统性能至关重要。高效的流连接必须满足以下基本要求：（1）实时性：系统必须迅速响应并在短时间内体现数据的价值；（2）资源效率：系统必须有效利用集群内的可用计算资源；（3）完整性：系统必须能够连接来自两个流的任何元组对，并本文档来自技高网...

【技术保护点】

1.一种面向流连接算子中落伍者优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向流连接算子中落伍者优化方法，其特征在于，所述S3中的根据所述分发器组件、连接实例组件和控制器组件，对多组第一数据元组以及多组第二数据元组进行连接，得到数据流连接结果，包括：

3.根据权利要求2所述的面向流连接算子中落伍者优化方法，其特征在于，所述S32中的所述分发器组件根据动态路由表将多组第一数据元组以及多组第二数据元组分发到连接实例中的各个分区，包括：

4.根据权利要求3所述的面向流连接算子中落伍者优化方法，其特征在于，所述根据动态路由表将多组第一数据元组...

【技术特征摘要】

1.一种面向流连接算子中落伍者优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向流连接算子中落伍者优化方法，其特征在于，所述s3中的根据所述分发器组件、连接实例组件和控制器组件，对多组第一数据元组以及多组第二数据元组进行连接，得到数据流连接结果，包括：

3.根据权利要求2所述的面向流连接算子中落伍者优化方法，其特征在于，所述s32中的所述分发器组件根据动态路由表将多组第一数据元组以及多组第二数据元组分发到连接实例中的各个分区，包括：

4.根据权利要求3所述的面向流连接算子中落伍者优化方法，其特征在于，所述根据动态路由表将多组第一数据元组以及多组第二数据元组分发到连接实例中的各个分区，包括：

5.根据权利要求4所述的面向流连接算子中落伍者优化方法，其特征在于，所述分...

【专利技术属性】
技术研发人员：孙大为，吴明辉，
申请(专利权)人：中国地质大学北京，
类型：发明
国别省市：