基于云边协同的实时数据处理系统和方法技术方案

技术编号:46623723 阅读:1 留言:0更新日期:2025-10-14 21:19
本申请提供了一种基于云边协同的实时数据处理系统和方法,系统包括:数据采集层,用于通过多协议栈配置支持多种数据源接入;基于轻量级消息传输协议实时采集数据;对采集到的数据进行标准化处理;数据处理层,用于基于预设规则引擎,对标准化处理后的数据,进行数据分层处理与转换,得到待处理数据;实时监测层,基于Kappa架构和Flink流处理引擎,结合深度学习算法和时间序列分析技术,根据所述待处理数据,确定是否存在异常情况并生成监测报告。本申请能解决现有技术容易出现网络拥塞、处理延迟高等问题。

【技术实现步骤摘要】

本文件涉及数据处理,尤其涉及一种基于云边协同的实时数据处理系统和方法


技术介绍

1、随着物联网、大数据和人工智能技术的快速发展,实时数据处理系统在各行业的应用日益广泛。这类系统需要处理来自多种数据源的海量异构数据,并在极短时间内完成数据分析与决策,对系统架构和处理能力提出了严峻挑战。

2、目前,实时数据处理系统主要采用中心化云计算架构,所有数据需要传输至中心云服务器进行处理。

3、然而,这种架构在面对峰值流量时,容易出现网络拥塞、处理延迟高等问题,难以满足毫秒级响应需求。

4、具体地,现有技术中的实时数据处理系统主要存在以下问题:

5、1.峰值流量处理能力不足:在数据量突发增长时,中心化架构难以应对,导致系统响应延迟、处理效率下降,无法满足毫秒级实时处理需求;

6、2.多源异构数据处理效率低:现有系统对商品、用户、支付、物流等多模态数据的处理兼容性差,数据标准化和转换过程复杂,影响实时性能;

7、3.实时异常检测能力有限:传统的异常检测方法主要基于规则匹配,缺乏深度学习和时间序列分析本文档来自技高网...

【技术保护点】

1.一种基于云边协同的实时数据处理系统,其特征在于,包括:

2.根据权利要求1所述的系统,其特征在于,

3.根据权利要求1所述的系统,其特征在于,所述数据处理层的规则引擎支持以下操作:

4.根据权利要求1所述的系统,其特征在于,所述系统还包括:

5.根据权利要求4所述的系统,其特征在于,

6.根据权利要求1所述的系统,其特征在于,所述系统还包括:

7.根据权利要求1所述的系统,其特征在于,所述系统还包括:

8.根据权利要求7所述的系统,

9.一种基于云边协同的实时数据处理方法,其特征在于,应用...

【技术特征摘要】

1.一种基于云边协同的实时数据处理系统,其特征在于,包括:

2.根据权利要求1所述的系统,其特征在于,

3.根据权利要求1所述的系统,其特征在于,所述数据处理层的规则引擎支持以下操作:

4.根据权利要求1所述的系统,其特征在于,所述系统还包括:

5.根据权利要求4所述的系统,其特征在于,

6.根据权利要求1所述的系统,其特征在于,所述系统还...

【专利技术属性】
技术研发人员:仝瑞庆
申请(专利权)人:北京爱游盟信息科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1