边缘端的流式计算系统、方法、装置及相关设备制造方法及图纸

本发明专利技术公开了一种边缘端的流式计算系统，应用于边缘计算领域，用于提高边缘端的中心管理能力。本发明专利技术提供的边缘端的流式计算系统包括一个云中心管理模块和至少两个边缘计算组模块，所述云中心管理模块与所有所述边缘计算组模块相连接，用于管理所有所述边缘计算组模块，每一个所述边缘计算组模块包括至少两个边缘端，用于进行边缘流式计算。用于进行边缘流式计算。用于进行边缘流式计算。

【技术实现步骤摘要】
边缘端的流式计算系统、方法、装置及相关设备


[0001]本专利技术涉及边缘计算领域，尤其涉及一种边缘端的流式计算系统、方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着现代智能社会的快速发展，整个边缘端设备快速更新换代，越来越多的智能设备是通过边缘端接入，从而实现中心管理。边缘接入这种分布式系统，使得越来越多的数据在边缘端产生，因此要求边缘侧也具备中心云流式计算能力，从而使得在边缘侧能直接做智能化的分析，并将分析结果快速反馈给用户，从而实现一些作业设备控制，车路协同等业务场景。其中，边缘计算中的边缘端是指终端设备，如手机、智能家电、各类传感器、摄像头等，边缘侧包括基础设施边缘和设备边缘。
[0003]但是，现有的边缘端的流式计算平台，方法及框架主要是在中心云，一般集群的规模较大，需要底层资源较多，都有有专业的团队维护支撑，可以承载大规模海量数据的流式计算的需求场景，流式计算基本上都采用对边缘数据进行切分，并行计算的思路，从而提高了数据计算的效率。但在边缘计算的场景中，由于边缘底层资源比较分散且边缘端计算能力非常有限，现有的流式计算的平台及系统都难以迁移下沉至边缘侧，导致边缘端的中心管理能力差。
[0004]因此，现有方法存在因边缘底层资源比较分散且边缘端计算能力非常有限而导致边缘端的中心管理能力差的问题。

技术实现思路

[0005]本专利技术实施例提供一种边缘端的流式计算系统、方法、装置、计算机设备及存储介质，以提高边缘端的中心管理能力。
[0006]一种边缘端的流式计算系统，所述边缘端的流式计算系统包括一个云中心管理模块和至少两个边缘计算组模块，所述云中心管理模块与所有所述边缘计算组模块相连接，用于管理所有所述边缘计算组模块，每一个所述边缘计算组模块包括至少两个边缘端，用于进行边缘流式计算。
[0007]一种边缘端的流式计算方法，包括：
[0008]获取边缘流式计算作业；
[0009]对所述边缘流式计算作业进行切分，得到至少两个边缘流式计算任务；
[0010]基于预设分配策略，将所有所述边缘流式计算任务分配到对应的边缘计算组模块进行边缘流式计算，得到每一个所述边缘计算组模块对应的计算结果；
[0011]将所有所述计算结果进行汇总处理，得到流式计算结果。
[0012]一种边缘端的流式计算装置，包括：
[0013]边缘流式计算作业获取模块，用于获取边缘流式计算作业；
[0014]切分模块，用于对所述边缘流式计算作业进行切分，得到至少两个边缘流式计算
任务；
[0015]任务分配模块，用于基于预设分配策略，将所有所述边缘流式计算任务分配到对应的边缘计算组模块进行边缘流式计算，得到每一个所述边缘计算组模块对应的计算结果；
[0016]流式计算结果获取模块，用于将所有所述计算结果进行汇总处理，得到流式计算结果。
[0017]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述边缘端的流式计算方法的步骤。
[0018]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述边缘端的流式计算方法的步骤。
[0019]本专利技术实施例提供的边缘端的流式计算系统、方法、装置、计算机设备及存储介质，边缘端的流式计算系统包括一个云中心管理模块和至少两个边缘计算组模块，所述云中心管理模块与所有所述边缘计算组模块相连接，用于管理所有所述边缘计算组模块，每一个所述边缘计算组模块包括至少两个边缘端，用于进行边缘流式计算。通过获取边缘流式计算作业；对所述边缘流式计算作业进行切分，得到至少两个边缘流式计算任务；基于预设分配策略，将所有所述边缘流式计算任务分配到对应的边缘计算组模块进行边缘流式计算，得到每一个所述边缘计算组模块对应的计算结果；将所有所述计算结果进行汇总处理，得到流式计算结果。整体系统由云中心管理模块与边缘计算组模块组成。云中心管理模块不仅确保产品整体用户体现与中心云其他流式计算产品用户体验保持一直，降低学习成本，同时可以将云中心已有的业务配置无缝的迁移至边缘场景，实现云边一体化；边缘计算组模块是基于容器的编排技术，同时兼容云中心流失计算框架，将数据处理模型抽象化成数据源，数据处理，目标三个模型，通过自定义编排文件实现数据处理流程自定义组装编排，从而提高边缘端的中心管理能力。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术一实施例中边缘端的流式计算系统的一示意图；
[0022]图2是本专利技术一实施例中边缘端的流式计算方法的一流程图；
[0023]图3是本专利技术一实施例中边缘端的流式计算装置的结构示意图；
[0024]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本专利技术保护的范围。
[0026]本申请提供了一种边缘端的流式计算系统，如图1所示，边缘端的流式计算系统包括一个云中心管理模块01和至少两个边缘计算组模块02，云中心管理模块01与所有边缘计算组模块02相连接，用于管理所有边缘计算组模块02，每一个边缘计算组模块02包括至少两个边缘端，用于进行边缘流式计算。
[0027]其中，云中心管理模块01包括信息管理单元011、编排单元012、任务处理单元013、监控单元014，信息管理单元011用于管理所有边缘计算组模块02，编排单元012用于可视化编排数据处理流程，任务处理单元013用于处理边缘流式计算过程中的任务，监控单元014用于实时监控所有边缘计算组模块02。
[0028]任务处理单元013包括任务派发单元和任务调整单元，任务派发单元用于将任务派发到边缘计算组模块02中，任务调整单元用于基于配置，对边缘流式计算的任务进行调整。
[0029]边缘计算组模块02为多任务边缘流式计算组模块，用于并行处理多个任务。
[0030]为了避免单个边缘端由于数据流量过大，数据计算负荷高导致服务不稳定，计算结果不理想，可以将多个边缘端定义成为一个边缘计算组模块02，设备侧连接到边缘端，数据计算分析任务优先有连接的边缘端处理，如果数据量过大导致无法及时处理，将会快速转发到在其他边缘计算组模块02，共享其他边缘端的计算能。
[0031]通过由云中心管理模块与边缘计算组模块组成整体系统。云中心管理模块不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘端的流式计算系统，其特征在于，所述边缘端的流式计算系统包括一个云中心管理模块和至少两个边缘计算组模块，所述云中心管理模块与所有所述边缘计算组模块相连接，用于管理所有所述边缘计算组模块，每一个所述边缘计算组模块包括至少两个边缘端，用于进行边缘流式计算。2.根据权利要求1所述的系统，其特征在于，所述云中心管理模块包括信息管理单元、编排单元、任务处理单元、监控单元，所述信息管理单元用于管理所有所述边缘计算组模块，所述编排单元用于可视化编排数据处理流程，任务处理单元用于处理边缘流式计算过程中的任务，监控单元用于实时监控所有所述边缘计算组模块。3.根据权利要求2所述的系统，其特征在于，所述任务处理单元包括任务派发单元和任务调整单元，所述任务派发单元用于将所述任务派发到所述边缘计算组模块中，所述任务调整单元用于基于配置，对边缘流式计算的任务进行调整。4.根据权利要求1所述的系统，其特征在于，所述边缘计算组模块为多任务边缘流式计算组模块，用于并行处理多个所述任务。5.一种边缘端的流式计算方法，其特征在于，应用于权利要求1至4任一项所述的边缘端的流式计算系统上，包括：获取边缘流式计算作业；对所述边缘流式计算作业进行切分，得到至少两个边缘流式计算任务；基于预设分配策略，将所有所述边缘流式计算任务分配到对应的边缘计算组模块进行边缘流式计算，得到每一个所述边缘计算组模块对应的计算结果；将所有所述计算结果进行汇总处理，得到流式计算结果。6.根据权利要求5所述的方法，其特征在于，在所述基于预设分配策略，将所有所述边缘流式计算任务分配到对应的边缘计算组模块进行边缘流式计算，得到每一个所述边缘计算组模块对应的计...

【专利技术属性】
技术研发人员：段嘉，黄龙华，高宏，龙喜洋，林远鑫，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：