混合云平台的大数据处理框架编排系统及方法技术方案

本发明专利技术公开了一种混合云平台的大数据处理框架编排系统及方法，该系统包括：编排服务模块、混合云管理模块、基础设施资源模块、数据分析模块、数据处理模块、数据存储模块、数据集成模块，编排服务模块主要包括可视化界面模块、服务目录模块、流程执行器、资源优化模块等。本发明专利技术能够灵活调度混合云管理平台，支持用户通过移动端界面等多种直观操作形式，完成对大数据处理整体框架及细分任务的编排、执行工作，该框架需要满足用户的大数据处理领域的快速迭代要求。

【技术实现步骤摘要】
混合云平台的大数据处理框架编排系统及方法
本专利技术涉及一种大数据处理
，特别是涉及一种混合云平台的大数据处理框架编排系统及方法。
技术介绍
目前，云平台已经在各个行业中得到广泛部署，从行业角度来看，各行业基于云计算技术构建自己的行业解决方案部。另一方面，结合技术发展趋势，大数据平台基础建设当前的趋势是模块化、云平台化，这个云平台不仅提供物理底层资源的调度，同时也需要并可以提供各类大数据相关的中间件PaaS服务，以及是各类服务间可以简单灵活的组合来满足各个应用场景的定制需求。因此，对现阶段大数据处理整体方案及涉及的流程框架做了梳理，结合考虑目前大数据处理过程中的关键影响因素以及实践经验，整理了大数据处理系统在基于混合云平台上进行编排的技术挑战，也是需要努力解决的问题。混合云平台的资源定义灵活，其需要涵盖大数据处理过程中的各种资源类型。大数据处理的各个环节中应当需要提供不同的、有针对性的计算、存储、网络等资源的支持，但现今未能有方法保证其高可用性及稳定性。大数据处理整体过程，需要更加快速响应用户需求，用于实现流程编排，实现对大数据处理面向终端用户的透明化、服务化。综上所述，传统的大数据处理流程及其平台建设方案，已经不能满足行业客户在大数据分析处理上的快速响应需求，以及为适应实际数据处理条件所必须的环境快速更迭变化的客观条件。其存在着很多不足，有必要加以改进。
技术实现思路
本专利技术所要解决的技术问题是提供一种混合云平台的大数据处理框架编排系统及方法，以实现可灵活调度的混合云管理平台，其用于接入管理客户的各类云计算资源，包含私有云、公有云；可在其上实现对所有纳管资源的快速定义及配置，支持大数据处理过程中的不同层级服务，提供符合特定处理环节所需的资源，且符合云平台最佳资源效用；通过混合云的管理平台，可实现动态地响应大数据处理负载调节，并完成跨云堆栈的大数据工作负载迁移任务；支持用户通过移动端界面等多种直观操作形式，完成对大数据处理整体框架及细分任务的编排、执行工作，该框架需要满足用户的大数据处理领域的快速迭代要求。本专利技术是通过下述技术方案来解决上述技术问题的：一种混合云平台的大数据处理框架编排系统，其特征在于，其包括：编排服务模块，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；混合云管理模块，与该编排服务模块相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；基础设施资源模块，与该混合云管理模块相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块完成管理；数据分析模块，与该编排服务模块相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；数据处理模块，与该数据分析模块相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；数据存储模块，与该数据处理模块相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；数据集成模块，与该数据存储模块相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且将已保存的文件数据做存储优化等文件类型操作。优选地，所述编排服务模块主要包括：可视化界面模块，用于展示大数据处理框架整体流程，以及可供显示的信息检索、数据挖掘成果及效能评估信息；服务目录模块，用于面向最终用户封装大数据处理框架的各个环节，对使用者显示可直接调用的大数据处理流程，对于系统内部则调度数据处理模块、数据存储模块、数据集成模块等，完成封装任务；流程执行器，负责具体大数据处理流程的分解与执行，并且通过与资源优化模块的通信，动态调整在混合云平台上的各个云堆栈的工作负载，达到资源优化目的；资源优化模块，主要负责南向与混合云管理子系统种的资源分配模块协同工作，实时分配、具体调度混合云平台所纳管的各项计算、存储、网络资源。优选地，所述数据分析模块包括：数据挖掘模块，负责深度处理分析数据；信息检索模块，负责对已存信息进行多维度检索；效能评估模块，通过与系统各个子系统通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在可视化界面展现分析结果及预测趋势。优选地，所述数据处理模块包括：编程模型管理模块，负责编程模型的增删改建及后台管理；批处理模块，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载；流处理模块，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载。优选地，所述数据存储模块包括：缓存数据管理模块，负责处理加载缓存中的数据信心，并导入对应后续模块；元数据管理模块，加工、预处理由下层传递上来的元数据；数据库管理模块，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理模块、元数据管理模块，完成数据完成的存储流程操作。优选地，所述数据集成模块包括：数据同步模块，负责将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块；消息传递模块，负责将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录；文件存储模块，主要负责以文件形式记录数据，并且可以将已保存的文件数据做存储优化等文件类型操作。优选地，所述混合云管理模块包括：资源分配模块，接收数据集成模块针对云资源上数据调用指令，并结合资源优化模块输出的混合云的优化指令，对所纳管的混合云资源进行操作；在执行过程中，需要与权限管理模块做操作权限的验证，以及通过云资源开发的北向API做操作命令的具体下放配置资源迁移模块，接收资源分配模块对于云资源的操作命令，负责具体数据处理工作负载在各个云堆栈之间的迁移工作；在具体执行命令过沉重，每一步的操作都需要通过权限管理模块进行验证；权限管理模块，负责混合元管理子系统各项操作的权限认证，通过细颗粒度的权限划分，授权资源分配模块、资源迁移模块、资源监控模块执行相关操作；资源监控模块，负责监控混合云操作过程中所管辖的各个云堆栈的监控日志信息，进行统一格式化处理，并接收权限管理模块的命令调度，当监控阈值触发条件达到，实时做出相应的云堆栈操作指令，完成监控资源的平稳运行。本专利技术还提供一种混合云平台的大数据处理框架编排方法，其特征在于，其包括以下步骤：步骤一，用户通过可视化界面模块对系统进行操作，输入需要部署执行的大数据处理过程的各项环节及配置，系统将相关申请输入到后台；步骤二，服务目录模块响应申请后，查找已保存有的服务里列表以及对应的大数据处理流程列表是否包含有所申请的处理流程或者部署模板；步骤三，判断系统是否已有大数据编排流程，是则转步骤五，否则转步骤四；步骤四，系统要求用户添加相应的大数本文档来自技高网...

【技术保护点】
一种混合云平台的大数据处理框架编排系统，其特征在于，其包括：编排服务模块，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；混合云管理模块，与该编排服务模块相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；基础设施资源模块，与该混合云管理模块相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块完成管理；数据分析模块，与该编排服务模块相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；数据处理模块，与该数据分析模块相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；数据存储模块，与该数据处理模块相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；数据集成模块，与该数据存储模块相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且将已保存的文件数据做存储优化等文件类型操作。...

【技术特征摘要】
1.一种混合云平台的大数据处理框架编排系统，其特征在于，其包括：编排服务模块，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；混合云管理模块，与该编排服务模块相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；基础设施资源模块，与该混合云管理模块相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块完成管理；数据分析模块，与该编排服务模块相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；数据处理模块，与该数据分析模块相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；数据存储模块，与该数据处理模块相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；数据集成模块，与该数据存储模块相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且将已保存的文件数据做存储优化等文件类型操作。2.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述编排服务模块主要包括：可视化界面模块，用于展示大数据处理框架整体流程，以及可供显示的信息检索、数据挖掘成果及效能评估信息；服务目录模块，用于面向最终用户封装大数据处理框架的各个环节，对使用者显示可直接调用的大数据处理流程，对于系统内部则调度数据处理模块、数据存储模块、数据集成模块等，完成封装任务；流程执行器，负责具体大数据处理流程的分解与执行，并且通过与资源优化模块的通信，动态调整在混合云平台上的各个云堆栈的工作负载，达到资源优化目的；资源优化模块，主要负责南向与混合云管理子系统种的资源分配模块协同工作，实时分配、具体调度混合云平台所纳管的各项计算、存储、网络资源。3.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述数据分析模块包括：数据挖掘模块，负责深度处理分析数据；信息检索模块，负责对已存信息进行多维度检索；效能评估模块，通过与系统各个子系统通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在可视化界面展现分析结果及预测趋势。4.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述数据处理模块包括：编程模型管理模块，负责编程模型的增删改建及后台管理；批处理模块，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载；流处理模块，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载。5.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述数据存储模块包括：缓存数据管理模块，负责处理加载缓存中的数据信心，并导入对应后续模块；元数据管理模块，加工、预处理由下层传递上来的元数据；数据库管理模块，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理模块、元数据管理模块，完成数据完成的存储流程操作。6.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述数据集成模块包括：数据同步模块，负责将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块；消息传递模块，负责将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录；文件存储模块，主要负责以文件形式记录数据，并且可以将已保存的文件数据做存储优化等文件类型操作。7.如权利要求1所述的混合云平台的大数据处理框架编排系统，其特征在于，所述混合云管理模块包括：资源分配模块，接收数据集成模块针对云资源上数据调用指令，并结合资源优化模块输出的混合云的优化...

【专利技术属性】
技术研发人员：陈琪，陈劭力，王巍，谢朝阳，
申请(专利权)人：上海华讯网络系统有限公司，
类型：发明
国别省市：上海,31