面向多应用云计算环境的高性能大数据处理系统及方法技术方案

本发明专利技术提供了一种面向多应用云计算环境的高性能大数据处理引擎，包括：控制模块：作为任务引擎对接计算平台，获取计算资源列表，向每个可用于计算的物理机或虚拟机注入代理；数据管理和分发模块：接受任务引擎的指令，将需要处理的数据分发至于不同的虚拟机或物理服务器，将处理后的数据汇总到指定存储空间；单节点计算模块：由控制模块注入的代理，安装于虚拟机或物理服务器操作系统层之上，与任务引擎通信，实现数据处理和数据分析计算，收集当前机器的状态，判别是否存在集成显卡空闲的状态。本发明专利技术提出了一种灵活高效的大数据处理框架，可部署在基于Intel和AMD提供的x86处理器构成的计算集群中，可有效集成显卡作为向量化处理器承载数据分析业务。处理器承载数据分析业务。处理器承载数据分析业务。

【技术实现步骤摘要】
面向多应用云计算环境的高性能大数据处理系统及方法


[0001]本专利技术涉及信息
，具体地，涉及一种面向多应用云计算环境的高性能大数据处理系统及方法。

技术介绍

[0002]云原生环境已经成为多数企业部署应用的主要基础设施，除了传统高性能计算领域、移动办公领域，基于传统高性能工作站的计算领域也逐渐上云。而现代企业的应用包含高性能计算、仿真和大数据处理，以基于高性能计算任务队列的调度方式来进行资源独占(或虚拟化层面的资源独占)，并不能有效缓解计算压力。现代高性能处理器往往提供覆盖多种计算场景的设备，例如集成显卡，而这些设备在企业级应用中往往得不到有效利用。
[0003]现有的集成显卡算力相对CPU和独立显卡都要低，适用于一般性的图像处理和分析任务，在基于云的图像工作站应用场景下，计算密集的图像处理任务(例如渲染)均由独立显卡完成，因此其多数情况下集成显卡并未得到充分利用。但集成显卡本身属于向量化数据处理器，因此在大数据处理和分析这里可以向量并行的场景下，仍然可以很好的适用。同时集成显卡与CPU共用内存通道，没有独立显卡因为总线通信所带来的数据延迟，因此在数据I/O方面具有优势。
[0004]专利文献CN107707361A公开了一种应用于网络优化传输的数据处理系统，包括DSP处理器、模数转换器和以太网控制器，所述模数转换器通过FIFO存储器与DSP处理器连接，所述DSP处理器与以太网控制器相互连接，所述模数转换器连接有仪表放大器，所述仪表放大器连接有多路复用器和SRAM1，所述第一SRAM与多路复用器连接，所述DSP处理器还连接有第一CPLD、第三CPLD、第二SRAM和闪存,所述DSP处理器直接与模数转换器连接完成AD时钟转换，所述以太网控制器连接有以太网SRAM和EEPROM，所述以太网控制器与第三CPLD连接。但该专利技术没有部署在基于Intel和AMD提供的x86处理器构成的计算集群中，不能有效利用Intel和AMD提供的集成显卡作为向量化数据处理器承载数据分析业务。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种面向多应用云计算环境的高性能大数据处理系统及方法。
[0006]根据本专利技术提供的一种面向多应用云计算环境的高性能大数据处理系统，包括：
[0007]控制模块：任务引擎与平台对接，获取用于计算的资源列表，向每个可用于计算的物理机或虚拟机注入代理；
[0008]数据管理和分发模块：接受任务引擎的指令，将需要处理的数据块分发至于不同的虚拟机或物理服务器，将处理后的数据汇总到指定存储空间；
[0009]单节点计算模块：安装于虚拟机或物理服务器操作系统层之上，与任务引擎通信，实现数据处理和数据分析计算，收集当前机器的状态，判别是否存在集成显卡空闲的状态。
[0010]优选地，在所述控制模块中：
[0011]任务引擎作为系统的主控制器，运行在3个计算节点，3个计算节点运行相同的任务引擎进程，3个任务引擎进程互为备份，同时与数据处理代理和数据管理和分发模块交互。
[0012]优选地，在所述数据分发和收集模块中：
[0013]数据管理和分发模块以统一接口的形式向任务引擎和数据处理代理提供服务，通过数据处理代理的数据管理模块在目标计算节点的内存中创建缓存，并将处理后数据收集存储在底层存储介质；底层存储介质采用对象存储或文件存储.
[0014]优选地，在所述数据分发和收集模块中：
[0015]数据管理和分发模块采用3副本方式在3个计算节点执行；
[0016]数据块尺寸由用户配置。
[0017]优选地，在所述单节点计算模块中：
[0018]数据处理代理以驻留进程的方式运行于所属的物理服务器或虚拟机上，通过与系统管理器的交互获得系统运行状态；每个节点的数据缓存由数据处理代理在其进程空间内管理；
[0019]数据处理代理接受数据管理和分发模块的指令，进行内存管理，接受数据并通过集成显卡进行数据分析。
[0020]根据本专利技术提供的一种面向多应用云计算环境的高性能大数据处理方法，执行所述的面向多应用云计算环境的高性能大数据处理系统，包括：
[0021]步骤S1：规划数据处理任务；
[0022]步骤S2：任务引擎完成任务规划后，向分布式对象存储系统发起数据导入命令；
[0023]步骤S3：数据导入后，任务引擎向所辖计算节点的数据处理代理发起查询，监测各个节点的集成显卡状态，对于集成显卡处于空闲状态的计算节点启动数据分析服务；
[0024]步骤S4：数据分析任务完成后，数据处理代理向任务引擎发送任务完成信号；任务引擎在收到任务完成信号后，通知分布式对象存储回收分析后的数据。
[0025]优选地，在所述步骤S1：
[0026]规划数据处理任务，如果数据处理任务所需算力超过任务引擎当前已经获得的资源，任务引擎向云平台申请更多的运算节点，并注入数据处理代理。
[0027]优选地，在所述步骤S2：
[0028]任务引擎完成任务规划后，向分布式对象存储系统发起数据导入命令，由分布式对象存储从数据源导入数据，或由用户预先将数据导入。
[0029]优选地，在所述步骤S3：
[0030]数据导入后，任务引擎向所辖计算节点的数据处理代理发起查询，监测各个节点的集成显卡是否处于空闲；对于集成显卡处于空闲状态的计算节点，由分布式对象存储向该节点数据缓存提交待处理数据，并启动数据分析服务。
[0031]优选地，任务引擎所管理的数据分析任务通过工作列表的形式，通过迭代执行步骤S1至步骤S4，将数据分析任务发送至由数据分析代理管理的计算节点。
[0032]与现有技术相比，本专利技术具有如下的有益效果：
[0033]1、本专利技术提出了一种灵活高效的大数据处理框架，该框架部署在基于Intel和AMD提供的x86处理器构成的计算集群中，可有效利用Intel和AMD提供的集成显卡作为向量化
数据处理器承载数据分析业务；
[0034]2、本专利技术利用集成显卡进行大数据处理工作，运行在复杂的云原生应用环境下，可有效的利用计算资源进行大数据处理；
[0035]3、本专利技术支持向量化数据处理，其任务管理和数据管理/分发模块是平台无关，可适用于任何云平台基础设施；
[0036]4、本专利技术通过数据处理代理管理计算节点，包括监测集成显卡使用情况、内存管理、数据接收和提交；可以用户无感的方式进行大数据处理，不影响用户的运行中业务应用。
附图说明
[0037]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0038]图1为分布式数据处理引擎架构示意图；
[0039]图2为节点状态监测示意图；
[0040]图3为节点内存储管理示意图；
[0041]图4为本专利技术系统示意图；
[0042]图5为任务引擎执行步骤示意图。...

【技术保护点】

【技术特征摘要】
1.一种面向多应用云计算环境的高性能大数据处理系统，其特征在于，包括：控制模块：任务引擎与平台对接，获取用于计算的资源列表，向每个可用于计算的物理机或虚拟机注入代理；数据管理和分发模块：接受任务引擎的指令，将需要处理的数据块分发至于不同的虚拟机或物理服务器，将处理后的数据汇总到指定存储空间；单节点计算模块：安装于虚拟机或物理服务器操作系统层之上，与任务引擎通信，实现数据处理和数据分析计算，收集当前机器的状态，判别是否存在集成显卡空闲的状态。2.根据权利要求1所述的面向多应用云计算环境的高性能大数据处理系统，其特征在于，在所述控制模块中：任务引擎作为系统的主控制器，运行在3个计算节点，3个计算节点运行相同的任务引擎进程，3个任务引擎进程互为备份，同时与数据处理代理和数据管理和分发模块交互。3.根据权利要求1所述的面向多应用云计算环境的高性能大数据处理系统，其特征在于，在所述数据分发和收集模块中：数据管理和分发模块以统一接口的形式向任务引擎和数据处理代理提供服务，通过数据处理代理的数据管理模块在目标计算节点的内存中创建缓存，并将处理后数据收集存储在底层存储介质；底层存储介质采用对象存储或文件存储。4.根据权利要求1所述的面向多应用云计算环境的高性能大数据处理系统，其特征在于，在所述数据分发和收集模块中：数据管理和分发模块采用3副本方式在3个计算节点执行；数据块尺寸由用户配置。5.根据权利要求1所述的面向多应用云计算环境的高性能大数据处理系统，其特征在于，在所述单节点计算模块中：数据处理代理以驻留进程的方式运行于所属的物理服务器或虚拟机上，通过与系统管理器的交互获得系统运行状态；每个节点的数据缓存由数据处理代理在其进程空间内管理；数据处理代理接受数据管理和分发模块的指令，进行内存管理，接受数据并通过集成显卡进行数据分...

【专利技术属性】
技术研发人员：赵继胜，
申请(专利权)人：上海孚典智能科技有限公司，
类型：发明
国别省市：