轻量级分布式计算平台及其计算资源管控方法技术

本发明专利技术涉及一种轻量级分布式计算平台及其计算资源管控方法，网关服务器根据计算原子注入请求注入计算原子至对应的节点服务器。网关服务器根据原子启动命令查找对应计算原子所在的节点服务器，并控制节点服务器启动对应的计算原子。网关服务器根据计算结果获取请求获取对应计算原子的计算结果，将计算结果返回应用服务器接输出。根据用户输入的指令进行计算原子的注入、启动和计算结果的反馈，能够支持用户把不同程序模型的计算原子注入进行并行计算。并行计算模式由用户来控制，简化系统管理和控制计算资源的复杂性，增加了用户针对并行计算设计程序模型的灵活度，使用灵活性高。

【技术实现步骤摘要】
轻量级分布式计算平台及其计算资源管控方法
本专利技术涉及计算机
，特别是涉及一种轻量级分布式计算平台及其计算资源管控方法。
技术介绍
计算和存储是信息产业发展的两大主题，分布式计算平台用于整合计算和存储资源，如何平衡计算的灵活性和数据分析的高效性一直是学术界和产业界的研究热点。大数据概念出现后，以数据为中心的分布式系统研究越来越得到人们的关注，设计出具有灵活高效的面向数据的分布式系统成为了当前系统架构研究的重要课题。传统的分布式计算平台主要采用MPI(MessagePassingInterface，信息传递接口)和MapReduce(编程模型)两种典型的并行计算编程方法进行程序注入，其计算资源管控机制各不相同。由于采用程序注入的方式，并且需要配合重量级文件系统才能取得较好的使用效果，其使用灵活性较低。传统的分布式计算平台存在使用灵活性低的缺点。
技术实现思路
基于此，有必要针对上述问题，提供一种使用灵活性高的轻量级分布式计算平台及其计算资源管控方法。一种轻量级分布式计算平台，包括依次通信连接的应用服务器、网关服务器和节点服务器，所述应用服务器用于接收计算原子注入请求并发送至所述网关服务器；接收计算原子启动命令并发送至所述网关服务器；接收计算结果获取请求并发送至所述网关服务器，以及接收所述网关服务器对应所述计算结果获取请求返回的计算结果并输出；所述网关服务器用于根据所述计算原子注入请求注入计算原子至对应的节点服务器；根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子；以及根据所述计算结果获取请求获取对应计算原子的计算结果并返回至所述应用服务器。一种轻量级分布式计算平台的计算资源管控方法，包括以下步骤：应用服务器接收计算原子注入请求并发送至网关服务器；所述网关服务器根据所述计算原子注入请求注入计算原子至对应的节点服务器；所述应用服务器接收计算原子启动命令并发送至所述网关服务器；所述网关服务器根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子；所述应用服务器接收计算结果获取请求并发送至所述网关服务器；所述网关服务器根据所述计算结果获取请求获取对应计算原子的计算结果并返回至所述应用服务器；所述应用服务器接收所述网关服务器对应所述计算结果获取请求返回的计算结果并输出。上述轻量级分布式计算平台及其计算资源管控方法，应用服务器接收计算原子注入请求并发送至网关服务器，网关服务器根据计算原子注入请求注入计算原子至对应的节点服务器。应用服务器接收计算原子启动命令并发送至网关服务器，网关服务器根据原子启动命令查找对应计算原子所在的节点服务器，并控制根据原子启动命令查找到的节点服务器启动对应的计算原子。应用服务器接收计算结果获取请求并发送至网关服务器，网关服务器根据计算结果获取请求获取对应计算原子的计算结果并返回至网关服务器；应用服务器接收网关服务器对应计算结果获取请求返回的计算结果并输出。根据用户输入的指令进行计算原子的注入、启动和计算结果的反馈，能够支持用户把不同程序模型的计算原子注入进行并行计算。并行计算模式由用户来控制，让用户控制不同程序模型的计算原子不仅简化了系统管理和控制计算资源的复杂性，也增加了用户针对并行计算设计程序模型的灵活度，使用灵活性高。附图说明图1为一实施例中轻量级分布式计算平台的结构图；图2为一实施例中轻量级分布式计算平台的计算资源管控方法的流程图；图3为另一实施例中轻量级分布式计算平台的计算资源管控方法的流程图；图4为一实施例中计算原子注入到物理路径中并对该路径下的数据进行计算的示意图。具体实施方式在一个实施例中，一种轻量级分布式计算平台，如图1所示，包括依次通信连接的应用服务器110、网关服务器120和节点服务器130。应用服务器110用于接收计算原子注入请求并发送至网关服务器120；接收计算原子启动命令并发送至网关服务器120；接收计算结果获取请求并发送至网关服务器120，以及接收网关服务器120对应计算结果获取请求返回的计算结果并输出。网关服务器120用于根据计算原子注入请求注入计算原子至对应的节点服务器130；根据原子启动命令查找对应计算原子所在的节点服务器130，并控制根据原子启动命令查找到的节点服务器130启动对应的计算原子；以及根据计算结果获取请求获取对应计算原子的计算结果并返回至应用服务器110。具体地，节点服务器130的数量为多个，网关服务器120与多个节点服务器130组成LDFS(LightweightDistributedFileSystem，轻量级分布式文件系统)，各节点服务器130作为集群服务节点进行轻量级分布式文件存储。计算原子注入是指将用户处理后的可执行文件，通过协议上传到集群服务节点，然后请求启动计算原子，并获取计算结果或服务的过程。计算原子的注入依次为发布计算原子、启动计算原子、获取计算结果或服务。计算原子注入的三个步骤互相独立，需按顺序依次执行。轻量级分布式计算平台的计算资源均来自于用户通过协议注入的计算原子，计算资源存储于LDFS中。计算资源由网关服务器120统一管理和控制，网关服务器120负责管理计算原子的物理位置，也负责调度节点服务器130来执行计算原子。计算原子在节点服务器130上是被动执行的，执行条件来自于网关服务器120的命令，而网关服务器120的调度依据来自于应用服务器110接收到的用户所发起的计算协议请求。用户可通过接入协议请求应用服务器110实现计算原子的注入，注入成功后把计算原子存入LDFS中，用于后续启动进行数据计算。用户输入的计算原子注入请求可包括需要注入的计算原子，以及该计算原子所要计算的数据存储在LDFS中对应节点服务器130的物理路径。网关服务器120根据计算原子注入请求中携带的物理路径将计算原子注入至对应节点服务器130与所要计算的数据相同物理路径下，以便后续启动计算原子后可直接对数据进行计算，操作简便可靠。可以理解，可以是先存入需要计算的数据再注入计算原子，也可以是先注入计算原子后再存入数据，只需保证计算原子与数据存储在相同的物理路径即可。在成功注入计算原子之后，用户可以通过接入协议向应用服务器110请求计算原子的启动，网关服务器120收到启动的协议命令时，则按计算原子的物理路径找到LDFS中其所在的节点服务器130，并让节点服务器130启动该计算原子。在成功启动计算原子之后，用户可以通过接入协议向应用服务器110发起获取计算结果的请求，当网关服务器120收到获取计算结果的命令时，先找到计算原子所在的节点服务器130，然后再找到该计算原子在这个节点服务器130中的所在路径，由于计算原子产生的计算结果也存于该计算原子所在路径下，所以网关服务器120会让节点服务器130根据这个路径找到计算结果，然后把结果返回给应用服务器110，最后应用服务器110把计算结果返回给用户。应用服务器110输出计算结果的具体方式并不唯一，可以是输出至显示器进行显示，或者通过语音播报形式输出，还可以是输出至存储器进行存储等。本实施例中，该平台利用AGW(AppGateWork，应用网关节点)协议作为各个服务器之间通本文档来自技高网...

【技术保护点】
一种轻量级分布式计算平台，其特征在于，包括依次通信连接的应用服务器、网关服务器和节点服务器，所述应用服务器用于接收计算原子注入请求并发送至所述网关服务器；接收计算原子启动命令并发送至所述网关服务器；接收计算结果获取请求并发送至所述网关服务器，以及接收所述网关服务器对应所述计算结果获取请求返回的计算结果并输出；所述网关服务器用于根据所述计算原子注入请求注入计算原子至对应的节点服务器；根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子；以及根据所述计算结果获取请求获取对应计算原子的计算结果并返回至所述应用服务器。

【技术特征摘要】
1.一种轻量级分布式计算平台，其特征在于，包括依次通信连接的应用服务器、网关服务器和节点服务器，所述应用服务器用于接收计算原子注入请求并发送至所述网关服务器；接收计算原子启动命令并发送至所述网关服务器；接收计算结果获取请求并发送至所述网关服务器，以及接收所述网关服务器对应所述计算结果获取请求返回的计算结果并输出；所述网关服务器用于根据所述计算原子注入请求注入计算原子至对应的节点服务器；根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子；以及根据所述计算结果获取请求获取对应计算原子的计算结果并返回至所述应用服务器。2.根据权利要求1所述的轻量级分布式计算平台，其特征在于，所述计算原子包括纯计算原子，所述网关服务器根据所述计算结果获取请求获取对应计算原子的计算结果并返回至所述应用服务器，包括：监控各节点服务器中纯计算原子的执行情况，捕捉纯计算原子执行完成信息并收集计算结果；采用异步的方式将纯计算原子输出的计算结果重定向到预设的计算结果文件中；在接收到计算结果获取请求后，提取与所述计算结果获取请求对应的计算结果文件通过反向连接的方式发送至所述应用服务器。3.根据权利要求1所述的轻量级分布式计算平台，其特征在于，所述计算原子包括服务原子，所述计算原子注入请求包括所述服务原子的文件类型标识，或所述服务原子的关联服务原子的数据路径；所述网关服务器根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子之后，还用于在启动的计算原子为服务原子时，返回启动反馈信息至所述应用服务器。4.根据权利要求1所述的轻量级分布式计算平台，其特征在于，所述应用服务器在网关服务器根据所述原子启动命令查找对应计算原子所在的节点服务器，并控制根据所述原子启动命令查找到的节点服务器启动对应的计算原子之后，还用于接收计算原子关闭命令并发送至所述网关服务器；所述网关服务器还用于根据所述原子关闭命令查找对应计算原子所在的节点服务器，并控制根据所述原子关闭命令查找到的节点服务器关闭对应的计算原子。5.根据权利要求1所述的轻量级分布式计算平台，其特征在于，所述应用服务器在网关服务器根据所述计算原子注入请求注入计算原子至对应的节点服务器之后，还用于接收计算原子更新请求并发送至所述网关服务器；所述网关服务器还用于根据所述计算原子更新请求查找对应计算原子所在的节点服务器，并控制根据所述计算原子更新请求查找到的节点服务器对对应的计算原子进行更新。6.一种轻量级分布式计算平台的计算资源管控方法，其特征在于，包括以下步...

【专利技术属性】
技术研发人员：王鹏，黄焱，谢高辉，
申请(专利权)人：广州五舟科技股份有限公司，
类型：发明
国别省市：广东,44