一种计算资源的分配方法和装置制造方法及图纸

本发明专利技术提供了一种计算资源的分配方法和装置，该方法包括：预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点；接收用户发送的请求，解析得到该用户的业务信息以及请求执行的用户代码；为不同的域名或网址设定流量转发的目标计算组，形成流量转发规则；根据子用户发送的请求，确定流量中的域名或网址，在所述流量转发规则中查询得到该域名或网址对应的目标计算组；查询目标计算组内的动态负载信息，确定转发的目标计算节点；将所述请求执行的用户代码发送到确定的目标计算节点执行。本发明专利技术有效地实现计算资源的隔离及调度，同时保留计算机用户较高的自由度，且其实现代价低，可提高计算资源利用率和系统的灵活程度。

【技术实现步骤摘要】
一种计算资源的分配方法和装置
本专利技术涉及计算机集群
，特别涉及一种计算资源的分配方法和装置。
技术介绍
计算机集群，简称集群，是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来作为计算资源，高度紧密地协作完成计算工作。集群系统中的单个计算机通常称为计算节点，一般通过局域网等方式连接。集群的特点是通过多台计算机完成同一个工作，有效利用群组中的计算资源，可以改进单个计算机在计算速度和/或可靠性上的局限，达到更高的效率。集群中每台计算机完成的内容、工作过程等完全一样，如果一台死机，另一台可以起作用，具有较高的稳定性。现有计算资源的分配装置有两种：一是虚拟化技术，二是计算节点多实例化技术。所述虚拟化技术是计算机元件在虚拟的基础上而不是真实的基础上运行的技术。虚拟化技术可以将计算资源和环境进行较为底层的隔离，用户自由度高，但技术复杂，实现代价较高。所述计算节点多实例化技术是通过互联网进行传输使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中。计算节点多实例化技术的隔离层次较高，实现代价较小，用户自由度低，但存在计算节点之间在资源上相互干扰的问题。
技术实现思路
有鉴于此，本专利技术提供了一种计算资源的分配方法和装置，有效实现计算资源的隔离及调度，同时保留计算机用户较高的自由度，且其实现代价低，可提高计算资源利用率和系统的灵活程度，可以允许用户自主选择多种语言实现了语言无关性。具体技术方案如下：一种计算资源的分配方法，该方法包括以下步骤：预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点；接收用户发送的请求，解析得到该用户的业务信息以及请求执行的用户代码，所述业务信息包括用户有权使用的计算组组别和用户有权使用的各计算组的配额属性；为不同的域名或网址设定流量转发的目标计算组，形成流量转发规则；根据子用户发送的请求，确定流量中的域名或网址，结合所述用户的业务信息，利用确定的域名或网址在所述流量转发规则中查询得到该域名或网址对应的目标计算组；查询目标计算组内的动态负载信息，根据查询到的动态负载信息，调整转发的目标计算组中的目标计算节点；将所述请求执行的用户代码发送到确定的目标计算节点执行。根据本专利技术一优选实施例，所述计算节点包括：普通计算节点、虚拟机计算节点或物理机计算节点。根据本专利技术一优选实施例，当所述计算节点为普通计算节点时，所述预先构建计算资源环境包括：查询各计算节点占用的资源分片信息，利用查找到的资源分片信息初始化计算节点，从而对计算节点进行资源限制，所述资源分片信息包括CPU、内存、上下行带宽值的使用量。根据本专利技术一优选实施例，所述查询各计算节点占用的资源分片信息，包括：利用CGROUPS脚本查询计算节点占用的资源分片信息。根据本专利技术一优选实施例，当所述计算节点为普通计算节点时，所述预先构建计算资源环境包括：为各计算节点指定不同的在运行时参考的根目录位置，在初始化计算节点时，将各计算节点在运行时参考的根目录位置更改为指定的根目录位置，从而对计算节点进行路径隔离。根据本专利技术一优选实施例，所述更改为指定的根目录位置，包括：利用CHROOT命令将各计算节点在运行时参考的根目录位置更改为指定的根目录位置。根据本专利技术一优选实施例，所述调整转发的目标计算组中的目标计算节点，还包括：根据各计算组的动态负载信息和配额属性进行调节所述目标计算节点的数量。根据本专利技术一优选实施例，所述动态负载信息包括各计算节点及各计算节点的权值，所述权值的大小与各计算节点的负载成反比关系；所述调整转发的目标计算组中的目标计算节点，包括：根据各计算节点的权值的大小确定转发的目标计算节点。一种计算资源的分配装置，该装置包括：计算环境构建模块，用于预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点；管理平台模块，用于接收用户发送的请求，解析得到该用户的业务信息以及请求执行的用户代码，传输至调度模块，所述业务信息包括用户有权使用的计算组组别和用户有权使用的各计算组的配额属性；流量路由模块，用于根据子用户发送的请求，确定流量中的域名或网址；调度模块，用于为不同的域名或网址设定流量转发的目标计算组，形成流量转发规则；以及，用于结合所述管理平台模块得到用户的业务信息，根据所述流量路由模块确定的域名或网址在所述流量转发规则中查询得到该域名或网址对应的目标计算组；查询目标计算组内的动态负载信息，并根据查询到的动态负载信息，调整转发的目标计算组中的目标计算节点，触发代码分发模块的代码发送至目标计算节点；代码分发模块，用于在受到所述调度模块的触发后，将所述用户代码发送到所述流量路由模块确定的目标计算节点执行。根据本专利技术一优选实施例，所述计算节点包括：普通计算节点、虚拟机计算节点或物理机计算节点。根据本专利技术一优选实施例，当所述计算节点为普通计算节点时，所述计算环境构建模块包括：资源限制设定单元，用于查询各计算节点占用的资源分片信息，利用查找到的资源分片信息初始化计算节点，从而对计算节点进行资源限制，所述资源分片信息包括CPU、内存、上下行带宽值的使用量。根据本专利技术一优选实施例，所述资源限制设定单元中利用CGROUPS脚本查询计算节点占用的资源分片信息。根据本专利技术一优选实施例，当所述计算节点为普通计算节点时，所述计算环境构建模块包括：路径隔离单元，用于为各计算节点指定不同的在运行时参考的根目录位置，在初始化计算节点时，将各计算节点在运行时参考的根目录位置更改为指定的根目录位置，从而对计算节点进行路径隔离。根据本专利技术一优选实施例，所述路径隔离单元利用CHROOT命令，将各计算节点在运行时参考的根目录位置更改为指定的根目录位置。根据本专利技术一优选实施例，所述调度模块调整转发的目标计算组中的目标计算节点，还包括：根据各计算组的动态负载信息和配额属性进行调节所述目标计算节点的数量。根据本专利技术一优选实施例，所述动态负载信息包括各计算节点及各计算节点的权值，所述权值的大小与各计算节点的负载成反比关系；所述调度模块调整转发的目标计算组中的目标计算节点，包括：根据各计算节点的权值的大小确定转发的目标计算节点。由以上技术方案可以看出，本专利技术提供计算资源的分配方法和装置，采用动态负载分配方式，将流量与计算节点进行有效匹配，实现计算资源的隔离及调度，同时保留计算机用户较高的自由度，且其实现代价低，提高了计算资源利用率和系统的灵活程度，可以允许用户自主选择多种语言实现了语言无关性。【附图说明】图1为本专利技术实施例一提供的计算资源的分配方法流程图；图2为本专利技术实施例一提供的计算环境示意图；图3为本专利技术实施例二提供的计算资源的分配装置示意图。【具体实施方式】为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。实施例一、图1是本实施例提供的一种计算资源的分配方法流程图，如图1所示，该方法包括：步骤S101、预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点。所述计算节点是一组计算服务的集合，可以抽象为IP地址：端口(IP：Port)的二元组。如图2所示，一个计算资源环境可以包括多个计算组，一个计算组是若干计算节点的逻辑组合。一般而言，同一个计算组内的计算节点是同构的。利用构建好的计本文档来自技高网...

【技术保护点】
一种计算资源的分配方法，其特征在于，该方法包括：预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点；接收用户发送的请求，解析得到该用户的业务信息以及请求执行的用户代码，所述业务信息包括用户有权使用的计算组组别和用户有权使用的各计算组的配额属性；为不同的域名或网址设定流量转发的目标计算组，形成流量转发规则；根据子用户发送的请求，确定流量中的域名或网址，结合所述用户的业务信息，利用确定的域名或网址在所述流量转发规则中查询得到该域名或网址对应的目标计算组；查询目标计算组内的动态负载信息，根据查询到的动态负载信息，调整转发的目标计算组中的目标计算节点；将所述请求执行的用户代码发送到确定的目标计算节点执行。

【技术特征摘要】
1.一种计算资源的分配方法，其特征在于，该方法包括：预先构建计算资源环境，确定所用的计算组以及各计算组中的计算节点；接收用户发送的请求，解析得到该用户的业务信息以及请求执行的用户代码，所述业务信息包括用户有权使用的计算组组别和用户有权使用的各计算组的配额属性；为不同的域名或网址设定流量转发的目标计算组，形成流量转发规则；根据子用户发送的请求，确定流量中的域名或网址，结合所述用户的业务信息，利用确定的域名或网址在所述流量转发规则中查询得到该域名或网址对应的目标计算组；所述子用户为所述用户的用户；查询目标计算组内的动态负载信息，根据查询到的动态负载信息，调整转发的目标计算组中的目标计算节点，根据各计算组的动态负载信息和配额属性进行调节所述目标计算节点的数量；将所述请求执行的用户代码发送到确定的目标计算节点执行。2.根据权利要求1所述的方法，其特征在于，所述计算节点包括：普通计算节点、虚拟机计算节点或物理机计算节点。3.根据权利要求2所述的方法，其特征在于，当所述计算节点为普通计算节点时，所述预先构建计算资源环境包括：查询各计算节点占用的资源分片信息，利用查找到的资源分片信息初始化计算节点，从而对计算节点进行资源限制，所述资源分片信息包括CPU、内存、上下行带宽值的使用量。4.根据权利要求3所述的方法，其特征在于，所述查询各计算节点占用的资源分片信息，包括：利用CGROUPS脚本查询计算节点占用的资源分片信息。5.根据权利要求2所述的方法，其特征在于，当所述计算节点为普通计算节点时，所述预先构建计算资源环境包括：为各计算节点指定不同的在运行时参考的根目录位置，在初始化计算节点时，将各计算节点在运行时参考的根目录位置更改为指定的根目录位置，从而对计算节点进行路径隔离。6.根据权利要求5所述的方法，其特征在于，所述更改为指定的根目录位置，包括：利用CHROOT命令将各计算节点在运行时参考的根目录位置更改为指定的根目录位置。7.根据权利要求1所述的方法，其特征在于，所述动态负载信息包括各计算节点及各计算节点的权值，所述权值的大小与各计算节点的负载成反比关系；所述调整转发的目标计算组中的目标计算节点，包括：根据各计算节点的权值的大小确定转发的目标计算节点。8.一种计算资源的分配装置，其特征在于，该装置包括：计算环境构建模块，用于预先构建计算资源环境，确定所用的计算组以及各计...

【专利技术属性】
技术研发人员：韩海，杜传赢，杜熙，逄胜东，肖伟，丁文斌，王继平，林士鼎，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：