大数据平台资源管理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及金融科技领域，并公开了一种大数据平台资源管理方法，包括：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过引擎管理服务器将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群。本发明专利技术还公开了一种大数据平台资源管理装置、设备和可读存储介质。本发明专利技术通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。

【技术实现步骤摘要】
大数据平台资源管理方法、装置、设备及可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及金融行业的大数据平台资源管理方法、装置、设备及可读存储介质。
技术介绍
随着计算机技术的发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，越来越多的技术应用于金融行业。金融行业的开发人员，通常会使用大数据开发平台ApacheHadoopYARN，这是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop集群中充当资源管理和任务调度的框架。在现有的Hadoop生态组件中，用户的计算资源使用，大都要依赖yarn组件资源池(pool)，每个pool里有一定量的资源，每个用户属于某个pool，其提交的作业可使用这个pool中的资源。资源的分配主要是依据CPU虚拟核数和内存量。在一个统一的大数据平台上，个别组件单独对应多租户管理，采用的队列资源池的资源管理方式比较粗放，在同一个队列的用户存在资源竞争关系时，没有地方可以单独设置用户最大使用资源大本文档来自技高网...

【技术保护点】
1.一种大数据平台资源管理方法，其特征在于，所述大数据平台资源管理方法包括如下步骤：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。

【技术特征摘要】
1.一种大数据平台资源管理方法，其特征在于，所述大数据平台资源管理方法包括如下步骤：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。2.如权利要求1所述的大数据平台资源管理方法，其特征在于，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤包括：判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。3.如权利要求2所述的大数据平台资源管理方法，其特征在于，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法还包括：若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或若所述第一应用资源中存在所述组件类别可用的第二应用资源，或若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。4.如权利要求3所述的大数据平台资源管理方法，其特征在于，所述全局锁为分布式锁。5.如权利要求2所述的大数据平台资源管理方法，其特征在于，所述若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端的步骤包括：若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器根据所述实例运行资源大小，启动对应的引擎客户端。6.如权利要求2所述的大数据平台资源管理方法，其特征在于，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法包括：若所述统一资源管理服务器中未存在所述用户名可用的第一应用资源，或若所述第一应用资源中未存在所述组件类别可用的第二应用资源，或若所述第二应用资源中未存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端不满足所述资源申请条件，且将所述用户端不满足资源申请条件对应的第二信息返回至用户端。7.如权利要求1至6中任意一项所述的大数据平台资源管理方法，其特征在于，所述在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数的步骤包括：在统...

【专利技术属性】
技术研发人员：刘有，尹强，王和平，黄山，杨峙岳，邸帅，卢道和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44