一种为数据中心提供多租户持久化任务记录的方法及系统技术方案

本发明专利技术公开一种为数据中心提供多租户持久化任务记录的方法及系统，涉及数据的访问存储技术领域；包括持久化存储设备、历史记录服务器及集群代理服务器，持久化存储设备对短暂运行集群关联的任务历史和/或日志文件进行持久化存储，集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，历史记录服务器通过访问持久化存储设备对用户提供用户请求的与任务有关信息的任务历史和/或日志文件信息。

A method and system to provide multi tenant persistent task record for data center

【技术实现步骤摘要】
一种为数据中心提供多租户持久化任务记录的方法及系统
本专利技术公开一种方法及系统，涉及数据的访问存储
，具体地说是一种为数据中心提供多租户持久化任务记录的方法及系统。
技术介绍
通常，数据处理中心可以通过自动缩放降低成本，比如集群可以通过Yarn或Presto来管理并运行Spark，Tez，Map-Reduce，Presto-Query等任务的，并根据工作量需求和成本考虑，在不工作一段时间后自动关闭。节省成本的同时，却产生容易无法根据日志排查错误的问题，例如，一个正在运行的Hadoop集群因为一段时间内的不工作而关闭，JobHistoryServer可能不再运行，导致用户无法从中得到能帮助排错的日志。
技术实现思路
本专利技术针对现有技术的问题，提供一种为数据中心提供多租户持久化任务记录的方法及系统，在数据中心被自动关闭的情况下，依然可以查询日志或历史记录，在一些情况下，系统包括可以被配置存储任务记录，配置以及集群日志文件的持久化存储设备(Persistence)；被配置用于响应日志或历史记录请求的结束任务的历史记录服本文档来自技高网...

【技术保护点】
1.一种为数据中心提供多租户持久化任务记录的系统，其特征是包括持久化存储设备、历史记录服务器及集群代理服务器，/n持久化存储设备对短暂运行集群关联的任务历史和/或日志文件进行持久化存储，/n集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，/n历史记录服务器通过访问持久化存储设备对用户提供用户请求的与任务有关信息的任务历史和/或日志文件信息。/n

【技术特征摘要】
1.一种为数据中心提供多租户持久化任务记录的系统，其特征是包括持久化存储设备、历史记录服务器及集群代理服务器，
持久化存储设备对短暂运行集群关联的任务历史和/或日志文件进行持久化存储，
集群代理服务器接收用户与任务有关信息的请求，判断所述的请求是否与终止的集群上处理或运行过的任务有关；若有关则将用户的请求定向到相应历史记录服务器，
历史记录服务器通过访问持久化存储设备对用户提供用户请求的与任务有关信息的任务历史和/或日志文件信息。


2.根据权利要求1所述的系统，其特征是所述集群代理服务器将用户的请求定向到相应历史记录服务器前，对用户的请求执行授权操作。


3.根据权利要求2所述的系统，其特征是集群代理服务器通过对比用户请求随附的服务器主机名称信息与集群节点信息完成用户请求的授权。


4.根据权利要求2或3所述的系统，其特征是所述集群代理服务器对已被授权的用户请求执行认证操作，再将用户的请求定向到相应历史记录服务器。


5.根据权利要求4所述的系统，其特征是所述集群代理服务器通过cookies来确定用户的请求是否来自一...

【专利技术属性】
技术研发人员：张峻旗，刘牧，苑晓龙，
申请(专利权)人：山东汇贸电子口岸有限公司，
类型：发明
国别省市：山东;37