MRS集群外的电力大数据分析平台搭建方法及装置制造方法及图纸

本发明专利技术公开一种MRS集群外的电力大数据分析平台搭建方法及装置，方法包括：根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备；将电力大数据分析平台时间与Master节点时间进行同步；在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。采用该方法搭建的分析平台是通用的、可复制的，并且可以用Docker容器打包成镜像直接在其他集群外节点使用，开发人员通过该方法能够快速实现数据中台所有资源访问能力，无需进行繁琐的环境部署，降低学习、开发成本。开发成本。开发成本。

【技术实现步骤摘要】
MRS集群外的电力大数据分析平台搭建方法及装置


[0001]本专利技术属于电力
，尤其涉及一种MRS集群外的电力大数据分析平台搭建方法及装置。

技术介绍

[0002]电力大数据是国家电网有限公司抢抓数字新基建机遇，推动电网数字化转型的重要手段。公司及各省电力公司均已建成数据中台，数据中台几乎汇集了公司内包括设备、运行、人资等各领域的所有数据并搭建了MRS集群。电网数据的管理模式为统一管理、按需申请，即公司统一存储、运维中台数据，各分公司按照各自需要向数据中台管理部门申请访问相应的数据表。
[0003]数据中台运维管理部门只负责存储、运维、管理数据，即当数据使用人员提出访问申请时，向用户赋予相应表的访问权限，不负责使用人员的数据接入、数据表访问、数据开发环境部署工作；另一方面，由于数据中台的数据存储结构复杂，既有存储在传统关系型数据库PostgresSql中的数据，又有存储在Hadoop分布式文件系统HDFS(Hadoop Distributed File System)中的数据，且各基层单位访问均处在数据中台的大数据集群外，需要在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，包括：根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；将电力大数据分析平台时间与Master节点时间进行同步，所述同步包括根据命令yum
‑
y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为Mater节点时间同步服务器的IP地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。2.根据权利要求1所述的一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，在根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备之后，所述方法还包括：获取电流大数据中台的数据，所述数据包括dws库数据以及hive库数据；对所述dws库数据和所述hive库数据进行缺失值处理和噪声数据处理；根据预设统计学方法和预设机器学习模型对处理后的所述dws库数据和/或所述hive库数据进行关联分析。3.根据权利要求1所述的一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，所述在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证包括：根据MRS集群的集群管理员账号在管理控制台中创建用户，并授予MRS服务对应权限，用新创建的用户登录控制台，切换至授权区域，验证权限；在管理控制台下载MRS客户端，发送至电力大数据分析平台服...

【专利技术属性】
技术研发人员：欧阳文华，蒙天骐，蔡木良，安义，徐在德，戚沁雅，陈琛，刘蓓，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：