MRS集群外的电力大数据分析平台搭建方法及装置制造方法及图纸

本发明专利技术公开一种MRS集群外的电力大数据分析平台搭建方法及装置，方法包括：根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备；将电力大数据分析平台时间与Master节点时间进行同步；在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。采用该方法搭建的分析平台是通用的、可复制的，并且可以用Docker容器打包成镜像直接在其他集群外节点使用，开发人员通过该方法能够快速实现数据中台所有资源访问能力，无需进行繁琐的环境部署，降低学习、开发成本。开发成本。开发成本。

【技术实现步骤摘要】
MRS集群外的电力大数据分析平台搭建方法及装置


[0001]本专利技术属于电力
，尤其涉及一种MRS集群外的电力大数据分析平台搭建方法及装置。

技术介绍

[0002]电力大数据是国家电网有限公司抢抓数字新基建机遇，推动电网数字化转型的重要手段。公司及各省电力公司均已建成数据中台，数据中台几乎汇集了公司内包括设备、运行、人资等各领域的所有数据并搭建了MRS集群。电网数据的管理模式为统一管理、按需申请，即公司统一存储、运维中台数据，各分公司按照各自需要向数据中台管理部门申请访问相应的数据表。
[0003]数据中台运维管理部门只负责存储、运维、管理数据，即当数据使用人员提出访问申请时，向用户赋予相应表的访问权限，不负责使用人员的数据接入、数据表访问、数据开发环境部署工作；另一方面，由于数据中台的数据存储结构复杂，既有存储在传统关系型数据库PostgresSql中的数据，又有存储在Hadoop分布式文件系统HDFS(Hadoop Distributed File System)中的数据，且各基层单位访问均处在数据中台的大数据集群外，需要在集群外部署服务客户端、配置环境、身份认证、数据开发困难重重，这也是制约基层单位开展大数据分析的工作的主要困难。

技术实现思路

[0004]本专利技术提供一种MRS集群外的电力大数据分析平台搭建方法及装置，用于至少解决上述技术问题之一。
[0005]第一方面，本专利技术提供一种MRS集群外的电力大数据分析平台搭建方法，包括：根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；将电力大数据分析平台时间与Master节点时间进行同步，所述同步包括根据命令yum
‑
y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为Mater节点时间同步服务器的IP地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
[0006]第二方面，本专利技术提供一种MRS集群外的电力大数据分析平台搭建装置，包括：准备模块，配置为根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；同步模块，配置为将电力大数据分析平台时间与Master节点时间进行同步，所述同
步包括根据命令yum
‑
y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为Mater节点时间同步服务器的IP地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；验证模块，配置为在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；集成模块，配置为分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
[0007]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的MRS集群外的电力大数据分析平台搭建方法的步骤。
[0008]第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本专利技术任一实施例的MRS集群外的电力大数据分析平台搭建方法的步骤。
[0009]本申请的MRS集群外的电力大数据分析平台搭建方法及装置，采用基础环境的准备、集群客户端的安装及认证及开发工具部署的步骤搭建电力大数据分析平台，使得电力大数据分析平台是通用的、可复制的，并且可以用Docker容器打包成镜像直接在其他集群外节点使用，开发人员通过该方法能够快速实现数据中台所有资源访问能力，无需进行繁琐的环境部署，降低学习、开发成本。
附图说明
[0010]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术一实施例提供的一种MRS集群外的电力大数据分析平台搭建方法的流程图；
[0012]图2为本专利技术一实施例提供的又一种MRS集群外的电力大数据分析平台搭建方法的流程图；
[0013]图3为本专利技术一实施例提供的一种MRS集群外的电力大数据分析平台搭建装置的结构框图；
[0014]图4是本专利技术一实施例提供的电子设备的结构示意图。
具体实施方式
[0015]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]请参阅图1，其示出了本申请的一种MRS集群外的电力大数据分析平台搭建方法的
流程图。
[0017]如图1所示，MRS集群外的电力大数据分析平台搭建方法具体包括以下步骤：
[0018]步骤S101，根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备。
[0019]需要说明的是，基础环境准备包括操作系统的安装、开发语言包(包括JDK或Python)的选择安装、组建安装工具的，其中操作系统版本为Linux，Redhat7.6及以上；服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换；Python环境支持Python/Python3，其中Python版本要求不低于2.6.6，最高不超过2.7.13，另外组件安装工具setuptools准备需要注意的是Python3开发环境的基本配置，版本要求为47.3.1。
[0020]步骤S102，将电力大数据分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，包括：根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；将电力大数据分析平台时间与Master节点时间进行同步，所述同步包括根据命令yum
‑
y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为Mater节点时间同步服务器的IP地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。2.根据权利要求1所述的一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，在根据MRS集群所部署的云环境，对电力大数据分析平台进行基础环境准备之后，所述方法还包括：获取电流大数据中台的数据，所述数据包括dws库数据以及hive库数据；对所述dws库数据和所述hive库数据进行缺失值处理和噪声数据处理；根据预设统计学方法和预设机器学习模型对处理后的所述dws库数据和/或所述hive库数据进行关联分析。3.根据权利要求1所述的一种MRS集群外的电力大数据分析平台搭建方法，其特征在于，所述在集群外节点安装MRS集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证包括：根据MRS集群的集群管理员账号在管理控制台中创建用户，并授予MRS服务对应权限，用新创建的用户登录控制台，切换至授权区域，验证权限；在管理控制台下载MRS客户端，发送至电力大数据分析平台服...

【专利技术属性】
技术研发人员：欧阳文华，蒙天骐，蔡木良，安义，徐在德，戚沁雅，陈琛，刘蓓，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：