本发明专利技术涉及大数据技术领域，具体提供了一种行业大数据平台适配方法，具有如下步骤：S1、搭建Ansible，完成集群监控管理工具安装；S2、行业大数据平台扩展国产化数据库；S3、数据迁移；S4、监控管理界面中切换国产化数据库。与现有技术相比，本发明专利技术对其他数据库环境下行业大数据平台的搭建具有很好的借鉴价值。数据平台的搭建具有很好的借鉴价值。数据平台的搭建具有很好的借鉴价值。
【技术实现步骤摘要】
一种行业大数据平台适配方法及装置
[0001]本专利技术涉及大数据
，具体提供一种行业大数据平台适配方法及装置。
技术介绍
[0002]当今世界信息技术成为国际竞争的工具，信息战极大的促进了国家信息产业的发展。数据库系统作为现代信息系统中最复杂、最关键的基础软件之一，是信息技术的关键一环，需要单独发展一个完整的信息产业链，实现自主创新，不受制于人。故全球形势驱动软件自主可控，数据库是其中的关键环节。国家政策已经将信息安全提升到国家战略层面。其次，安全、稳定、高效运行的数据库系统对于政企业务的运转至关重要。当规模扩张、业务拓广、服务多元化后，有效的数据管理是相关部门与企业持续发展的保证。
[0003]传统集中型数据库，成本高、扩容难、依赖资源堆砌来保证数据库可用性和扩展性，这种方案正面临越来越大的压力。
[0004]大数据时代，各行各业无时无刻不在产生海量多样的数据，数据已经逐渐成为一种生产资料，大数据已成为行业发展新的推动力。在海量数据场景的需求下，传统数据库技术已无法满足其海量存储、高效处理和实时挖掘数据潜在价值的要求，迫切需要一套成熟稳定、高效便捷的大数据基础软件产品。
技术实现思路
[0005]本专利技术是针对上述现有技术的不足，提供一种实用性强的行业大数据平台适配方法。
[0006]本专利技术进一步的技术任务是提供一种设计合理，安全适用的行业大数据平台适配装置。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种行业大数据平台适配方法，具有如下步骤：
[0009]S1、搭建Ansible，完成集群监控管理工具安装；
[0010]S2、行业大数据平台扩展国产化数据库；
[0011]S3、数据迁移；
[0012]S4、监控管理界面中切换国产化数据库。
[0013]进一步的，在步骤S1中，进一步包括：
[0014]S101、安装操作系统；
[0015]S102、部署Ansible服务；
[0016]S103、集群监控管理工具的安装。
[0017]进一步的，在步骤S101中，通过手动干预的方式完成麒麟V10操作系统的安装和硬盘格式化挂载；
[0018]在步骤S102中，基于预定义的集群角色模板和配置文件，其中包括管理节点和数据节点，管理节点用于安装集群监控管理的工具，在所述管理节点通过Yum管理工具安装
Ansible服务；
[0019]在步骤S103中，Ansible基于预定义的脚本内容配置时钟服务器、Java环境、Yum镜像源、免密信息和集群节点的角色，生成Ansible集群安装playbook剧本文件，按照剧本内容完成集群监控管理工具Ambari
‑
server和心跳传输器Ambari
‑
agent、关系型数据库MySQL的安装和启动。
[0020]进一步的，在步骤S2中，进一步包括：
[0021]S201、安装行业大数据平台组件；
[0022]S202、在行业大数据平台与数据库连接器的类型逻辑中，通过调度DatabaseType接口，添加DM数据库类型，完成数据库类型的扩展；
[0023]S203、在行业大数据平台与数据库连接器的JDBC驱动配置逻辑中，通过提前配置、手动干预的策略完成国产化数据库的JDBC驱动的扩展配置。
[0024]进一步的，在步骤S201中，安装行业大数据平台组件，在预先安装完成的Ambari
‑
server页面中，通过手动干预的方式完成组件配置自动生成Ambari
‑
server指令脚本，并由Ambari
‑
agent在集群节点中执行该脚本和上报状态完成组件安装。
[0025]进一步的，在步骤S3中，行业大数据平台的元数据已存储到预先安装的MySQL数据库中，利用国产化数据库数据迁移工具将MySQL中的元数据迁移至国产化数据库环境中，在MySQL中将timestamp更改为datetime格式；
[0026]在DM的数据迁移工具DTS中创建迁移任务，选择迁移方式为MySQL到DM8，并配置MySQL和DM数据库连接信息，完成Ambari
‑
server、Ranger、Hive、Kafka、Dataspace和Hue组件元数据的迁移。
[0027]进一步的，在步骤S3中，采用手动取消DM数据库的自增主键功能，在源码Table接口中取消SequenceGenerator和GeneratedValue自增队列，引入随机函数random生成随机数作为主键插入数据库中。
[0028]进一步的，在步骤S4中，进一步包括：
[0029]S401、重新配置Ambari
‑
server；
[0030]S402、行业大数据平台与数据库连接器测试。
[0031]进一步的，在步骤S401中，集群安装后，监控管理组件Ambari
‑
server默认连接MySQL的JDBC驱动，将Ambari
‑
server配置文件中的MySQL的JDBC驱动修改为国产化数据库的JDBC驱动，并重新启动完成监控管理组件的数据库切换；
[0032]在步骤S402中，行业大数据平台与数据库连接器测试，在Ambari
‑
server页面中，通过手动干预的方式重新配置组件的DM数据库连接信息，DM JDBC串、UserName、Password、DriverClassName，并通过点击测试连接按钮来验证行业大数据平台与数据库连接器是否成功，并在监控管理界面中重启组件完成数据库切换。
[0033]一种行业大数据平台适配装置，包括：至少一个存储器和至少一个处理器；
[0034]所述至少一个存储器，用于存储机器可读程序；
[0035]所述至少一个处理器，用于调用所述机器可读程序，执行一种行业大数据平台适配方法。
[0036]本专利技术的一种行业大数据平台适配方法及装置和现有技术相比，具有以下突出的有益效果：
[0037]本专利技术采用Ansible自动化部署工具快速部署行业大数据平台和MySQL数据库，MySQL数据传输到国产化数据库中，行业大数据平台监控管理页面中完成国产化数据库配置和切换。该方法对其他数据库环境下行业大数据平台的搭建具有很好的借鉴价值。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]附图1是一种行业大数据平台适配方法的流程示意图；
[0040]附图2是一种行业大数据平台适配装置的框架示意图。
具体实施方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种行业大数据平台适配方法，其特征在于，具有如下步骤：S1、搭建Ansible，完成集群监控管理工具安装；S2、行业大数据平台扩展国产化数据库；S3、数据迁移；S4、监控管理界面中切换国产化数据库。2.根据权利要求1所述的一种行业大数据平台适配方法，其特征在于，在步骤S1中，进一步包括：S101、安装操作系统；S102、部署Ansible服务；S103、集群监控管理工具的安装。3.根据权利要求2所述的一种行业大数据平台适配方法，其特征在于，在步骤S101中，通过手动干预的方式完成麒麟V10操作系统的安装和硬盘格式化挂载；在步骤S102中，基于预定义的集群角色模板和配置文件，其中包括管理节点和数据节点，管理节点用于安装集群监控管理的工具，在所述管理节点通过Yum管理工具安装Ansible服务；在步骤S103中，Ansible基于预定义的脚本内容配置时钟服务器、Java环境、Yum镜像源、免密信息和集群节点的角色，生成Ansible集群安装playbook剧本文件，按照剧本内容完成集群监控管理工具Ambari
‑
server和心跳传输器Ambari
‑
agent、关系型数据库MySQL的安装和启动。4.根据权利要求3所述的一种行业大数据平台适配方法，其特征在于，在步骤S2中，进一步包括：S201、安装行业大数据平台组件；S202、在行业大数据平台与数据库连接器的类型逻辑中，通过调度DatabaseType接口，添加DM数据库类型，完成数据库类型的扩展；S203、在行业大数据平台与数据库连接器的JDBC驱动配置逻辑中，通过提前配置、手动干预的策略完成国产化数据库的JDBC驱动的扩展配置。5.根据权利要求4所述的一种行业大数据平台适配方法，其特征在于，在步骤S201中，安装行业大数据平台组件，在预先安装完成的Ambari
‑
server页面中，通过手动干预的方式完成组件配置自动生成Ambari
‑
server指令脚本，并由Ambari
‑
agent在集群节点中执行该脚本和上报状态完成组件安装。6.根据权利要求5所述的一种行业大数据平台适配方法，其特征在...
【专利技术属性】
技术研发人员：王慧，陈焕新，李存冰，刘金革，胡焕钢，路国隋，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。