基于网页界面的跨集群数据迁移方法和装置制造方法及图纸

技术编号:24756095 阅读:38 留言:0更新日期:2020-07-04 09:09
本公开提供了一种基于网页界面的跨集群数据迁移方法,包括:响应于用户请求,展示网页界面,网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框,响应于用户触发执行迁移按钮,从迁移信息输入框中获取源数据库集群信息、目标数据库集群信息以及表名称信息,基于源数据库集群信息、目标数据库集群信息以及表名称信息,确定源数据表和目标数据表,以及将源数据表中的数据迁移至目标数据表中,并在结果展示框中展示源数据表中的数据的迁移进度。

Cross cluster data migration method and device based on web interface

【技术实现步骤摘要】
基于网页界面的跨集群数据迁移方法和装置
本公开涉及计算机
,更具体地,涉及一种基于网页界面的跨集群数据迁移方法、装置、计算机系统和计算机可读介质。
技术介绍
随着网络时代的快速发展,大数据越来越多地应用于工作和生活等诸多场景,为了更好的存储大数据,各种各样的数据库应运而生。例如,Hbase数据库是一种高可靠性、高性能、面向列、可伸缩的分布式列式存储系统。利用Hbase技术可以在服务器上搭建大规模结构化的存储集群,由于Hbase技术在处理大数据问题上具有较大的优势,越来越多地企业机构选用Hbase数据库集群对数据进行存储和处理。在实现本专利技术构思的过程中,专利技术人发现相关技术中至少存在如下问题:对于数据库的操作通常需要业务人员熟练掌握数据库的使用语句,对业务人员的技术背景要求过高,且操作不够便捷。
技术实现思路
有鉴于此,本公开提供了一种基于网页界面的跨集群数据迁移方法、装置、计算机系统和计算机可读介质。本公开的一个方面提供了一种基于网页界面的跨集群数据迁移方法,包括:响应于用户请求,展示网页界面,所本文档来自技高网...

【技术保护点】
1.一种基于网页界面的跨集群数据迁移方法,包括:/n响应于用户请求,展示网页界面,所述网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框;/n响应于用户触发所述执行迁移按钮,从所述迁移信息输入框中获取源数据库集群信息、目标数据库集群信息以及表名称信息;/n基于所述源数据库集群信息、目标数据库集群信息以及表名称信息,确定源数据表和目标数据表;以及/n将所述源数据表中的数据迁移至所述目标数据表中,并在所述结果展示框中展示所述源数据表中的数据的迁移进度。/n

【技术特征摘要】
1.一种基于网页界面的跨集群数据迁移方法,包括:
响应于用户请求,展示网页界面,所述网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框;
响应于用户触发所述执行迁移按钮,从所述迁移信息输入框中获取源数据库集群信息、目标数据库集群信息以及表名称信息;
基于所述源数据库集群信息、目标数据库集群信息以及表名称信息,确定源数据表和目标数据表;以及
将所述源数据表中的数据迁移至所述目标数据表中,并在所述结果展示框中展示所述源数据表中的数据的迁移进度。


2.根据权利要求1所述的方法,其中,所述将所述源数据表中的数据迁移至所述目标数据表中,包括:
从所述源数据表中读取数据并写入中间节点中;以及
从所述中间节点中读取数据并写入目标数据表中。


3.根据权利要求2所述的方法,其中,所述从所述中间节点中读取数据并写入目标数据表中,包括:
按行读取所述中间节点中的数据;
基于所述目标数据表的表结构对读取的每行数据进行校验;以及
将通过所述校验的数据写入所述目标数据表中。


4.根据权利要求3所述的方法,其中,所述将通过所述校验的数据写入所述目标数据表中,包括:
将通过所述校验的数据存储在至少一个分组中;
将所述至少一个分组中的数据写入所述目标数据表中。


5.根据权利要求4所述的方法,其中,通过多个校验线程中的每个校验线程并发执行:
所述按行读取所述中间节点中的数据,基于所述目标数据表的表结构对读取的每行数据进行校验,将通过所述校验的数据存储在至少一个分组中的操作。


6.根据权利要求4所述的方法,其中,所述将所述至少一个分组中的数据写入所述目标数据表中,包括:
通过至少一个入库线程将所述至少一个分组中的数据导入所述目标数据表的接口;
通过所述接口将所述通过校验的数据写入所述目标数据表中。


7.根据权利要求1所述的方法,其中,
所述网页界面中还包括迁移秘钥输入框;
所述方法还包括:对所述迁移秘钥输入框中的秘钥进行校验,在所述秘钥通过校验的情况下,将所述源数据表中的数据迁移至所述目标数据表中。


8.根据权利要求1所述的方法,其中,所述迁移进度包括以下至少一种:
所述源数据表中的数据总行数;
已完成迁移的数据行数;
迁移失败的数据行数;
已执行时长;或者
剩余执行时长。


9.一种基于网页界面的跨集群数据迁移装置,包括:
展示模块,用于响应于用户请求,展示网页界面,所述网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框;
获取模块,用于响应于用户...

【专利技术属性】
技术研发人员:张世瑛赵吉昆梁晔华杨嘉欣
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1