数据迁移方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开一种数据迁移方法、装置、计算机设备及存储介质。该方法包括：获取基于迁移对象形成的增量数据迁移请求；基于增量数据迁移请求，在客户端显示与迁移对象对应的数据配置界面，数据配置界面包括数据配置选项；基于数据配置选项，获取与迁移对象对应的迁移参数；基于迁移参数，获取迁移配置表，将迁移配置表发送到目标同步组件；基于迁移配置表，采用目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将目标迁移数据表发送给目标数据库。本发明专利技术提供的数据迁移方法用于实现在客户端显示有数据配置界面，以便将源数据库的数据简单便捷地迁移到目标数据库中，实现直观且有针对性迁移数据，保证数据迁移效率、降低数据迁移难度。

【技术实现步骤摘要】
数据迁移方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据迁移方法、装置、计算机设备及存储介质。
技术介绍
自随着大数据技术的发展及业务的深入，业务对数据产出的时效性要求也越来越高，往往需要分钟/秒级别的数据同步，如实时热点新闻，活动开展期间的商品的实时销量等，原有的数据处理方式是以批处理为主，这种数据处理方法同步速度慢，已经不能支撑同步时效性高的场景，各公司都在探索实时性更高的同步方案。而且，现有技术中，数据迁移运维操作复杂，往往只能专业能力较强的开发人员进行数据迁移处理的。
技术实现思路
本专利技术实施例提供一种数据迁移方法、装置、计算机设备及存储介质，以解决数据处理方法同步速度慢和数据迁移运维操作复杂的问题。一种数据迁移方法，包括：获取基于迁移对象形成的增量数据迁移请求；基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；>基于所述迁移参数，本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括数据平台执行的如下步骤：/n获取基于迁移对象形成的增量数据迁移请求；/n基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；/n基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；/n基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；/n基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括数据平台执行的如下步骤：
获取基于迁移对象形成的增量数据迁移请求；
基于所述增量数据迁移请求，在客户端显示与所述迁移对象对应的数据配置界面，所述数据配置界面包括数据配置选项；
基于所述数据配置选项，获取与所述迁移对象对应的迁移参数；
基于所述迁移参数，获取迁移配置表，将所述迁移配置表发送到目标同步组件；
基于所述迁移配置表，采用所述目标同步组件对增量数据进行同步处理，获取目标迁移数据表，将所述目标迁移数据表发送给目标数据库。


2.如权利要求1所述的数据迁移方法，其特征在于，在所述获取基于迁移对象形成的增量数据迁移请求之前，所述方法还包括：
实时监控源数据库，若源数据库获取到增量数据，则基于所述增量数据生成新增提醒信息，将所述新增提醒信息发送给客户端。


3.如权利要求1所述的数据迁移方法，其特征在于，所述数据配置选项包括数据源选项和待迁移信息选项；
所述基于所述数据配置选项，获取与所述迁移对象对应的迁移参数，包括：
基于所述数据源选项显示至少一个原始数据库，基于至少一个所述原始数据库，确定源数据库和源数据库中迁移对象的存储地址；
基于所述待迁移信息选项对应的至少一个原始字段和存储地址，从所述源数据库中获取迁移字段；
将所述源数据库、存储地址和迁移字段确定为迁移参数。


4.如权利要求3所述的数据迁移方法，其特征在于，所述基于所述迁移参数，获取迁移配置表，包括：
确定所述迁移字段对应的字段属性；
若所述迁移字段对应的字段属性为敏感字段，则采用加密算法对所述迁移字段进行加密，获取迁移密文，基于所述源数据库、存储地址和迁移密文获取迁移配置表；
若所述迁移字段对应的字段属性不为敏感字段，则基于所述源数据库、存储地址和迁移字段获取迁移配置表。


5.如权利要求1所述的数据迁移方法，其特征在于，所述目标同步组件包括canal组件和kudu组件；
所述用所述目标同步组件对所述迁移配置表进行同步处理，获取目标迁移数据，包括：
将所述迁...

【专利技术属性】
技术研发人员：王伟，孙圣开，
申请(专利权)人：土巴兔集团股份有限公司，
类型：发明
国别省市：广东;44