一种配置化的多数据源自动数据迁移方法及系统技术方案

本发明专利技术提供一种配置化的多数据源自动数据迁移系统，涉及数据源数据迁移技术领域。该AI识别体育运动轨迹数据分析系统，包括标志文件检测模块、转移方式确定模块、数据转移模块、标志文件写入模块、加密模块和报警模块，所述系统还包括终端和移动存储设备；标志文件检测模块，用于响应于移动存储设备与终端的连接，检测移动存储设备中是否存在转移标志文件。本发明专利技术中，该方法在逻辑上支持多个不同类型的数据源，如关系型数据库、大数据数据库等等。因此对于发起数据查询请求的系统来说，无需代码改造，仅通过HTTP请求就可查询不同类型数据源的数据，大大减少了开发的工作量，降低投入的成本。本。本。

【技术实现步骤摘要】
一种配置化的多数据源自动数据迁移方法及系统


[0001]本专利技术涉及数据源数据迁移
，具体为一种配置化的多数据源自动数据迁移方法及系统。

技术介绍

[0002]随着软件系统不断地产生新的数据，存储这些数据的数据库系统也变得越来越庞大，随之而来的是数据库系统性能的降低、备份数据所耗费的时间提高、存储数据的磁盘增加及其带来的成本的提升，这些无一都是需要迫切解决的问题。所以，这个时候对数据库系统进行分库分表就显得尤为重要。
[0003]然而，传统的人工备份、迁移数据耗时耗力，极其繁琐。为了解决这些问题，本申请针对水平分表设计出了一套能够自动完成数据迁移的方法及系统。
[0004]基于此，本领域技术人员提供了一种配置化的多数据源自动数据迁移方法及系统，以解决上述
技术介绍
中提出的问题。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种配置化的多数据源自动数据迁移方法及系统，该方法在逻辑上支持多个不同类型的数据源，如关系型数据库、大数据数据库等等。因此对于发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配置化的多数据源自动数据迁移系统，其特征在于，包括标志文件检测模块、转移方式确定模块、数据转移模块、标志文件写入模块、加密模块和报警模块，所述系统还包括终端和移动存储设备；标志文件检测模块，用于响应于移动存储设备与终端的连接，检测移动存储设备中是否存在转移标志文件；转移方式确定模块，用于当移动存储设备中存在转移标志文件时，基于转移标志文件，确定终端与移动存储设备之间的数据转移方式，数据转移方式至少包括：将终端的数据自动写入移动存储设备；数据转移模块，用于根据所确定的数据转移方式，执行终端与移动存储设备之间的数据转移；标志文件写入模块，用于将转移标志文件写入移动存储设备；加密模块，用于对移动存储设备进行读取加密；报警模块，用于当成功执行终端与移动存储设备之间的数据转移后，生成警示信号。2.根据权利要求1所述的一种配置化的多数据源自动数据迁移系统，其特征在于，所述转移方式确定模块还用于验证转移标志文件；当转移标志文件为第一转移标志文件时，确定终端与移动存储设备之间的数据转移方式为将终端的数据自动写入移动存储设备；当转移标志文件为第二转移标志文件时，响应于用户选择操作，确定终端与移动存储设备之间的数据转移方式为将终端的数据写入移动存储设备或将移动存储设备的数据写入终端。3.根据权利要求1所述的一种配置化的多数据源自动数据迁移系统，其特征在于，所述数据转移模块还用于当所确定的数据转移方式为将移动存储设备的数据写入终端时，生成密码验证界面，对经密码验证界面输入的密码进行验证；当验证通过时，执行自移动存储设备向终端的数据转移。4.根据权利要求1所述的一种配置化的多数据源自动数据迁移系统，其特征在于，所述数据迁移系统拥有两个服务：迁移服务和查询服务；1)迁移服务负责根据配置的规则，定时、自动执行数据迁移逻辑，迁移服务使用任务调度框架，支持多机器集群部署，支持根据不同机器可用计算资源动态分配数据迁移任务，当有机器发生宕机时能够自动绕开故障节点。在迁移时，迁移服务会开启事务、开启多线程，按批次对数据做迁移，迁移完成后，会对数据做一致性校验，对于数据不一致或其它异常的情况，由事务进行回滚；2)查询服务负责根据外部...

【专利技术属性】
技术研发人员：庄展鹏，
申请(专利权)人：上海通联金融服务有限公司，
类型：发明
国别省市：