【技术实现步骤摘要】
本专利技术涉及电子技术，特别涉及一种实现海量数据可配置自动迁移的方法及系统。
技术介绍
1、数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。数据可以是连续的值，随着数字化转型的大趋势，各类企业、单位和机构部门研发越来越多的数字化产品。在数字化产品投产前，需要将生产环境的相关数据迁移至演练环境进行程序演练，以预防投产方案和程序可能存在的缺陷和问题。
2、现在传统的方案是通过手工配置读取sql或者接口读取逻辑，从技术层面上加载数据源和接口调用进行数据读取，然后通过手工执行insert命令，完成数据读取和保存。由于不同企业数据库和接口不统一，造成每户企业都需要单独定制和开发。
3、目前的方案存在以下缺点：
4、1、针对不同数据源需要定制化开发，造成开发和升级成本增加；
5、2、需要人工进行干预操作，无法实现实时数据迁移，造成数据不统一；
6、3、针对海量数据的查询和同步无法在特定的时间内完成，造成平台假死、数据丢失等现象；
7、4、直接通过sql方式进行的复制和转移数据，存在数据一致性的问题；
8、5、在数据迁移过程中，数据容易收到外部攻击和内部意外操作的影响，导致数据泄露、非法操作等现象；
9、6、数据迁移时需要停止业务，对业务的持续性和可用性造成严重影响，造成迁移不及时，系统无法正常运行。
10、上述列举的几项是目前存在的缺点，针对以上缺点，我们希望设计一种通用海量数据自动迁移的工具，
技术实现思路
1、本专利技术的目的是提供一种实现海量数据可配置自动迁移的方法及系统，具有对于平台系统之间海量数据的自定义配置，自动实现数据之间类型和格式转换，并且支持按照不同业务逻辑动态调整数据读取和数据写入规则，彻底解决了海量数据迁移难，数据易丢失的问题。
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：一种实现海量数据可配置自动迁移的方法，包括以下步骤：
3、s100，数据源管理用于数据源类型、数据源名称、用户名、密码、数据源url和数据源驱动的选择和配置，检验数据源是否正常；
4、s200，数据转换规则配置实现字段类型配置，编辑规则编码、规则名称、sql函数、自定义模板、数据字典转换和字符串拼接；
5、s300，任务构建用于配置数据来源，实现任务编码、任务名称、数据源类型、数据库、数据表和过滤字段的配置；
6、s400，数据转换配置，展示数据表完整字段配置字段规则，是否处理空格、大小写转换、日期格式化、字符串截取和字符串替换等十几种规则类型；
7、s500，sql预览，根据字段和查询条件配置展示sql语句，进行sql格式化和编辑sql，实现手工封装sql语句；
8、s600，数据输出资源配置，用于数据源类型、数据源、数据表和字段映射，实现输入字段和输出字段的对照关系匹配，并展示字段名称，字段类型；
9、s700，参数配置，用于导入方式、匹配字段、前置sql和查询条件自定义配置，灵活配置操作页面查询条件是否展示，无需独立开发页面查询条件和查询页面。
10、在一个优选的实施方式中，步骤s300具体包括以下内容：
11、s301，任务构建实现数据输入模板配置；
12、s302，可选数据源类型，数据源，数据表和数据过滤条件。
13、在一个优选的实施方式中，步骤s400具体包括以下内容：
14、s401，数据转换实现数据表字段获取展示；
15、s402，通过配置字段规则，绑定字段计算关系，自定义计算逻辑，同时，可以配置默认值，方便数据输入时进行业务逻辑计算。
16、在一个优选的实施方式中，步骤s500具体包括以下内容：
17、s501，任务构建实现sql预览；
18、s502，通过输入模板和数据转换配置生成sql，提供sql修改、预览、格式化功能。
19、在一个优选的实施方式中，步骤s600具体包括以下内容：
20、s601，任务构建实现数据输出模板盘纸；
21、s602，可选数据类型，数据源，数据表，配置字段映射关系，绑定输入参数和输出参数的对照。
22、在一个优选的实施方式中，步骤s700具体包括以下内容：
23、s701，任务构建实现参数配置模板，可选写入方式；
24、s702，配置写入之前执行的前置sql，配置更新规则，实现写入操作。
25、在一个优选的实施方式中，所述步骤s700中，导入方式为插入、更新或插入并更新，前置sql为执行输出之前执行的sql。
26、本专利技术还提出了用于实施以上任一项所述的一种实现海量数据可配置自动迁移的方法的系统，包括：
27、数据源管理模块，用于数据源类型、数据源名称、用户名、密码、数据源url和数据源驱动的选择和配置，检验数据源是否正常；
28、数据转换配置模块，用于字段类型配置，编辑规则编码、规则名称、sql函数、自定义模板、数据字典转换和字符串拼接；
29、任务构建模块，用于配置数据来源，实现任务编码、任务名称、数据源类型、数据库、数据表和过滤字段的配置；
30、展示数据模块，展示数据表完整字段配置字段规则，是否处理空格、大小写转换、日期格式化、字符串截取和字符串替换等十几种规则类型；
31、sql预览模块，用于根据字段和查询条件配置展示sql语句，进行sql格式化和编辑sql，实现手工封装sql语句；
32、数据输出资源配置模块，用于数据源类型、数据源、数据表和字段映射，实现输入字段和输出字段的对照关系匹配，并展示字段名称，字段类型；
33、参数配置模块，用于导入方式、匹配字段、前置sql和查询条件自定义配置，灵活配置操作页面查询条件是否展示，无需独立开发页面查询条件和查询页面。
34、本专利技术的有益效果是：
35、1、对不同平台，不同数据库，不同接口类型，不同数据格式的数据进行自动迁移，并且能够自定义配置字段对照、数据格式转换类型、自定义任务调度，形成一套完整的标准化的工具；
36、2、迁移工具提供可视化配置界面，可以通过自定义配置的形式完成任务设置，解放了开发人员编写代码的工作量，可以更加灵活的适配不同环境下的数据迁移工作；
37、3、可以支持数据库和接口之间海量数据迁移，实现数据字段的灵活配置，支持数据调度任务的自定义本文档来自技高网...
【技术保护点】
1.一种实现海量数据可配置自动迁移的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
3.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
4.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
5.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
6.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
7.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于，
8.用于实施权利要求1-7任一项所述的一种实现海量数据可配置自动迁移的方法的系统，其特征在于，包括：
【技术特征摘要】
1.一种实现海量数据可配置自动迁移的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
3.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
4.根据权利要求1所述的一种实现海量数据可配置自动迁移的方法，其特征在于：
5.根据权...
【专利技术属性】
技术研发人员：潘青卫，王勇泉，谷永胜，肖安房，孙琪炜，谢宜盛，
申请(专利权)人：航天信息山东科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。