一种数据迁移方法及装置制造方法及图纸

本申请实施例公开了一种数据迁移方法及装置，方法包括：从至少一个源数据端中抽取部分或全部数据；对抽取的所述数据进行合法性检查，通过预设规则对通过所述合法性检查的数据进行转换，以维持数据的原数据名或将数据的原数据名转换为目标数据名；将转换后的数据进行缩减处理，定义缩减后的数据为目标数据，将目标数据输出至目标数据库。本申请实施例提供的技术方案通过将源数据端的数据中与实际字段含义不同的数据名进行自动化修正，数据名命名规则统一化，从而实现数据的统一性和一致性，并且在数据迁移前对数据进行缩减处理，以大大数据迁移时长，提高后续数据处理分析效率。

【技术实现步骤摘要】
一种数据迁移方法及装置
本申请实施例涉及数据云计算
，尤其涉及一种数据迁移方法、一种数据迁移装置、计算机设备及存储介质。
技术介绍
我国已成为世界数字用户最大国、移动支付最大国。通过深入推进“互联网+”行动和国家大数据战略，基于互联网、云计算和大数据等数字技术驱动的新兴产业已成为新的经济支柱产业；随着产业的发展，经常需要对数据进行迁移，迁移到更性能配置更高级的主机OS上、迁移到远程的机房、迁移到不同的平台下，都需要一款数据迁移工具来辅助迁移，且需要保证迁移数据的稳定性高。数据迁移的实现可以分为3个阶段:数据迁移前的准备、数据迁移的实施和数据迁移后的校验。由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明(包括数据的存储方式、数据量、数据的时间跨度)；建立新旧系统数据库的数据字典；对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法；开发、部属ETL工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施。而目前，商务智能运作所依靠的信息系统由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各个部分之间不能彼此交流。从这个层面看：目前运行的应用系统是用户花费了很大精力和财力构建的、不可替代的系统，特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助用户决策，单恰恰这些数据的来源、格式不一样，导致了系统实施、数据整合的难度。目前的数据转移技术仅仅是对数据进行搬迁，并不能对不同源数据进行统一，数据不具有一致性。
技术实现思路
本申请实施例提供一种数据迁移方法、一种数据迁移装置、计算机设备及存储介质，以解决现有技术中数据不一致的问题。在第一方面，本申请实施例提供了一种数据迁移方法，包括：从至少一个源数据端中抽取部分或全部数据；对抽取的所述数据进行合法性检查，通过预设规则对通过所述合法性检查的数据进行转换，以维持数据的原数据名或将数据的原数据名转换为目标数据名；将转换后的数据进行缩减处理，定义缩减后的数据为目标数据，将目标数据输出至目标数据库。进一步的，对抽取的所述数据进行合法性检查，包括：获取抽取的数据的数据属性和数据类型；判断数据的数据属性是否符合第一规定，以及判断数据类型是否符合第二规定；当数据同时满足第一规定和第二规定时，定义数据通过合法性检查；当数据不满足第一规定和/或第二规定时，定义数据未通过合法性检查，并生成该数据的不合法报告。进一步的，所述预设规则为：当数据的字段含义与原数据名一致时，维持该原数据名；当数据的字段含义与原数据名不一致时，更改原数据名为与字段含义匹配的目标数据名。进一步的，对通过所述合法性检查的数据进行转换，包括：采集所述数据的字段描述和原数据名，从所述字段描述中获取若干字段关键词；根据所述字段关键词确认数据的字段含义，并从预设的字段映射关系中获取与该字段含义匹配的目标数据名；当所述目标数据名与所述原数据名一致时，定义为数据的字段含义与原数据名一致，并维持该原数据名；当所述目标数据名与所述原数据名不一致时，定义为数据的字段含义与原数据名不一致，并将原数据名更改为目标数据名。进一步的，将转换后的数据进行缩减处理，包括：检测数据中的空白字段，将空白字段删除；检测数据中的重复字段，将重复字段删除；判断删除空白字段和重复字段后的数据的数据容量是否超过预设容量，当所述数据容量超过预设容量时，压缩删除空白字段和重复字段后的数据以使该数据满足预设容量的需求。进一步的，将目标数据输出至目标数据库，包括：对目标数据进行分类，其中，将目标数据中当前实时进程传输的数据划分为实时进程数据，将目标数据中普通进程传输的数据划分为普通进程数据，将目标数据中静态存储的数据划分为静态数据；设置实时进程数据、普通进程数据、静态数据的迁移优先级，其中，实时进程数据的迁移优先级高于普通进程数据的迁移优先级，普通进程数据的迁移优先级高于静态数据的迁移优先级。进一步的，还包括：提供用户操作界面，并基于所述用户操作界面接收用户的迁移指令。在第二方面，本申请实施例提供了一种数据迁移装置，包括：数据抽取模块：用于从至少一个源数据端中抽取部分或全部数据；数据转换模块：用于对抽取的所述数据进行合法性检查，通过预设规则对通过所述合法性检查的数据进行转换，以维持数据的原数据名或将数据的原数据名转换为目标数据名；数据迁移模块：用于将转换后的数据进行缩减处理，定义缩减后的数据为目标数据，将目标数据输出至目标数据库。进一步的，数据转换模块中，对抽取的所述数据进行合法性检查，包括：获取抽取的数据的数据属性和数据类型；判断数据的数据属性是否符合第一规定，以及判断数据类型是否符合第二规定；当数据同时满足第一规定和第二规定时，定义数据通过合法性检查；当数据不满足第一规定和/或第二规定时，定义数据未通过合法性检查，并生成该数据的不合法报告。进一步的，所述预设规则为：当数据的字段含义与原数据名一致时，维持该原数据名；当数据的字段含义与原数据名不一致时，更改原数据名为与字段含义匹配的目标数据名。进一步的，对通过所述合法性检查的数据进行转换，包括：采集所述数据的字段描述和原数据名，从所述字段描述中获取若干字段关键词；根据所述字段关键词确认数据的字段含义，并从预设的字段映射关系中获取与该字段含义匹配的目标数据名；当所述目标数据名与所述原数据名一致时，定义为数据的字段含义与原数据名一致，并维持该原数据名；当所述目标数据名与所述原数据名不一致时，定义为数据的字段含义与原数据名不一致，并将原数据名更改为目标数据名。进一步的，将转换后的数据进行缩减处理，包括：检测数据中的空白字段，将空白字段删除；检测数据中的重复字段，将重复字段删除；判断删除空白字段和重复字段后的数据的数据容量是否超过预设容量，当所述数据容量超过预设容量时，压缩删除空白字段和重复字段后的数据以使该数据满足预设容量的需求。进一步的，将目标数据输出至目标数据库，包括：对目标数据进行分类，其中，将目标数据中当前实时进程传输的数据划分为实时进程数据，将目标数据中普通进程传输的数据划分为普通进程数据，将目标数据中静态存储的数据划分为静态数据；设置实时进程数据、普通进程数据、静态数据的迁移优先级，其中，实时进程数据的迁移优先级高于普通进程数据的迁移优先级，普通进程数据的迁移优先级高于静态数据的迁移优先级。进一步的，还包括：提供用户操作界面，并基于所述用户操作界面接收用户的迁移指令。在第三方面，本申本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：/n从至少一个源数据端中抽取部分或全部数据；/n对抽取的所述数据进行合法性检查，通过预设规则对通过所述合法性检查的数据进行转换，以维持数据的原数据名或将数据的原数据名转换为目标数据名；/n将转换后的数据进行缩减处理，定义缩减后的数据为目标数据，将目标数据输出至目标数据库。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：
从至少一个源数据端中抽取部分或全部数据；
对抽取的所述数据进行合法性检查，通过预设规则对通过所述合法性检查的数据进行转换，以维持数据的原数据名或将数据的原数据名转换为目标数据名；
将转换后的数据进行缩减处理，定义缩减后的数据为目标数据，将目标数据输出至目标数据库。


2.根据权利要求1所述的数据迁移方法，其特征在于，对抽取的所述数据进行合法性检查，包括：
获取抽取的数据的数据属性和数据类型；
判断数据的数据属性是否符合第一规定，以及判断数据类型是否符合第二规定；
当数据同时满足第一规定和第二规定时，定义数据通过合法性检查；
当数据不满足第一规定和/或第二规定时，定义数据未通过合法性检查，并生成该数据的不合法报告。


3.根据权利要求1或2所述的数据迁移方法，其特征在于，所述预设规则为：
当数据的字段含义与原数据名一致时，维持该原数据名；
当数据的字段含义与原数据名不一致时，更改原数据名为与字段含义匹配的目标数据名。


4.根据权利要求3所述的数据迁移方法，其特征在于，对通过所述合法性检查的数据进行转换，包括：
采集所述数据的字段描述和原数据名，从所述字段描述中获取若干字段关键词；
根据所述字段关键词确认数据的字段含义，并从预设的字段映射关系中获取与该字段含义匹配的目标数据名；
当所述目标数据名与所述原数据名一致时，定义为数据的字段含义与原数据名一致，并维持该原数据名；
当所述目标数据名与所述原数据名不一致时，定义为数据的字段含义与原数据名不一致，并将原数据名更改为目标数据名。


5.根据权利要求4所述的数据迁移方法，其特征在于，将转换后的数据进行缩减处理，包括：
检测数据中的空白字段，将空白字段删除；
检...

【专利技术属性】
技术研发人员：马文毫，张国胜，许乙亮，
申请(专利权)人：广东南方通信建设有限公司，
类型：发明
国别省市：广东;44