数据迁移方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种数据迁移方法、系统、设备及存储介质，所述方法包括：在关系型数据库中建立数据表，并建立Elasticsearch集群中数据类型与所述数据表的映射关系；创建Elasticsearch集群中需迁移数据的快照；从所述快照中依次取出每条数据，并根据所述映射关系将取出的数据写入所述关系型数据库，至将所述快照中所有数据均写入所述关系型数据为止。通过采用本发明专利技术，可以在不停机的情况下对已有的Elasticsearch集群中的数据迁移至关系型数据库中，在迁移过程中用户的使用不受影响，迁移完成后可直接在关系型数据库中进行关联查询等应用。

Data migration methods, systems, devices and storage media

【技术实现步骤摘要】
数据迁移方法、系统、设备及存储介质
本专利技术涉及数据库
，尤其涉及一种数据迁移方法、系统、设备及存储介质。
技术介绍
Elasticsearch是一个基于Lucene库的搜索引擎，它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTPWeb接口和无模式JSON(JavaScriptObjectNotation,JS对象简谱)文档。Elasticsearch的查询效率高，对海量数据可以进行近似实时的处理，其全文搜索性能较高，条件可以随意排列组合。此外，Elasticsearch对分布式的支持也较好，基于集群的环境可以方便横向扩展，可以将海量的数据分散到多台集群上去存储和检索。但Elasticsearch对事务的支持较差，包含多个文档的事务时不支持事务的正常回滚，对一致性和原子性支持较差。此外，对多种类型的文档之间做关联操作也没有很好的支持。由上可见，虽然Elasticsearch搜索引擎很强大，但是对于一些复杂的关联查询及对数据一致性、可靠性的支持并没有传统的关系型数据库好，传统的关系型数据库仍有强项和存在价值。因此，在实际应用中，可本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括如下步骤：/n在关系型数据库中建立数据表，并建立Elasticsearch集群中数据类型与所述数据表的映射关系；/n创建Elasticsearch集群中需迁移数据的快照；/n从所述快照中依次取出每条数据，并根据所述映射关系将取出的数据写入所述关系型数据库，至将所述快照中所有数据均写入所述关系型数据为止。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括如下步骤：
在关系型数据库中建立数据表，并建立Elasticsearch集群中数据类型与所述数据表的映射关系；
创建Elasticsearch集群中需迁移数据的快照；
从所述快照中依次取出每条数据，并根据所述映射关系将取出的数据写入所述关系型数据库，至将所述快照中所有数据均写入所述关系型数据为止。


2.根据权利要求1所述的数据迁移方法，其特征在于，所述建立Elasticsearch集群中数据类型与数据表的映射关系，包括：建立所述Elasticsearch集群中数据类型与所述关系型数据库中的数据表一对一的映射关系；或
建立所述Elasticsearch集群中数据类型与所述关系型数据库中的数据表多对一的映射关系；或
建立所述Elasticsearch集群中数据类型与所述关系型数据库中的数据表一对多的映射关系。


3.根据权利要求1所述的数据迁移方法，其特征在于，所述建立Elasticsearch集群中数据类型与数据表的映射关系的步骤，包括：建立所述Elasticsearch集群中数据类型与所述关系型数据库中的数据表一对多的映射关系，且同一数据类型所对应的多张数据表通过外键相互关联。


4.根据权利要求1所述的数据迁移方法，其特征在于，从所述快照中取出数据，并根据所述映射关系写入所述关系型数据库，包括如下步骤：
从所述快照中取出数据，生成写入取出的数据的结构化查询语言语句；
在所述关系型数据库中执行所述结构化查询语言语句。


5.根据权利要求1所述的数据迁移方法，其特征在于，所述创建Elasticsearch集群的快照之后，还包括：监听所述Elasticsearch集群的数据操作，生成数据操作记录；
从所述快照中取出数据，并根据所述映射关系写入所述关系型数据库之后，还包括：将所述数据操作记录同步至所述关...

【专利技术属性】
技术研发人员：冯懿宣，晋兆龙，赵波，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32