【技术实现步骤摘要】
本公开涉及云存储，特别涉及一种数据传输方法、装置和计算机可读存储介质。
技术介绍
1、随着互联网技术的发展，数据呈现爆炸式增长。云存储技术成为应对海量数据存储的主流方案。
2、网络平台产生的数据会出现跨云存储的情况，例如，核心数据存储在一个云存储集群中，而业务应用部署在另一个云存储集群中。这样数据会存在跨云访问的问题。
3、目前，一些云存储集群提供client sdk(客户端软件开发工具包)或接口等，用于另一云存储集群的数据的读取和写入。
技术实现思路
1、专利技术人发现：不同云存储集群的数据存储方式可能不同。目前，通过云存储集群的提供的client sdk或接口等进行跨云的数据传输和存储，在大量数据的读写过程中需要实时对数据的存储方式进行转换，需要大量的服务器资源进行支撑，造成资源的过多消耗并且影响数据的传输效率。
2、本公开所要解决的一个技术问题是：如何提高跨云数据传输的效率，减少资源的消耗。
3、根据本公开的一些实施例，提供的一种数据传输方法，包括：从第一云存储集群中读取待迁移数据；根据第二云存储集群中的数据存储格式，将待迁移数据的格式，转换为数据存储格式；根据第二云存储集群中的存储文件形式，将转换后的待迁移数据，写入符合存储文件形式的多个存储文件，并将多个存储文件存储至第一云存储集群；将多个存储文件，从第一云存储集群分布式传输到第二云存储集群中，以将多个存储文件并发存储至第二云存储集群中相应的存储节点。
4、在一些
5、在一些实施例中，每条数据对应数据表中的一行数据，将每条数据转换为哈希结构的键值对包括：针对每条数据对应的一行数据，提取该行数据的主键字段值作为主键，提取主键字段名所在列之外各列的字段名和字段值，作为各个成员键值对。
6、在一些实施例中，根据第二云存储集群中的数据存储格式中键格式，对每条数据对应的哈希结构的键值对中的键进行编码包括：根据第二云存储集群中的数据存储格式中的键格式，将每条数据对应的哈希结构的键值对中的主键和成员键的组合进行编码。
7、在一些实施例中，每个编码后的键值对中的编码后的键包括编码后的主键和成员键的组合，根据每个编码后的键值对中的编码后的键，将多个编码后的键值对划分为多个分区包括：针对每个编码后的键值对，对编码后的主键和成员键的组合进行哈希取模，得到主键和成员键的组合对应的余数值；根据每个主键和成员键的组合对应的余数值，将多个编码后的键值对划分为多个分区。
8、在一些实施例中，将每个分区中的各个编码后的键值对进行排序包括：针对每个分区中的各个编码后的键值对，基于各个编码后的键值对中编码后的键的字节进行排序。
9、在一些实施例中，根据第二云存储集群中的存储文件形式，将转换后的待迁移数据写入符合存储文件形式的多个存储文件包括：根据第二云存储集群中的存储文件形式，分别将每个分区中各个编码后的键值对，写入符合存储文件形式的一个存储文件。
10、在一些实施例中，将多个存储文件由第一云存储集群分布式传输到第二云存储集群中包括：从第一云存储集群读取多个存储文件；根据各个存储文件的大小，对多个存储文件进行分块，得到多个分块，其中，多个分块的大小在预设范围内；启动多个任务分别将多个分块并行复制并传输到第二云存储集群。
11、在一些实施例中，将多个存储文件并发存储至第二云存储集群中相应的存储节点包括：在多个存储文件传输到第二云存储集群中的中间存储空间的情况下，每个存储节点对应的管理服务模块并发的向中间存储空间获取该存储节点对应的存储文件；每个存储节点并发的通过远程过程调用的方式从对应的管理服务模块加载所获取的存储文件。
12、在一些实施例中，从第一云存储集群中读取待迁移数据包括：将第一云存储集群存储待迁移数据的文件，通过hive映射成数据表，其中，数据表中一行存储待迁移数据中的一条数据；按行读取数据表中的数据。
13、在一些实施例中，将多个存储文件存储至第一云存储集群包括：将每个存储文件按照预设存储值进行切片后，存储至第一云存储集群。
14、在一些实施例中，每条数据对应的编码后的键值对的数量为该条数据对应的列数减1。
15、根据本公开的另一些实施例，提供的一种数据传输装置，包括：读取模块，用于从第一云存储集群中读取待迁移数据；转换模块，用于根据第二云存储集群中的数据存储格式，将待迁移数据的格式，转换为数据存储格式；写入模块，用于根据第二云存储集群中的存储文件形式，将转换后的待迁移数据，写入符合存储文件形式的多个存储文件，并将多个存储文件存储至第一云存储集群；传输模块，用于将多个存储文件，从第一云存储集群分布式传输到第二云存储集群中，以将多个存储文件并发存储至第二云存储集群中相应的存储节点。
16、根据本公开的又一些实施例，提供的一种数据传输装置，包括：处理器；以及耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行如前述任意实施例的数据传输方法。
17、根据本公开的再一些实施例，提供的一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的数据传输方法。
18、本公开的方法中，从第一云存储集群中读取待迁移数据，根据第二云存储集群中的数据存储格式和存储文件形式，对待迁移的数据进行格式转换后存储到符合存储文件形式的多个存储文件中，然后以分布式传输方式将多个存储文件传输到第二云存储集群中，以将多个存储文件并发存储至第二云存储集群中相应的存储节点。本公开的方法可以离线对待迁移数据完成数据存储格式和存储文件形式的转后，再进行跨云的读取和写入，不需要第二云存储集群在待迁移数据的传输过程中实时对待迁移数据进行转换，减少了资源的占用和消耗，节省了第二云存储集群的资源成本，同时提高了待迁移数据跨云传输的速率。此外，通过分布式传输方式，也进一步提高了待迁移数据跨云传输的速率。
19、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种数据传输方法，包括：
2.根据权利要求1所述的数据传输方法，其中，所述根据第二云存储集群中的数据存储格式，将所述待迁移数据的格式，转换为所述数据存储格式包括：
3.根据权利要求2所述的数据传输方法，其中，所述每条数据对应数据表中的一行数据，所述将所述每条数据转换为哈希结构的键值对包括：
4.根据权利要求2所述的数据传输方法，其中，所述根据所述第二云存储集群中的数据存储格式中键格式，对所述每条数据对应的哈希结构的键值对中的键进行编码包括：
5.根据权利要求4所述的数据传输方法，其中，所述每个编码后的键值对中的编码后的键包括编码后的主键和成员键的组合，所述根据每个编码后的键值对中的编码后的键，将所述多个编码后的键值对划分为多个分区包括：
6.根据权利要求2所述的数据传输方法，其中，所述将每个分区中的各个编码后的键值对进行排序包括：
7.根据权利要求2所述的数据传输方法，其中，所述根据所述第二云存储集群中的存储文件形式，将转换后的所述待迁移数据写入符合所述存储文件形式的多个存储文件包括：
8.根
9.根据权利要求1所述的数据传输方法，其中，所述将所述多个存储文件并发存储至所述第二云存储集群中相应的存储节点包括：
10.根据权利要求1所述的数据传输方法，其中，所述从第一云存储集群中读取待迁移数据包括：
11.根据权利要求1所述的数据传输方法，其中，所述将所述多个存储文件存储至所述第一云存储集群包括：
12.根据权利要求2所述的数据传输方法，其中，
13.一种数据传输装置，包括：
14.一种数据传输装置，包括：
15.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-12任一项所述方法的步骤。
...【技术特征摘要】
1.一种数据传输方法，包括：
2.根据权利要求1所述的数据传输方法，其中，所述根据第二云存储集群中的数据存储格式，将所述待迁移数据的格式，转换为所述数据存储格式包括：
3.根据权利要求2所述的数据传输方法，其中，所述每条数据对应数据表中的一行数据，所述将所述每条数据转换为哈希结构的键值对包括：
4.根据权利要求2所述的数据传输方法，其中，所述根据所述第二云存储集群中的数据存储格式中键格式，对所述每条数据对应的哈希结构的键值对中的键进行编码包括：
5.根据权利要求4所述的数据传输方法，其中，所述每个编码后的键值对中的编码后的键包括编码后的主键和成员键的组合，所述根据每个编码后的键值对中的编码后的键，将所述多个编码后的键值对划分为多个分区包括：
6.根据权利要求2所述的数据传输方法，其中，所述将每个分区中的各个编码后的键值对进行排序包括：
7.根据权利要求2所述的数据传输方法，其中，所述根据所述...
【专利技术属性】
技术研发人员：李清炳，郭保江，吕侣，毛琦，贺晋如，
申请(专利权)人：行吟信息科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。