数据处理方法、装置、计算机设备、存储介质及程序产品制造方法及图纸

本申请提供一种数据处理方法、装置、计算机设备、存储介质及程序产品，本申请涉及文件存储，且可以应用于云技术、人工智能、智慧交通、车联网等各种场景；本申请可以获取待导入数据针对数据库中存储副本节点的数据特征信息，以及获取存储副本节点的副本节点信息；根据副本节点信息和数据特征信息，确定待导入数据中待导入数据分片对应的分片特征信息；根据分片特征信息，生成存储副本节点中导入存储副本节点的导入副本节点信息；基于导入副本节点信息和分片特征信息对待导入数据分片进行导入处理，得到导入后数据分片；通过导入存储副本节点，基于导入后数据分片，构建导入后数据。本申请可以提高待导入数据导入到数据库中的效率。

【技术实现步骤摘要】

本申请涉及数据处理，具体涉及一种数据处理方法、装置、计算机设备、存储介质及程序产品，存储介质为计算机可读存储介质，程序产品为计算机程序产品。

技术介绍

1、现有的数据库为了提高数据的可用性与可靠性，通常会设置多个存储副本节点来对数据进行存储。其中，目前在对数据库进行数据导入的时候，会从远端存储系统提取数据导入到数据库的存储副本节点中。对于存储副本节点，每一个存储副本节点都会从远端存储系统下载完整的数据如文件，并将完整的数据导入到存储副本节点中。其中，存储副本节点下载完整文件的方式可以是如下：

2、方式一：多个存储副本节点同时从远端存储系统下载完整的数据。方式一导入数据到数据库中的完成时间受到带宽影响较大，导致数据导入效率较低。方法二：每一存储副本节点轮流从远端存储系统下载完整的文件。方式二导入数据到数据库中的完成时间为各个存储副本节点从远端存储系统下载数据的时间之和，这也导致数据导入效率较低。

3、综上，目前存在数据导入到数据库的效率较低的问题。

技术实现思路

1、本申请实施例提供一种本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述导入存储副本节点，基于所述导入后数据分片，构建所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述分片属性信息和所述组合后导入数据，确定所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述组合后导入数据，确定所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

5.根据权利要求2所述...

【技术特征摘要】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述导入存储副本节点，基于所述导入后数据分片，构建所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述分片属性信息和所述组合后导入数据，确定所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述组合后导入数据，确定所述待导入数据在所述导入存储副本节点中对应的导入后数据，包括：

5.根据权利要求2所述的数据处理方法，其特征在于，所述导入存储副本节点包括目标导入存储副本节点和参考导入存储副本节点，所述导入后数据分片包括目标导入后数据分片和参考导入后数据分片；所述通过所述导入存储副本节点，对所述导入后数据分片进行组合处理，得到组合后导入数据，包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述通过所述目标导入存储副本节点根据所述分片请求，从所述参考导入存储副本节点获取所述参考导入后数据分片，包括：

7.根据权利要求1所述的数据处理方法，其特征在于，所述分片特征信息包括多个分片特征信息；所述根据所述分片特征信息，生成所述存储副本节点中导入存储副本节点的导入副本节点信息，包括：

8.根据权利要求7...

【专利技术属性】
技术研发人员：肖芬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：