一种数据传输方法、数据存储服务器及数据存储系统技术方案

本申请提供了一种数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储系统，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，将需要导入的数据转换为数据库文件，以数据库文件形式将数据从离线数据存储服务器下载至在线数据存储服务器，能够有效降低数据导入时间，提高数据导入的效率，维护数据存储系统对外提供查询服务的稳定性。

【技术实现步骤摘要】
一种数据传输方法、数据存储服务器及数据存储系统
本申请涉及大数据处理
，具体而言，涉及一种数据传输方法，包括在线数据存储服务器和离线数据存储服务器的数据存储服务器，以及数据存储系统。
技术介绍
随着科学技术的不断发展，网络数据量日益激增，呈指数级别的爆发增长，目前为了使大量的数据得以合理存储，普遍采用分布式存储系统Hadoop对大数据进行存储，Hadoop主要应用在离线数据存储场景下，而Hadoop中的离线数据的时效性差，无法满足线上业务低延时读取数据的要求，因此需要将离线数据先写到在线存储系统，然后由在线存储系统为线上业务提供低延时的查询。将离线数据存储系统Hadoop中的离线数据写入到在线数据存储系统中，大多是通过在Hadoop构造虚拟数据存储引擎，以与在线数据存储系统中的数据集群建立连接，在读取离线数据条目后，通过构造用于写入数据的数据请求发送给在线数据存储系统，在线数据存储系统会在内部各节点依次读取数据请求和数据条目。如图1中所示，图1为在线数据存储系统的构造图，在线数据存储系统一般包括应用客户端、VIP节点、proxy节本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，所述数据传输方法应用于在线数据存储服务器，所述数据传输方法包括：/n在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；/n通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；/n将所述数据库文件加载至预设存储位置。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述数据传输方法应用于在线数据存储服务器，所述数据传输方法包括：
在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；
将所述数据库文件加载至预设存储位置。


2.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；
将所述数据库文件加载至生成的数据存储空间中。


3.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
在所述在线数据存储服务器中生成空白的数据存储空间；
将所述数据库文件的文件格式转换为与生成的数据存储空间的数据存储格式相匹配的文件格式；
将转换文件格式后的所述数据库文件加载至生成的数据存储空间中。


4.根据权利要求2和3中任一项所述的数据传输方法，其特征在于，在将所述数据库文件加载至预设存储位置之后，所述方法包括：
删除所述在线数据存储服务器中与所述数据库文件相对应的已有数据存储空间，以及该已有数据存储空间中的数据。


5.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
确定所述在线数据存储服务器中与所述数据库文件中数据的文件格式相匹配的已生成的数据存储空间；
将所述数据库文件加载至确定的数据存储空间中。


6.根据权利要求1所述的数据传输方法，其特征在于，将所述数据库文件加载至预设存储位置，包括：
确定与所述数据库文件相匹配的已生成的数据存储空间；
将所述数据库文件中的数据转换为与确定的已生成的数据存储空间相匹配的文件格式的数据；
将格式转换后的所述数据库文件中的数据加载至确定的已生成的数据存储空间中。


7.一种数据传输方法，其特征在于，所述数据传输方法应用于离线数据存储服务器，所述数据传输方法包括：
在所述离线数据存储服务器与在线数据存储服务器之间建立数据下载通道；
获取所述在线数据存储服务器中各存储节点的拓扑结构信息；
基于所述拓扑结构信息，将与所述在线数据存储服务器的数据导入请求相匹配的数据划分为多个数据块，并将所述多个数据块的数据内容添加至数据库文件中；
通过所述数据下载通道，将所述数据库文件发送至所述在线数据存储服务器。


8.根据权利要求7所述的数据传输方法，其特征在于，所述基于所述拓扑结构信息，将与所述数据导入请求相匹配的数据集划分为多个子数据块，包括：
基于所述拓扑结构信息表示的各存储节点的属性信息，确定各存储节点的数据承载属性和数据承载能力；
基于各存储节点的数据承载属性和数据承载能力，将与所述数据导入请求相匹配的数据集划分成与各存储节点相匹配的多个子数据块。


9.一种在线数据存储服务器，其特征在于，所述在线数据存储服务器包括：
通道建立模块，用于在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；
数据下载模块，用于通过所述通道建立模块建立的所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所...

【专利技术属性】
技术研发人员：王志勇，余汶龙，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11