【技术实现步骤摘要】
本申请涉及互联网，具体涉及一种数据传输方法、电子设备和计算机可读存储介质。
技术介绍
1、大数据湖是一种数据架构方案，实施在分布式文件系统（hadoop distributedfile system，hdfs）上。hdfs可以作为数据服务器使用，用于集中化存储海量的数据。多终端设备上报的多种类型、多种来源的数据都可以集中存储在hdfs中。以hive存储管理工具为例，hive数据库的数据文件均可以存储在hdfs中。hdfs中存储的数据可以称为湖内数据。为了确保湖内数据的安全，并满足用户隐私的合规管理，通常会对湖内数据的读取权限进行管理。用户需要经过权限申请，并且在权限认证通过后，才能够读取出部分湖内数据进行使用。从hdfs中读取出数据的过程我们称为出湖。
2、由于hdfs的数据量过于庞大，如果需要使用这些数据的算法平台直接从hdfs中读取数据的话，读取效率很低，也不利于持续访问数据。一般来说，会选择一个数据存储介质作为中间介质，将出湖的数据先存储在该数据存储介质上。从hdfs中出湖并存储在数据存储介质上的数据称为出湖数据。算法...
【技术保护点】
1.一种数据传输方法，其特征在于，应用于大数据湖服务器和网络存储服务器之间的中间设备，包括；
2.根据权利要求1所述的方法，其特征在于，所述配置页面包括数据来源端的配置页面时，所述配置信息包括数据来源配置信息，所述数据来源配置信息用于指示所述文件读取路径；
3.根据权利要求2所述的方法，其特征在于，所述多个数据传输通道包括：所述中间设备与所述大数据湖服务器之间的多个读取通道、以及所述中间设备和所述网络存储服务器之间的多个写入通道；
4.根据权利要求3所述的方法，其特征在于，所述待同步文件中至少包括第一待同步文件和第二待同步文件，所述...
【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于大数据湖服务器和网络存储服务器之间的中间设备，包括；
2.根据权利要求1所述的方法，其特征在于，所述配置页面包括数据来源端的配置页面时，所述配置信息包括数据来源配置信息，所述数据来源配置信息用于指示所述文件读取路径；
3.根据权利要求2所述的方法，其特征在于，所述多个数据传输通道包括：所述中间设备与所述大数据湖服务器之间的多个读取通道、以及所述中间设备和所述网络存储服务器之间的多个写入通道；
4.根据权利要求3所述的方法，其特征在于，所述待同步文件中至少包括第一待同步文件和第二待同步文件，所述配置页面还包括字段过滤规则的配置页面，所述配置信息还包括所述字段过滤规则，所述通过所述多个数据传输通道从所述文件读取路径并行读取所述待同步文件，且并行写入所述网络存储服务器的所述文件写入路径下，包括：
5.根据权利要求4所述的方法，其特征在于，所述待写入数据至少包括第一部分数据和第二部分数据，所述将所述待写入数据，通过所述多个写入通道并行写入所述文件写入路径下，包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述数据来源配置信息中还包括数据源客户端的身份认证信息，所述数据写入配置信息中还包括数据目的客户端的身份认证信息，所述在所述大数据湖服务器和所述网络存储服务器之间建立多个数据传输通道，还包括：
7.根据权利要求1所述的方法，其特征在于，所述数据来源配置信息包括：
8.根据权利要求1所述的方法，其特征在于，所述数据写入配置信息包括：数据目的端的数据源的类型，文件写入路径、文件写入模式、文件写入格式、写入数据分隔符、是否切分文件、是否分区老化标识、分区老化偏移个数。
9.一种数据传输方法，其特征在于，应用于大数据湖服务器，包括：
10.根据权利要求9所述的方法，其特征在于，所述数据来源配置信息中包括数据源客户端的身份认证信息，所述与中间设备建立多个读取通道，包括：
11.根据权利要求10所述的方法，其特征在于，所述数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。