【技术实现步骤摘要】
本专利技术涉及数据传输领域，特别涉及一种控制数据传输的方法和连接器。
技术介绍
随着企业要存储和分析处理的数据量越来越大，Hadoop越来越受到重视，Hadoop是一个分布式系统基础架构，是Apache软件基金会的开源项目。由于Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前主流的大数据存储和分析平台。存储由HDFS (Hadoop Distributed File System, Hadoop分布式文件系统)实现，处理由MapReduce实现。关系型数据库和Hadoop可以通过连接器进行数据相互转移，通过连接器可以将一个关系型数据库中的数据导进到Hadoop的HDFS或HBase (Hadoop Database, Hadoop数据库)中，也可以将HDFS或HBase的数据导进到关系型数据库中。Sqoop是Cloudera公司提供的一种开源连接器,利用Sqoop我们可以通过命令行来进行数据的导入或导出，以下为Sqoop进行数据导入及导出的原理(一)Sqoop从关系型数据库向Hadoop导入数据Sqoop是通过一个MapRed...
【技术保护点】
一种控制数据传输的方法，其特征在于，所述方法包括：当Hadoop与关系型数据库进行数据传输时，连接器获取所述关系型数据库所在的服务器的负载信息；所述连接器根据所述负载信息控制所述数据传输。
【技术特征摘要】
【专利技术属性】
技术研发人员：伍芬尧，金晨，
申请(专利权)人：北京高森明晨信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。