【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于hdfs系统的数据处理方法及装置。
技术介绍
1、hadoop的分布式文件系统(hadoop distributed file system，hdfs)由元数据节点(namenode)和数据节点(datanode)组成，其中元数据节点用于为hdfs系统提供元数据管理服务。数据节点以数据块的形式存储数据，用于为客户端提供数据块的读写服务。
2、在具体实现数据处理时，以读取数据为例，客户端首先向元数据节点发送数据读取请求，并接收元数据节点返回用于表征待读取数据存储位置的元数据。进一步地，客户端根据接收到的元数据的指示，与对应的数据节点进行交互获取数据。客户端在执行一个处理进程时，可能需要多次读取数据，由于hdfs系统这种存算分离的存储架构，客户端在每次读取数据时均需要与元数据节点交互获取元数据，这使得基于hdfs系统实现的数据处理过程的效率较低。
技术实现思路
1、本申请实施例提供一种基于hdfs系统的数据处理方法及装置，用于提升主机进行数据处理
【技术保护点】
1.一种基于HDFS系统的数据处理方法，其特征在于，所述HDFS系统包括元数据节点和数据节点，所述方法应用于数据处理装置，所述数据处理装置与主机连接，所述数据处理装置包括第一存储单元和第二存储单元，所述第一存储单元中存储有所述HDFS系统的元数据节点中的元数据，所述第二存储单元中存储所述主机所需的热点数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利...
【技术特征摘要】
1.一种基于hdfs系统的数据处理方法，其特征在于，所述hdfs系统包括元数据节点和数据节点，所述方法应用于数据处理装置，所述数据处理装置与主机连接，所述数据处理装置包括第一存储单元和第二存储单元，所述第一存储单元中存储有所述hdfs系统的元数据节点中的元数据，所述第二存储单元中存储所述主机所需的热点数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一请求是在所述主机执行第一处理进程的过程中产生的，所述第二存储单元包括至少一个存储空间；所述确定所述第二存储单元存储的热点数据中不包括所述第一数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5或6所述的方法，其特征在于，所述至少一个存储空间还包括第二存储空间，所述第二存储空间存储有执行第二处理进程的过程中所需的第一数据，所述方法还包括：
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
10.根据权利要求1-8任一项所述的方法，其特征在于，所述第一请求携带第一数据在所述数据节点的存储位置，所述方法还包括：
11.一种基于hdfs系统的数据处理装置，其特征在于，所述hdfs系统包括元数据节点和数据节点，所述装置与主机连接，所述装置包括第一存储单元和第二存储单元，所述第一存储单元中存储有所述hdfs系统的元数据节点中的元数据，所述第二存储单元中存储所述主机所需的热点数据，所述装置还包括：
12.根据权利要求1...
【专利技术属性】
技术研发人员：何洋，罗先强，王锋，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。