【技术实现步骤摘要】
文件处理方法、装置、系统和电子设备
[0001]本专利技术涉及文件存储的
，尤其是涉及一种文件处理方法、装置、系统和电子设备。
技术介绍
[0002]分布式文件存储服务是一款完全托管、可扩展的高性能文件存储产品，一般由客户端、网关、元数据管理模块、数据节点等模块组成。一般来说，在客户端写入和读取文件的过程中，客户端需要与网关建立单个TCP(Transmission Control Protocol)连接，通过上述TCP连接与元数据管理模块和数据节点进行通信。因此，单个文件的读写性能受限于客户端与网关的单个TCP连接的网络传输能力，网络传输速度较慢。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种文件处理方法、装置、系统和电子设备，以提高文件的网络传输速度。
[0004]第一方面，本专利技术实施例提供了一种文件处理方法，应用于客户端，方法包括：获取待写入的第一文件数据；向网关发送第一请求指令，获取第一对象列表；基于第一对象列表切分第一文件数据，确定切分后的第一文件数据与第一对象列...
【技术保护点】
【技术特征摘要】
1.一种文件处理方法，其特征在于，应用于客户端，所述方法包括：获取待写入的第一文件数据；向网关发送第一请求指令，获取第一对象列表；基于所述第一对象列表切分所述第一文件数据，确定切分后的所述第一文件数据与所述第一对象列表中的对象的对应关系，其中，切分后的所述第一文件数据与所述第一对象列表中的对象一一对应；将切分后的所述第一文件数据和所述对应关系发送至所述网关。2.根据权利要求1所述的方法，其特征在于，获取待写入的第一文件数据的步骤，包括：缓存待写入的第一文件数据；向网关发送第一请求指令的步骤，包括：如果缓存的所述第一文件数据大于或等于预设第一阈值，向网关发送第一请求指令。3.根据权利要求1所述的方法，其特征在于，基于所述第一对象列表切分所述第一文件数据，确定切分后的所述第一文件数据与所述第一对象列表中的对象的对应关系的步骤，包括：将所述客户端的缓冲区划分为多个子缓冲区，每个所述子缓冲区与所述第一对象列表中的对象一一对应；将所述第一文件数据切分，并将切分后的所述第一文件数据存储于所述子缓冲区中；确定所述子缓冲区与所述第一对象列表中的对象的对应关系。4.根据权利要求3所述的方法，其特征在于，将切分后的所述第一文件数据和所述对应关系发送至所述网关的步骤，包括：启动多个第一线程；所述第一线程与所述子缓冲区一一对应；每个所述第一线程将对应的所述子缓冲区存储的切分后的所述第一文件数据，以及所述子缓冲区与所述第一对象列表中的对象的对应关系并发地发送至所述网关。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定待读取的第二文件数据；向所述网关发送第二请求指令，获取第二对象列表；通过所述网关获取切分后的所述第二文件数据；组合切分后的所述第二文件数据为最终的第二文件数据。6.根据权利要求5所述的方法，其特征在于，确定待读取的第二文件数据的步骤，包括：基于预读缓存的方式确定待读取的第二文件数据；向所述网关发送第二请求指令的步骤，包括：如果预读缓存的所述第二文件数据大于或等于预设第二阈值，向所述网关发送第二请求指令。7.根据权利要求5所述的方法，其特征在于，通过所述网关获取切分后的所述第二文件数据的步骤，包括：启动多个第二线程；所述第二线程与所述第二对象列表中的对象一一对应；每个所述第二线程通过所述网关并发地从数据节点获取所述第二线程对应的对象的切分后的所述第二文件数据。8.一种文件处理方法，其特征在于，应用于网关，所述方法包括：接收客户端发送的第一请求指令，并将第一请求指令发送至元数据管理模块；
接收所述客户端发送的切分后的所述第一文件数据，以及所述第一文件数据与第一对象列表中的对象的对应关系；将所述切分后的所述第一文件数据发送至数据节点。9.一种文件处理方法，其特征在于，应用于元数据管理模块，所述方法包括：接收网关发送的第一请求指令，基于所述第一请求指令向所述网关发送第一对象列表。10.一种文件处理方法，其特征在于，...
【专利技术属性】
技术研发人员：何广，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。