一种数据处理方法、装置以及计算机可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置以及计算机可读存储介质，该数据处理方法由第一服务节点所执行，该方法包括：获取用户客户端发送的针对第一数据存储列表的数据写入请求；第一数据存储列表是由第一服务节点创建的与用户客户端相关联的列表；数据写入请求为用户客户端根据从第一服务节点处所获取到的对第一数据存储列表的访问权限所生成的请求；数据写入请求携带目标数据；根据数据写入请求生成目标数据对应的目标元数据，将目标元数据添加至第一数据存储列表中；第一数据存储列表中的目标元数据用于用户客户端通过第一服务节点访问目标数据。采用本申请，可在访问第一数据存储列表时，减少对网络带宽的消耗。

A data processing method, device and computer readable storage medium

【技术实现步骤摘要】
一种数据处理方法、装置以及计算机可读存储介质
本申请涉及数据处理的
，尤其涉及一种数据处理方法、装置以及计算机可读存储介质。
技术介绍
随着数据量的指数式增长，针对分布式文件系统对元数据的处理能力的需求日益增长，使用多个元数据服务器来存储和处理元数据成了必然的选择。现有技术中，一个用户可以在分布式文件系统中拥有一个文件列表，每次当用户需要在其所拥有的文件列表中存储文件时，都需要在分布式文件系统中选择一个合适的元数据服务器来管理用户所存储的文件的元数据。由此可见，一个用户所对应的文件列表中的文件的元数据将被分散存储在多个元数据服务器中。其中，可以将元数据理解为是用于获取用户所存储的真实数据的向导数据。因此，当后续用户需要同时获取所属列表中的多个文件时，也需要生成多个数据获取指令以向多个元数据服务器请求分别获取到对应的文件，这会增加网络的带宽消耗。申请内容本申请提供了一种数据处理方法、装置以及计算机可读存储介质，可在访问第一数据存储列表时，减少对网络带宽的消耗。本申请一方面提供了一种数据处理方法，由第一本文档来自技高网...

【技术保护点】
1.一种数据处理方法，由第一服务节点所执行，其特征在于，包括：/n获取用户客户端发送的针对第一数据存储列表的数据写入请求；所述第一数据存储列表是由所述第一服务节点所创建的与所述用户客户端相关联的列表；所述数据写入请求为所述用户客户端根据对所述第一数据存储列表的访问权限所生成的请求；所述用户客户端对所述第一数据存储列表的访问权限，是由所述用户客户端从创建所述第一数据存储列表的所述第一服务节点中获取到的；所述数据写入请求携带目标数据；/n根据所述数据写入请求生成所述目标数据对应的目标元数据，将所述目标元数据添加至所述第一数据存储列表中；所述第一数据存储列表中的所述目标元数据用于所述用户客户端通过所...

【技术特征摘要】
1.一种数据处理方法，由第一服务节点所执行，其特征在于，包括：
获取用户客户端发送的针对第一数据存储列表的数据写入请求；所述第一数据存储列表是由所述第一服务节点所创建的与所述用户客户端相关联的列表；所述数据写入请求为所述用户客户端根据对所述第一数据存储列表的访问权限所生成的请求；所述用户客户端对所述第一数据存储列表的访问权限，是由所述用户客户端从创建所述第一数据存储列表的所述第一服务节点中获取到的；所述数据写入请求携带目标数据；
根据所述数据写入请求生成所述目标数据对应的目标元数据，将所述目标元数据添加至所述第一数据存储列表中；所述第一数据存储列表中的所述目标元数据用于所述用户客户端通过所述第一服务节点访问所述目标数据。


2.根据权利要求1所述的方法，其特征在于，还包括：
获取第一列表创建请求；所述第一列表创建请求携带列表名称信息；所述第一列表创建请求为管理客户端所生成的；
根据所述列表名称信息，创建过渡数据存储列表，生成针对所述过渡数据存储列表的第一创建成功信息；
发送所述第一创建成功信息至所述管理客户端，以使所述管理客户端根据所述第一创建成功信息获取所述用户客户端的客户端地址；
根据所述客户端地址对所述过渡数据存储列表的访问权限进行设置，得到所述第一数据存储列表；所述客户端地址具有针对所述第一数据存储列表的访问权限。


3.根据权利要求1所述的方法，其特征在于，还包括：
所述第一服务节点获取转发器发送的挂载指令；所述挂载指令为所述用户客户端生成的用于获取所述第一数据存储列表的指令；所述挂载指令是由所述用户客户端发送给所述转发器的；所述挂载指令为所述用户客户端初次生成的针对所述第一数据存储列表的操作指令；
根据所述挂载指令，将所述第一服务节点的节点地址以及所述第一数据存储列表对应的根目录信息，发送至所述用户客户端，以使所述用户客户端根据所述第一服务节点的节点地址向所述第一服务节点获取针对所述第一数据存储列表的访问权限；
则，所述第一服务节点获取用户客户端发送的针对第一数据存储列表的数据写入请求，包括：
获取所述用户客户端发送的所述数据写入请求；所述数据写入请求是由所述用户客户端根据所述根目录信息向所述第一服务节点所发起的请求。


4.根据权利要求2所述的方法，其特征在于，所述第一服务节点所在的服务节点集群中还包括第二服务节点；所述第二服务节点中存储有所述第一服务节点的节点负载量；所述第二服务节点持有管理客户端所发送的第一列表创建请求；还包括：
当所述第一服务节点的节点负载量小于所述第二服务节点的节点负载量时，获取所述第二服务节点发送的所述第一列表创建请求。


5.根据权利要求4所述的方法，其特征在于，所述第一服务节点所在的服务节点集群中还包括第二服务节点；还包括：
获取所述第二服务节点发送的第一心跳信息，存储所述第一心跳信息中所携带的所述第二服务节点的节点负载量；
当所述第一服务节点获取到第二列表创建请求，且检测到所存储的所述第二服务节点的节点负载量小于所述第一服务节点的节点负载量时，将所述第二列表创建请求发送至所述第二服务节点，以使所述第二服务节点根据所述第二列表创建请求创建第二数据存储列表。


6.根据权利要求4所述的方法，其特征在于，所述第一服务节点所在的服务节点集群中还包括第二服务节点；还包括：
发送第二心跳信息至所述第二服务节点，以使所述第二服务节点存储所述第二心跳信息所携带的所述第一服务节点的节点负载量。


7.根据权利要求1所述的方法，其特征在于，所述第一服务节点所在的服务节点集群中还包括第二服务节点；所述第一服务节点中存储有所述第二服务节点的节点负载量；还包括：
获取数据迁移指令，根据所述数据迁移指令获取所述第一服务节点的节点负载量和第二服务节点的节点负载量所对应的节点平均负载量；
根据所述第一服务节点的节点负载量与所述节点平均负载量，得到超量负载量；
根据所述节点平均负载量以及负载量衡量比例，确定衡量负载量；
当比对出所述第一服务节点的节点负载量大于或者等于负载量阈值，且所述超量负载量大于或者等于所述衡量负...

【专利技术属性】
技术研发人员：赵彬，张智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44