【技术实现步骤摘要】
数据处理方法、装置及设备
本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
分布式存储系统通常包括：集群服务器(BlockSever)和与集群服务器通信连接的数据转储模块，其中，集群服务器用于承接用户传输的数据处理请求，并以预设方式处理存储数据；数据转储模块用于对存储数据进行转储操作和垃圾回收操作。具体的，在利用分布式存储系统进行数据缓存操作时，数据转储模块会从集群服务器中读取出存储数据，而后对存储数据进行转储操作。然而，由于数据转储操作是由于集群服务器通信连接的数据转储模块来完成，即数据转储模块需要将存储数据读取出来再进行转储操作，这样会多浪费一份读的流量，从而使得整个数据处理过程存在流量放大问题。
技术实现思路
本申请实施例提供一种数据处理方法、装置及设备，用以解决现有技术中在利用分布式存储系统进行数据处理操作时所存在的流量放大问题。第一方面，本申请实施例提供了一种数据处理方法，包括：获取待处理数据；利用多副本技术对所述待处理数据进行处理，生...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待处理数据；/n利用多副本技术对所述待处理数据进行处理，生成与所述待处理数据相对应的至少一个副本文件；/n生成与所述待处理数据相对应的缓存数据；/n对所述缓存数据进行转储操作，生成与所述待处理数据相对应的目标文件。/n
【技术特征摘要】 【专利技术属性】
1.一种数据处理方法，其特征在于，包括：
获取待处理数据；
利用多副本技术对所述待处理数据进行处理，生成与所述待处理数据相对应的至少一个副本文件；
生成与所述待处理数据相对应的缓存数据；
对所述缓存数据进行转储操作，生成与所述待处理数据相对应的目标文件。
2.根据权利要求1所述的方法，其特征在于，所述数据处理方法应用于服务器，所述服务器用于以追加写的方式对所述待处理数据进行分析处理。
3.根据权利要求2所述的方法，其特征在于，所述服务器中设置有缓存节点；生成与所述待处理数据相对应的缓存数据，包括：
将所述待处理数据缓存至所述缓存节点，生成与所述待处理数据相对应的缓存数据。
4.根据权利要求1所述的方法，其特征在于，对所述缓存数据进行转储操作，生成与所述待处理数据的目标文件，包括：
对所述缓存数据进行压缩处理，获得压缩后数据；
对所述压缩后数据进行转储操作，生成与所述待处理数据相对应的目标文件。
5.根据权利要求4所述的方法，其特征在于，在对所述缓存数据进行压缩处理之前，所述方法还包括：
获取用于对所述缓存数据进行转储操作的转储条件；
检测所述缓存数据是否满足所述转储条件；
在所述缓存数据满足所述转储条件时，则允许对所述缓存数据进行压缩处理；
在所述缓存数据不满足所述转储条件时，则禁止对所述缓存数据进行压缩处理。
6.根据权利要求5所述的方法，其特征在于，检测所述缓存数据是否满足转储条件，包括：
获取所述缓存数据的数据量大小；
基于所述数据量大小，检测所述缓存数据是否满足转储条件。
7.根据权利要求6所述的方法，其特征在于，基于所述数据量大小，检测所述缓存数据是否满足转储条件，包括：
在所述数据量大小大于预设阈值时，确定所述缓存数据满足所述转储条件；或者，
在所述数据量大小小于或等于预设阈值时，确定所述缓存数据不满足所述转储条件。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，对所述缓存数据进行转储操作，生成与所述待处理数据相对应的目标文件，包括：
利用纠删码技术对所述缓存数据进行在线转储操作，生成与所述待处理数据相对应的纠删码文件。
9.一种数据处理方法，其特征在于，应用于服务器，所述方法还包括：
获取位于服务器中的缓存数据，所述服务器用于以追加写的方式对数据进行分析处理；
利用纠删码技术对所述缓存数据进行转储操作，生成与所述缓存数据相对应的目标文件。
10.根据权利要求9所述的方法，其特征在于，在获取位于服务器中的缓存数据之前，所述方法还包括：
获取客户端发送的待处理数据；
对所述待处理数据进行缓存处理，生成所述缓存数据。
技术研发人员：张小路，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：新加坡;SG
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。