数据处理方法及装置制造方法及图纸

本申请提供数据处理方法及装置，其中所述数据处理方法包括：接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。点的磁盘空间。点的磁盘空间。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本申请涉及数据处理
，特别涉及一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]CDN服务通常会对访问的数据做缓存，正常缓存流程是对整个文件做分片，而分片带来的是Inode个数增长，同时也带来了内存使用率的增长(Inode对象和相关联对象都需要占用内存)，并且CDN机器上磁盘容量通常是以TB作为单位(55TB，即10个5.5T的磁盘)，而内存是GB作为单位(128GB)，而一个分片通常是2Mb～20Mb，这将导致文件数量大概在288万和2883万个之间，当文件数量不断增加，达到内存使用上限时将会影响服务质量，因此需要将磁盘内存的空间使用量控制在合理范围内。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的缓存中分片文件数量大，占用内存多导致的影响服务质量的问题。根据本申请实施例的第一方面，提供了一种数据处理方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于服务节点，包括：接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。2.如权利要求1所述的数据处理方法，其特征在于，将所述目标业务数据存入所述服务节点的磁盘空间，包括：获取预设分片值；根据所述预设分片值对所述目标业务数据进行分片，获得目标业务子数据；将所述目标业务子数据存入所述服务节点的磁盘空间。3.如权利要求1所述的数据处理方法，其特征在于，计算所述服务节点的当前磁盘空间利用率，包括：获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量；计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值；将所述比值作为所述服务节点的当前磁盘空间利用率。4.如权利要求1所述的数据处理方法，其特征在于，获取预设磁盘空间利用率，包括：接收当前统计周期内的磁盘空间利用率调整指令；获取当前缓存命中率和上一缓存命中率；根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率；基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率。5.如权利要求4所述的数据处理方法，其特征在于，获取当前缓存命中率和上一缓存命中率，包括：根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率。6.如权利要求5所述的数据处理方法，其特征在于，根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率，包括：获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数；计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值，将所述第一比值作为上一缓存命中率；计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值，将所述第二比值作为当前缓存命中率。7.如权利要...

【专利技术属性】
技术研发人员：蔡尚志，王盛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：