【技术实现步骤摘要】
数据处理方法、装置和服务器
[0001]本说明书属于云计算
，尤其涉及数据处理方法、装置和服务器。
技术介绍
[0002]在进行诸如深度学习等数据处理的过程中，常常会涉及到大量的资源分配（例如，显存资源分配等）和使用。但是，在资源分配和使用的过程中容易产生资源碎片，且上述资源碎片往往很难释放和回收利用。
[0003]因此，亟需一种能够减少资源碎片的产生，并能有效释放和回收利用资源碎片的方法。
技术实现思路
[0004]本说明书提供了一种数据处理方法、装置和服务器，能够减少资源分配和使用的过程中产生的资源碎片，有助于后续有效地释放和回收利用资源碎片，提高资源的利用率。
[0005]本说明书提供的数据处理方法、装置和服务器是这样实现的：一种数据处理方法，包括：获取目标资源的需求量；根据所述目标资源的需求量，基于第一分配规则，从当前空闲的目标资源中分配出对应的第一类数据块，并获取与所述第一类数据块对应的第一类地址；释放所述第一类数据块；并基于第二分配规则，根据所述第一类地址，通过进行多次第二类...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：获取目标资源的需求量；根据所述目标资源的需求量，基于第一分配规则，从当前空闲的目标资源中分配出对应的第一类数据块，并获取与所述第一类数据块对应的第一类地址；释放所述第一类数据块；并基于第二分配规则，根据所述第一类地址，通过进行多次第二类数据块分配，以从所述当前空闲的目标资源中分配出目标数据块；其中，所述第二类数据块所包含的资源量小于第一类数据块。2.根据权利要求1所述的方法，所述目标资源包括GPU的显存资源。3.根据权利要求1所述的方法，基于第一分配规则，根据所述目标资源的需求量，基于第一分配规则，从当前空闲的目标资源中分配出对应的第一类数据块，包括：根据目标资源的需求量，确定出目标资源的分配量；基于第一分配规则，根据当前空闲的第一类地址区间，从当前空闲的目标资源中分配出对应的第一类数据块；其中，所述第一类数据块所包含的资源量等于目标资源的分配量；所述当前空闲的第一类地址区间与所述当前空闲的目标资源存在映射关系。4.根据权利要求3所述的方法，基于第二分配规则，根据所述第一类地址，通过进行多次第二类数据块分配，以从所述当前空闲的目标资源中分配出目标数据块，包括：基于第二分配规则，确定满足目标资源的分配量的第二类数据块的数量；根据所述第一类地址和所述第二类数据块的数量，确定出多个第一类子地址；根据所述多个第一类子地址和当前空闲的第一类地址区间，依次从所述当前空闲的目标资源中分配出多个第二类数据块，作为目标数据块。5.根据权利要求3所述的方法，在从所述当前空闲的目标资源中分配出目标数据块的同时，所述方法还包括：根据在从所述当前空闲的目标资源中分配多个第二类数据块时返回的多个handle地址，得到多个第二类子地址；将所述多个第二类子地址，作为与所述目标数据块对应的第二类地址；并保存目标数据块的第二类地址。6.根据权利要求5所述的方法，保存目标数据块的第二类地址，包括：将所述目标数据块的第二类地址记录在元数据中；其中，所述元数据还包含有所述多个第二类数据块中排序在末尾的第二类数据块所使用的资源量。7.根据权利要求6所述的方法，在从所述当前空闲的目标资源中分配出目标数据块之后，所述方法还包括：基于预设的释放规则，从目标数据块中释放出当前空闲的第二类数据块。8.根据权利要求7所述的方法，基于预设的释放规则，从目标数据块中释放出当前空闲的第二类数据块，包括：基于预设的释放规则，确定出目标数据块中当前处于使用状态的第一子区块以及当前处于空闲状态的第二子区块；根据所述元数据、所述第一子区块和所述第二子区块，确定当前空闲的第二类数据块；并从所述目标数据块中释放出当前空闲的第二类数据块。9.根据权利要求8所述的方法，在从所述目标数据块中释放出当前空闲的第二类数据
块之后，所述方法还包括：根据使用当前空闲的第二类数据块所得到的资源，更新当前空闲的...
【专利技术属性】
技术研发人员：赵军平，赵守仁，邢舒明，
申请(专利权)人：北京蚂蚁云金融信息服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。