【技术实现步骤摘要】
文件处理方法、装置、设备、介质及产品
[0001]本公开涉及人工智能
中的云计算领域,尤其涉及一种文件处理方法、装置、设备、介质及产品。
技术介绍
[0002]随着移动互联网和人工智能的高速发展,个人云存储行业的数据规模越来越大。随着数据量的增大,数据的存储成本随之升高。现有的云存储技术,用户可以将本地数据传输至网盘中,由网盘实现数据的存储。网盘通常可以为HDD(Hard Disk Drive,硬盘驱动器)服务器,是一种磁盘存储器,所有用户数据存储于该HDD服务器上,提供毫秒级延迟的数据访问服务。但是现有的数据存储成本过高,消耗大量存储资源。
技术实现思路
[0003]本公开提供了一种用于网盘存储场景中文件处理的方法、装置、设备、介质及产品。
[0004]根据本公开的第一方面,提供了一种文件处理方法,包括:
[0005]从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件;
[0006]将多个所述待迁移文件分别映射为数据对象,以获得所述目标用户对应的多个数据对象;
[0007]将所述目标用户对应的多个所述数据对象进行数据聚合,得到目标数据块;
[0008]将所述目标数据块存储至磁带存储介质中。
[0009]根据本公开的第二方面,提供了一种文件处理装置,包括:
[0010]文件选择单元,用于从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件;
[0011]文件映射单元,用于将多个所述待迁移文件分别映射为数据对象,以获得所 ...
【技术保护点】
【技术特征摘要】
1.一种文件处理方法,包括:从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件;将多个所述待迁移文件分别映射为数据对象,以获得所述目标用户对应的多个数据对象;将所述目标用户对应的多个所述数据对象进行数据聚合,得到目标数据块;将所述目标数据块存储至磁带存储介质中。2.根据权利要求1所述的方法,其中,所述将所述目标用户对应的多个数据对象进行数据聚合,得到目标数据块,包括:确定待写入数据块;从所述目标用户对应的多个数据对象中,确定当前的待写入对象;在所述待写入数据块的写入状态处于可写入状态时,将所述待写入对象写入所述待写入数据块;获取所有待写入数据块写入结束获得的所述目标数据块。3.根据权利要求2所述的方法,还包括:检测所述待写入对象写入完毕时所述待写入数据块的写入状态;所述写入状态包括:可写入状态或者写满状态;若所述写入状态为可写入状态,返回所述从所述目标用户对应的多个数据对象中,确定当前待写入对象的步骤继续执行,直至所述目标用户的所述多个数据对象写入完毕,获得写入结束时的目标数据块;若所述写入状态为写满状态,确定所述待写入数据块写满后的目标数据块,并返回至所述确定待写入数据块的步骤继续执行。4.根据权利要求3所述的方法,其中,所述在所述待写入数据块处于可写入状态时,将所述待写入对象写入所述待写入数据块,包括:为所述待写入对象生成写入标识;在所述待写入数据块处于可写入状态时,建立所述写入标识与所述待写入数据块的写入关联;基于所述写入关联,将所述待写入对象按照所述写入标识写入所述待写入数据块。5.根据权利要求4所述的方法,其中,所述直至所述目标用户的所述多个数据对象写入完毕,获得写入完成的目标数据块之后,还包括:检测所述多个数据对象写入完毕时所述待写入数据块的写入状态;若所述待写入数据块的写入状态为可写入状态,则返回至所述从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件的步骤继续执行。6.根据权利要求5所述的方法,其中,所述若所述待写入数据块的写入状态为可写入状态,则返回至所述从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件的步骤继续执行之后,所述为所述待写入对象生成写入标识,包括:获取所述待写入数据块关联的写入标识;将所述待写入数据块关联的所述写入标识作为新获得的目标用户所对应的当前待写入对象的写入标识。7.根据权利要求4
‑
6任一项所述的方法,其中,所述若所述写入状态为可写入状态,返
回所述从所述目标用户对应的多个数据对象中,确定当前待写入对象的步骤继续执行之后,所述为所述待写入对象生成写入标识,包括:获取所述待写入数据块关联的写入标识;将所述待写入数据块关联的所述写入标识作为所述目标用户新获得的所述待写入对象的写入标识。8.根据权利要求4
‑
7任一项所述的方法,其中,所述基于所述写入关联,将所述待写入对象按照所述写入标识写入所述待写入数据块,包括:将所述待写入对象拆分为多个数据分片;将多个所述数据分片依次写入到所述写入标识关联的所述待写入数据块中。9.根据权利要求8所述的方法,其中,所述将所述待写入对象拆分为多个数据分片之后,还包括:确定所述多个数据分片分别对应的拆分标识;所述将所述多个数据分片按照所述写入标识依次写入到所述待写入数据块中,包括:按照所述多个数据分片分别对应的拆分标识,依次将所述多个数据分片写入到所述写入标识关联的所述待写入数据块中。10.根据权利要求8所述的方法,还包括:在所述待写入对象的多个所述数据分片按照所述写入标识写入所述待写入数据块的过程中,检测所述待写入数据块的写入状态;在任一个所述数据分片写入所述待写入数据块,检测所述待写入数据块的写入状态为写满状态时,确定新的待写入数据块;为所述待写入对象设置新的写入标识,以建立所述新的写入标识与所述新的待写入数据块的关联关系;将未写入的数据分片,按照所述新的写入标识依次写入到所述新的待写入数据块中,直至多个所述数据分片均写入到对应的待写入数据块,获得相应的目标数据块。11.根据权利要求2
‑
10任一项所述的方法,其中,所述从所述目标用户对应的多个数据对象中,确定当前待写入对象,包括:确定所述目标用户对应的多个数据对象分别对应的写入顺序;按照多个所述数据对象分别对应的写入顺序,确定前一个写入完成的数据对象的下一个数据对象为当前待写入对象。12.根据权利要求1
‑
11任一项所述的方法,其中,所述从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件,包括:从所述磁盘存储介质中确定满足用户筛选条件的目标用户;从所述目标用户的所有文件中选择满足文件筛选条件的多个待迁移文件。13.根据权利要求12所述的方法,其中,所述从所述目标用户的所有文件中选择满足文件筛选条件的多个待迁移文件,包括:从所述目标用户的所有文件中选择属于预定文件类型的多个候选文件;基于所述多个候选文件分别对应的访问频率,从所述多个候选文件中确定访问频率小于预设访问频率阈值的所述多个待迁移文件。14.根据权利要求13所述的方法,其中,所述从所述目标用户的所有文件中选择属于预
定文件类型的多个候选文件,包括:获取所述目标用户名下的所有文件;从所述目标用户名下的所有文件中,确定多个未存在预设分享历史的文件;将多个所述未存在预设分享历史的文件确定为多个所述候选文件。15.根据权利要求1
‑
14任一项所述的方法,还包括:确定所述磁盘存储介质接收的所述目标用户发起的文件访问请求;响应于所述文件访问请求,确定所述目标用户请求访问的目标文件;确定所述目标文件对应的目标数据对象,以查询所述目标数据对象所在的目标数据块;从所述磁带存储介质读取所述目标数据块,获得所述目标数据对象;将所述目标数据对象映射为所述目标文件,并发送所述目标文件至所述磁盘存储介质,以供所述磁盘存储介质为所述目标用户输出所述目标文件。16.一种文件处理装置,包括:文件选择单元,用于从磁盘存储介质中筛选满足迁移条件的目标用户的多个待迁移文件;文件映射单元,用于将多个所述待迁移文件分别映射为数据对象,以获得所述目标用户对应的...
【专利技术属性】
技术研发人员:李磊,
申请(专利权)人:北京度友信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。