本发明专利技术实施例提供一种数据处理方法和装置，通过将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈值；将待存储文件的第一个数据单元存储在高性能存储介质中。对于文件大小不超过数据单元阈值的小文件，则可以整个存储在高性能存储介质中，从而可以加速对小文件的访问速度，提高文件的访问效率。
【技术实现步骤摘要】
数据处理方法和装置
本专利技术实施例涉及存储技术，尤其涉及一种数据处理方法和装置。
技术介绍
存储设备中的存储介质主要用于存储各种文件，存储介质可以分为多种类型的 存储介质，有些存储介质的性能相对较高，有些存储介质的性能相对较低，例如固态硬 盘(Solid State Disk,简称为SSD)的性能高于串行连接小型计算机系统接口(Serial Attached Small Computer System Interface,简称为 SAS)硬盘,SAS硬盘的性能高于串口 (Serial Advanced TechnologyAttachment,简称为SATA)硬盘，而磁带的性能低于各硬盘 的性能等等。但是，在同时存在多种类型存储介质的情况下，需要将各文件进行分级存储。现有技术中，若在同时存在SSD (高性能存储介质)和SATA硬盘(低性能存储介质) 的情况下，主要通过将文件先存储在SATA硬盘或SSD中，在一定时间内统计SATA硬盘中文 件的访问次数，若该文件的访问次数大于预设值时，则将该文件升级存储至SSD中；在一定 时间内统计SSD中文件的访问次数，若该文件的访问次数小于预设值时，则将该文件降级 存储至SATA硬盘中，从而实现了文件的分硬盘存储。在实现本专利技术的过程中，专利技术人发现现有技术中，对于存储在低性能存储介质中 的小文件，只有当统计的访问次数高时才能存储在高性能存储介质中，但是小文件的访问 呈随机分布，在小文件存储在高性能存储介质后可能不会再被访问了，而将要被访问的小 文件还可能存储在低性能存储介质中，从而一直在访问存储在低性能存储介质的小文件， 无法加速对小文件的访问速度。
技术实现思路
本专利技术提供一种数据处理方法和装置，用于将待存储文件的第一个数据单元存储 在高性能存储介质中，以实现加速对小文件的访问速度，提高文件的访问效率。第一方面，本专利技术实施例提供一种数据处理方法，包括将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈 值；将所述待存储文件的第一个数据单元存储在高性能存储介质中。结合第一方面，在第一方面的第一种可能实现的方式中，所述将所述待存储文件 的第一个数据单元存储在高性能存储介质中之后，还包括生成所述待存储文件的元数据，将所述待存储文件的元数据存储在高性能存储介 质或低性能存储介质中。结合第一方面的第一种可能实现的方式，在第一方面的第二种可能实现的方式 中，还包括若所述高性能存储介质的存储利用率大于第一存储利用率阈值，且所述第一个数 据单元的访问次数小于第一访问次数阈值或所述待存储文件的元数据的访问次数小于第二访问次数阈值，则将存储在所述高性能存储介质中的第一个数据单元转移存储至低性能 存储介质中，并更新所述待存储文件的元数据。结合第一方面的第一种可能实现的方式或第一方面的第二种可能实现的方式,在 第一方面的第三种可能实现的方式中，所述将所述待存储文件的第一个数据单元存储在高 性能存储介质中之后，还包括将所述待存储文件的后续数据单元存储在低性能存储介质中。结合第一方面的第三种可能实现的方式，在第一方面的第四种可能实现的方式 中，所述将所述待存储文件的后续数据单元存储在低性能存储介质中之后，还包括更新所述待存储文件的元数据。结合第一方面的第四种可能实现的方式，在第一方面的第五种可能实现的方式 中，还包括若所述高性能存储介质的存储利用率小于第二存储利用率阈值，且所述待存储文 件的后续数据单元的访问次数大于第三访问次数阈值或所述待存储文件的元数据的访问 次数大于第四访问次数阈值，则将存储在所述低性能存储介质中的所述后续数据单元转移 存储至所述高性能存储介质中，并更新所述待存储文件的元数据。第二方面，本专利技术实施例提供一种数据处理装置，包括数据分成单元，用于将待存储文件分成至少一个数据单元，每个数据单元的大小 不超过数据单元阈值；数据分配单元，用于将所述待存储文件的第一个数据单元存储在高性能存储介质 中。结合第二方面，在第二方面的第一种可能实现的方式中，还包括元数据生成单元，用于在所述数据分配单元将所述待存储文件的第一个数据单元 存储在闻性能存储介质中之后，生成所述待存储文件的兀数据；所述数据分配单元还用于将所述待存储文件的元数据存储在高性能存储介质或 低性能存储介质中。结合第二方面的第一种可能实现的方式，在第二方面的第二种可能实现的方式 中，所述数据分配单元还用于若所述高性能存储介质的存储利用率大于第一存储利用率阈 值，且所述第一个数据单元的访问次数小于第一访问次数阈值或所述待存储文件的元数据 的访问次数小于第二访问次数阈值，则将存储在所述高性能存储介质中的第一个数据单元 转移存储至低性能存储介质中；所述元数据生成单元还用于在所述数据分配单元将存储在所述高性能存储介质 中的第一个数据单元转移存储至低性能存储介质中之后，更新所述待存储文件的元数据。结合第二方面的第一种可能实现的方式或第二方面的第二种可能实现的方式，在 第二方面的第三种可能实现的方式中，所述数据分配单元还用于将所述待存储文件的第一 个数据单元存储在高性能存储介质中之后，将所述待存储文件的后续数据单元存储在低性 能存储介质中。结合第二方面的第三种可能实现的方式，在第二方面的第四种可能实现的方式 中，所述元数据生成单元，还用于在所述数据分配单元将所述待存储文件的后续数据单元 存储在低性能存储介质中之后，更新所述待存储文件的元数据。结合第二方面的第四种可能实现的方式，在第二方面的第五种可能实现的方式 中，所述数据分配单元还用于若所述高性能存储介质的存储利用率小于第二存储利用率阈 值，且所述待存储文件的后续数据单元的访问次数大于第三访问次数阈值或所述待存储文 件的元数据的访问次数大于第四访问次数阈值，则将存储在所述低性能存储介质中的所述 后续数据单元转移存储至所述高性能存储介质中；所述元数据生成单元还用于在所述数据分配单元将将存储在所述低性能存储介 质中的所述后续数据单元转移存储至所述高性能存储介质中之后，更新所述待存储文件的 元数据。本专利技术提供一种数据处理方法和装置，通过将待存储文件分成至少一个数据单 元，每个数据单元的大小不超过数据单元阈值；将待存储文件的第一个数据单元存储在高 性能存储介质中。对于文件大小不超过数据单元阈值的小文件，则可以整个存储在高性能 存储介质中，从而可以加速对小文件的访问速度，提高文件的访问效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。图1为本专利技术数据处理方法实施例一的流程图2为本专利技术数据处理方法实施例二的流程图3为本专利技术数据处理方法实施例三的流程图4为本专利技术数据处理装置实施例一的结构示意图5为本专利技术数据处理装置实施例二的结构示意图6为本专利技术数据处理系统实施例一的结构示意图7为本专利技术提供的计算节点实施例一的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例 中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描本文档来自技高网...
【技术保护点】
一种数据处理方法，其特征在于，包括：将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈值；将所述待存储文件的第一个数据单元存储在高性能存储介质中。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈值；将所述待存储文件的第一个数据单元存储在高性能存储介质中。2.根据权利要求1所述的方法，其特征在于，所述将所述待存储文件的第一个数据单兀存储在闻性能存储介质中之后，还包括生成所述待存储文件的元数据，将所述待存储文件的元数据存储在高性能存储介质或低性能存储介质中。3.根据权利要求2所述的方法，其特征在于，还包括若所述高性能存储介质的存储利用率大于第一存储利用率阈值，且所述第一个数据单元的访问次数小于第一访问次数阈值或所述待存储文件的元数据的访问次数小于第二访问次数阈值，则将存储在所述高性能存储介质中的第一个数据单元转移存储至低性能存储介质中，并更新所述待存储文件的元数据。4.根据权利要求2或3所述的方法，其特征在于，所述将所述待存储文件的第一个数据单兀存储在闻性能存储介质中之后，还包括将所述待存储文件的后续数据单元存储在低性能存储介质中。5.根据权利要求4所述的方法，其特征在于，所述将所述待存储文件的后续数据单元存储在低性能存储介质中之后，还包括更新所述待存储文件的元数据。6.根据权利要求5所述的方法，其特征在于，还包括若所述高性能存储介质的存储利用率小于第二存储利用率阈值，且所述待存储文件的后续数据单元的访问次数大于第三访问次数阈值或所述待存储文件的元数据的访问次数大于第四访问次数阈值，则将存储在所述低性能存储介质中的所述后续数据单元转移存储至所述高性能存储介质中，并更新所述待存储文件的元数据。7.一种数据处理装置，其特征在于，包括数据分成单元，用于将待存储文件分成至少一个数据单元，每个数据单元的大小不超过数据单元阈值；数据分配单元，用于将所述待存储文件的第一个数据单元存储在高性能存储介质中。8.根...
【专利技术属性】
技术研发人员：曹宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。