数据处理方法、装置及计算设备制造方法及图纸

本申请实施例提供一种数据处理方法、装置及计算设备，其中，确定第一待写入数据；从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；将所述第一待写入数据覆盖写入所述第一覆盖区域。本申请实施例提供的技术方案降低了设备IO量，提高了设备性能。

Data processing methods, devices and computing equipment

【技术实现步骤摘要】
数据处理方法、装置及计算设备
本申请实施例涉及计算机应用
，尤其涉及一种数据处理方法、装置及计算设备。
技术介绍
循环写是一种常见的数据写入方式，是指从存储设备的开始位置到结束位置顺序写入数据，且存储设备写满之后再从开始位置开始覆盖写入数据。目前在cache(缓存)场景下大多采用循环写的方式写入数据。由于在存储设备中循环写入数据时会覆盖已存储数据，被覆盖的已存储数据会被淘汰掉，然而淘汰的数据中可能包括后续仍会访问的数据，因此这些淘汰的数据可能会被再次写入存储设备中，从而就会增加了存储设备的IO(Input/Output，输入/输出)量，影响设备性能。
技术实现思路
本申请实施例提供一种数据处理方法、装置及计算设备，用以解决现有技术中设备IO(Input/Output，输入/输出)量增加影响设备性能的技术问题。第一方面，本申请实施例提供了一种数据处理方法，包括：确定第一待写入数据；从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；将所述第一待写入数据覆盖写入所述第一覆盖区域。可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：从前一次覆盖写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域；判断所述待覆盖区域是否满足淘汰条件；如果否，将所述待覆盖区域相邻的下一个存储区域继续作为所述第一待写入数据的待覆盖区域，并返回执行所述判断所述待覆盖区域是否满足淘汰条件；如果是，将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域；其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识。可选地，所述判断所述待覆盖区域是否满足淘汰条件包括：确定所述待覆盖区域的访问热度；判断所述待覆盖区域的访问热度是否低于淘汰阈值。可选地，所述确定所述待覆盖区域的访问热度包括：根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。可选地，所述判断所述待覆盖区域是否满足淘汰条件包括：判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定所述第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。可选地，所述第一存储设备预先划分为多个存储区域；所述多个存储区域预先按照如下方式进行标记：记录每个存储区域的访问次数，以确定每个存储区域的访问热度；如果任一个存储区域的访问热度低于所述淘汰阈值，标记所述任一个存储区域为冷数据标识，否则标记所述任一个存储区域为温数据标识。可选地，所述确定第一待写入数据包括：将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每个数据块作为所述第一待写入数据。可选地，所述将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块包括：接收数据访问请求；判断所述第一存储设备中是否存储所述数据访问请求对应的数据对象；如果所述第一存储设备中未存储所述数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。可选地，所述确定第一待写入数据包括：确定第二待写入数据对应第二存储设备的第二覆盖区域；读取所述第二覆盖区域中的存储数据；将所述第二待写入数据覆盖写入所述第二覆盖区域；确定所述存储数据中满足淘汰需求的至少一条数据对象；将所述至少一条数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每一个数据块分别作为所述第一待写入数据。可选地，所述确定第二待写入数据对应第二存储设备的第二覆盖区域之前，所述方法还包括：将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每个数据块作为所述第二待写入数据。第二方面，本申请实施例中提供了一种数据处理装置，包括：数据确定模块，用于确定第一待写入数据；区域寻找模块，用于从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；数据写入模块，用于将所述第一待写入数据覆盖写入所述第一覆盖区域。第三方面，本申请实施例中提供了一种计算设备，包括存储组件和处理组件；其中，所述存储组件用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件调用执行；所述处理组件用于：确定第一待写入数据；从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；将所述第一待写入数据覆盖写入所述第一覆盖区域。本申请实施例中，对于第一待写入数据，从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，再将所述第一待写入数据覆盖写入所述第一覆盖区域。通过本申请实施例的技术方案，通过寻找满足淘汰条件的第一覆盖区域，可以仅将满足淘汰条件的存储区域中的存储数据进行淘汰，而保留不满足淘汰条件的存储区域中的存储数据，从而可以降低设备IO量，提高设备性能。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请提供的一种数据处理方法一个实施例的流程图；图2示出了本申请提供的一种数据处理方法又一个实施例的流程图；图3示出了本申请实施例在一个实际应用中的数据处理系统的结构示意图；图4示出了本申请提供的一种数据处理装置一个实施例的结构示意图；图5示出了本申请提供的一种计算设备一个实施例的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n确定第一待写入数据；/n从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；/n将所述第一待写入数据覆盖写入所述第一覆盖区域。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
确定第一待写入数据；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。


2.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域；
判断所述待覆盖区域是否满足淘汰条件；
如果否，将所述待覆盖区域相邻的下一个存储区域继续作为所述第一待写入数据的待覆盖区域，并返回执行所述判断所述待覆盖区域是否满足淘汰条件；
如果是，将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。


3.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。


4.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域；其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识。


5.根据权利要求2所述的方法，其特征在于，所述判断所述待覆盖区域是否满足淘汰条件包括：
确定所述待覆盖区域的访问热度；
判断所述待覆盖区域的访问热度是否低于淘汰阈值。


6.根据权利要求5所述的方法，其特征在于，所述确定所述待覆盖区域的访问热度包括：
根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。


7.根据权利要求2所述的方法，其特征在于，所述判断所述待覆盖区域是否满足淘汰条件包括：
判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定所述第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。


8.根据权利要求7所述的方法，其特征在于，所述第一存储设备预先划分为多个存储区域；
所述多个存储区域预先按照如下方式进行标记：
记录每个存储区域的访问次数，以确...

【专利技术属性】
技术研发人员：王文铎，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY