一种重删率计算方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种重删率计算方法，包括：获取文件操作请求，利用在线重删方法执行文件操作请求并生成对应的日志信息，将日志信息添加到日志中；读取日志，计算存储系统的理论占用值；获取存储系统的实际占用值，利用理论占用值和实际占用值计算重删率；该方法在获取执行文件操作请求之后利用在线重删方法执行请求，生成对应的日志信息，在计算重删率时利用日志计算存储系统的理论占用值，利用理论占用值和实际占用值计算存储系统的重删率，无需停止接收业务操作，并且可以准确计算出当前时刻存储系统的重删率，提高了重删率计算的准确性；此外，本发明专利技术还提供了一种重删率计算装置、设备及计算机可读存储介质，同样具有上述有益效果。

A calculation method, device, device and readable storage medium of erasure rate

【技术实现步骤摘要】
一种重删率计算方法、装置、设备及可读存储介质
本专利技术涉及文件重删
，特别涉及一种重删率计算方法、重删率计算装置、重删率计算设备及计算机可读存储介质。
技术介绍
存储空间是一种有限的资源，同一用户上传的不同文件，例如不同时间的日志，或者不同用户上传的文件，例如同一公司的不同人上传的文件，这些被上传的文件中会存在大量内容相同的文件或切分后内容相同的对象。为了节省存储空间，可以对存储集群进行数据重删。在开启重复数据删除功能后，统计重删率，用来衡量、比较不同重删算法、算法优化配置参数以及算法实现细节的效率与性能，变得非常重要。现有重删率计算方法重为离线重删方法(即后台重删方法)，即在文件上传完成后，获取集群的容量，停止接收业务操作并启动文件重删功能，在利用重删逻辑删除内容重复文件后，获取重删后的集群存储的容量，利用重删前后的容量计算重删率。但是这样仅能计算一段时间内的平均重删率，计算的重删率不够准确。因此，如何解决现有重删率计算方法计算的重删率不够准确的问题，是本领域技术人员需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种重删率计算方法、重删率计算装置、重删率计算设备及计算机可读存储介质，解决了现有重删率计算方法计算的重删率不够准确的问题。为解决上述技术问题，本专利技术提供了一种重删率计算方法，包括：获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，将所述日志信息添加到日志中；读取所述日志，计算存储系统的理论占用值；获取所述存储系统的实际占用值，利用所述理论占用值和所述实际占用值计算重删率。可选的，所述读取所述日志，计算存储系统的理论占用值，包括：读取所述日志中的各个所述日志信息，确定各个所述日志信息中的文件体积和与所述文件体积对应的状态；其中，所述状态为加状态或减状态；将所有具有所述加状态的所述文件体积相加，得到第一占用值，将所有具有所述减状态的所述文件体积相加，得到第二占用值；利用所述第一占用值减去所述第二占用值，得到所述理论占用值。可选的，当所述文件操作请求为文件上传操作请求时，所述获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，包括：获取文件上传操作请求和第一文件，对所述第一文件进行条带化切片，得到多个第一对象；计算各个所述第一对象的第一指纹信息，利用各个所述第一指纹信息依次与指纹信息库进行匹配；当匹配成功时，将所述第一指纹信息对应的第一目标对象的引用计数加一；其中，第一目标对象被存储在所述存储系统中；当匹配不成功时，将所述第一指纹信息对应的第一对象存入所述存储系统中；获取所述第一文件的第一文件体积，利用所述第一文件体积生成上传日志信息，将所述上传日志信息确定为所述日志信息。可选的，当所述文件操作请求为文件更新操作请求时，所述获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，包括：获取文件更新操作请求和第二文件，确定所述文件更新操作请求指定的更新文件；获取所述更新文件的更新文件体积，利用所述更新文件体积生成删除日志信息；将所述第二文件存入所述存储系统中，并获取所述第二文件的第二文件体积，利用所述第二文件体积生成第一日志信息；其中，第一日志信息为上传日志信息；利用所述第一日志信息和所述删除日志信息构成所述日志信息。本专利技术还提供了一种重删率计算装置，包括：日志更新模块，用于获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，将所述日志信息添加到日志中；第一计算模块，用于读取所述日志，计算存储系统的理论占用值；第二计算模块，用于获取所述存储系统的实际占用值，利用所述理论占用值和所述实际占用值计算重删率。可选的，所述第一计算模块，包括：确定单元，用于读取所述日志中的各个所述日志信息，确定各个所述日志信息中的文件体积和与所述文件体积对应的状态；其中，所述状态为加状态或减状态；第一计算单元，用于将所有具有所述加状态的所述文件体积相加，得到第一占用值，将所有具有所述减状态的所述文件体积相加，得到第二占用值；第二计算单元，用于利用所述第一占用值减去所述第二占用值，得到所述理论占用值。可选的，所述日志更新模块，包括：第一对象获取单元，用于获取文件上传操作请求和第一文件，对所述第一文件进行条带化切片，得到多个第一对象；匹配单元，用于计算各个所述第一对象的第一指纹信息，利用各个所述第一指纹信息依次与指纹信息库进行匹配；计数修改单元，用于当匹配成功时，将所述第一指纹信息对应的第一目标对象的引用计数加一；其中，第一目标对象被存储在所述存储系统中；存储单元，用于当匹配不成功时，将所述第一指纹信息对应的第一对象存入所述存储系统中；日志生成单元，用于获取所述第一文件的第一文件体积，利用所述第一文件体积生成上传日志信息，将所述上传日志信息确定为所述日志信息。可选的，所述日志更新模块，包括：确定单元，用于获取文件更新操作请求和第二文件，确定所述文件更新操作请求指定的更新文件；第一生成单元，用于获取所述更新文件的更新文件体积，利用所述更新文件体积生成删除日志信息；第二生成单元，用于将所述第二文件存入所述存储系统中，并获取所述第二文件的第二文件体积，利用所述第二文件体积生成第一日志信息；其中，第一日志信息为上传日志信息；生成单元，用于利用所述第一日志信息和所述删除日志信息构成所述日志信息。本专利技术还提供了一种重删率计算设备，包括存储器和处理器，其中：所述存储器，用于保存计算机程序；所述处理器，用于执行所述计算机程序，以实现上述的重删率计算方法。本专利技术还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的重删率计算方法。本专利技术提供的重删率计算方法，获取文件操作请求，利用在线重删方法执行文件操作请求并生成对应的日志信息，将日志信息添加到日志中。读取日志，计算存储系统的理论占用值。获取存储系统的实际占用值，利用理论占用值和实际占用值计算重删率。可见，该方法在获取执行文件操作请求之后利用在线重删方法执行请求，生成对应的日志信息并将日志信息添加到日志中，在计算重删率时利用日志计算存储系统的理论占用值，并检测此时存储系统的实际占用值，利用理论占用值和实际占用值计算存储系统的重删率。该方法无需停止接收业务操作，可以准确计算出当前时刻存储系统的重删率，提高了重删率计算的准确性，解决了现有重删率计算方法计算的重删率不够准确的问题，对重删算法配置参数的优化以及算法实现过程中效率和性能的提高具有重要意义。此外，本专利技术还提供了一种重删率计算装置、重删率计算设备及计算机可读存储介质，同样具有上述有益效果。附图说明为了更清楚地说明本专利技术实施例或现本文档来自技高网...

【技术保护点】
1.一种文件重删率计算方法，其特征在于，包括：/n获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，将所述日志信息添加到日志中；/n读取所述日志，计算存储系统的理论占用值；/n获取所述存储系统的实际占用值，利用所述理论占用值和所述实际占用值计算重删率。/n

【技术特征摘要】
1.一种文件重删率计算方法，其特征在于，包括：
获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，将所述日志信息添加到日志中；
读取所述日志，计算存储系统的理论占用值；
获取所述存储系统的实际占用值，利用所述理论占用值和所述实际占用值计算重删率。


2.根据权利要求1所述的重删率计算方法，其特征在于，所述读取所述日志，计算存储系统的理论占用值，包括：
读取所述日志中的各个所述日志信息，确定各个所述日志信息中的文件体积和与所述文件体积对应的状态；其中，所述状态为加状态或减状态；
将所有具有所述加状态的所述文件体积相加，得到第一占用值，将所有具有所述减状态的所述文件体积相加，得到第二占用值；
利用所述第一占用值减去所述第二占用值，得到所述理论占用值。


3.根据权利要求1所述的重删率计算方法，其特征在于，当所述文件操作请求为文件上传操作请求时，所述获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，包括：
获取文件上传操作请求和第一文件，对所述第一文件进行条带化切片，得到多个第一对象；
计算各个所述第一对象的第一指纹信息，利用各个所述第一指纹信息依次与指纹信息库进行匹配；
当匹配成功时，将所述第一指纹信息对应的第一目标对象的引用计数加一；其中，第一目标对象被存储在所述存储系统中；
当匹配不成功时，将所述第一指纹信息对应的第一对象存入所述存储系统中；
获取所述第一文件的第一文件体积，利用所述第一文件体积生成上传日志信息，将所述上传日志信息确定为所述日志信息。


4.根据权利要求1所述的重删率计算方法，其特征在于，当所述文件操作请求为文件更新操作请求时，所述获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，包括：
获取文件更新操作请求和第二文件，确定所述文件更新操作请求指定的更新文件；
获取所述更新文件的更新文件体积，利用所述更新文件体积生成删除日志信息；
将所述第二文件存入所述存储系统中，并获取所述第二文件的第二文件体积，利用所述第二文件体积生成第一日志信息；其中，第一日志信息为上传日志信息；
利用所述第一日志信息和所述删除日志信息构成所述日志信息。


5.一种文件重删率计算装置，其特征在于，包括：
日志更新模块，用于获取文件操作请求，利用在线重删方法执行所述文件操作请求并生成对应的日志信息，将所述日志信息添加到日志中；
第一计算模块，用...

【专利技术属性】
技术研发人员：李治鹏，胡永刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37