【技术实现步骤摘要】
本申请涉及存储，特别是涉及一种数据的缩减方法、装置、设备、存储介质及处理器。
技术介绍
1、随着数据的急剧膨胀，企业需要不断购置大量的存储设备来应对不断增长的存储需求，然而，单纯地提高存储容量并不能从根本上解决问题，需要从提高存储效率的角度寻求解决方案。
2、目前，数据重压缩、重删等数据缩减方式，在一些场景下，缩减效率较低，缩减效果不理想。
技术实现思路
1、基于此，本申请提供了一种数据的缩减方法、装置、设备、存储介质及处理器，通过将待处理的数据进行语义解析，按照语义信息对该数据语义解析所得的对象分别进行重删和压缩处理，实现对该数据合理且高效的数据缩减，从而提高数据存储效率。
2、第一方面，本申请提供了一种数据的缩减方法，该方法例如可以包括：首先，对数据进行语义解析，获得第一对象与第一语义信息的对应关系，所述第一对象为所述数据中的第一类型的数据，所述第一语义信息用于指示所述第一对象的详情；然后，根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，所述第二对象的语义与所述第一对象的语义相同；接着，根据所述第一语义信息对所述第二对象进行压缩，获得第三对象。其中，所述第一语义信息例如可以包括：所述第一对象的数据类型、所述第一对象的数据大小或所述第一对象的指纹信息。这样，通过语义解析将待处理数据按照所属的类型拆分为不同的对象，每个对象属于一种数据类型，并获得每个对象的语义信息，基于语义信息实施对象级的数据重删和数据压缩，克服了目前定长数据重删的重删率低，变
3、在一些实现方式中，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，例如可以包括：若数据库存在与所述第一语义信息匹配的对象，则，将该对象记作所述第二对象。那么，该方法还可以包括：针对所述第二对象，在所述数据库中记录所述第一对象对应的映射信息，所述映射信息包括所述第一对象在所述数据中的位置。这样，对于数据库中已经保存了相同语义的对象，不作重复保存，仅记录该对象在所述待处理数据中的位置，提高了存储空间的利用率。
4、在另一些实现方式中，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，例如也可以包括：若数据库中不存在与所述第一语义信息匹配的对象，则，将所述第一对象记作所述第二对象。那么，该方法还可以包括：在所述数据库中保存所述第一对象和所述第一语义信息的对应关系。这样，对于数据库中不存在相同语义的对象，可以作为新语义的对象保存。
5、在又一些实现方式中，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，例如可以包括：若数据库中不存在与所述第一语义信息匹配的对象，且所述第一对象为压缩形态的数据，则，对所述第一对象进行解压缩，获得第四对象；若数据库存在与所述第四对象的语义匹配的对象，则，将该对象记作所述第二对象。那么，该方法还可以包括：针对所述第二对象，在所述数据库中记录所述第一对象对应的映射信息，所述映射信息包括所述第一对象在所述数据中的位置。这样，在确定数据库中不存在相同语义的对象且该对象为压缩数据时，先根据语义信息对该对象进行解压缩，再对解压缩后的裸数据进行语义分析和匹配，如果发现数据库中有与该解压后的裸数据匹配的，则，不再重复保存该对象，仅记录该对象在所述待处理数据中的位置，提高了存储空间的利用率。
6、在另一些实现方式中，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，例如可以包括：若数据库中不存在与所述第一语义信息匹配的对象，且所述第一对象为压缩形态的数据，则，对所述第一对象进行解压缩，获得第四对象；若数据库不存在与所述第四对象的第四语义信息匹配的对象，则，将所述第四对象记作所述第二对象。那么，该方法还可以包括：在所述数据库中保存所述第四对象和所述第四语义信息的对应关系。这样，在确定数据库中不存在相同语义的对象且该对象为压缩数据时，先根据语义信息对该对象进行解压缩，再对解压缩后的裸数据进行语义分析和匹配，如果发现数据库中仍然没有与该解压后的裸数据匹配的对象，则，可以将裸数据作为新语义的对象进行保存。
7、再又一些实现方式中，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，例如可以包括：若数据库中不存在与所述第一语义信息匹配的对象，且所述第一对象不是压缩形态的数据，则，将所述第一对象记作所述第二对象。那么，该方法还可以包括：在所述数据库中保存所述第一对象和所述第一语义信息的对应关系。如此，对于数据库中不存在相同语义且不属于压缩数据的对象，可以作为新语义的对象保存。
8、在一些实现方式中，所述根据所述第一语义信息对所述第二对象进行压缩，获得第三对象，例如可以包括：基于所述第一语义信息获得第一压缩算法，所述第一压缩算法与所述第一语义信息中指示的所述第一对象的数据类型对应；基于所述第一压缩算法对所述第二对象进行压缩，获得所述第三对象。可见，对第二对象进行压缩或重压缩，使得获得的第三对象的数据大小小于第二对象的数据大小，存储第三对象利于节省存储空间，使最终存储的对象获得更高的压缩率。
9、作为一个示例，如果第二对象为非压缩格式的数据，那么，所述根据所述第一语义信息对所述第二对象进行压缩，获得第三对象，可以包括：解析第一语义信息获得第二对象的数据类型，根据第二对象的数据类型获得适用该数据类型的第一压缩算法，从而，基于该第一压缩算法对第二对象进行压缩并将压缩后的数据记作第三对象。
10、作为另一个示例，如果第二对象为压缩格式的数据，那么，所述根据所述第一语义信息对所述第二对象进行压缩，获得第三对象，可以包括：根据所述第一语义信息对所述第二对象进行重压缩，获得第三对象。重压缩，是指将压缩数据还原为裸数据后，基于压缩率更高的压缩算法对裸数据再进行压缩以获得缩减率更高的数据的过程。对第二对象进行重压缩，可以包括：解析第一语义信息获得第二对象的数据类型；根据第二对象的数据类型获得压缩该第二对象的第二压缩算法对应的解压算法；基于该解压所发对第二对象进行解压缩，获得第八对象，第八对象使用第二压缩算法压缩获得第二对象，第二对象使用所述解压算法解压缩获得第八对象；根据所述第二对象的数据类型获得适用该数据类型的第一压缩算法，从而，基于该第一压缩算法对第八对象进行压缩并将压缩后的数据记作第三对象，其中，第一压缩算法的压缩率高于第二压缩算法，即，第三对象的数据大小小于第二对象的数据大小。
11、上述示例中本文档来自技高网...
【技术保护点】
1.一种数据的缩减方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一语义信息包括：所述第一对象的数据类型、所述第一对象的数据大小或所述第一对象的指纹信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
6.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
7.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第一语义信息对所述第二对象进行压缩，获得第三对象，包括：
...【技术特征摘要】
1.一种数据的缩减方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一语义信息包括：所述第一对象的数据类型、所述第一对象的数据大小或所述第一对象的指纹信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
6.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
7.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一语义信息对所述第一对象进行重删处理，获得第二对象，包括：
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第一语义信息对所述第二对象进行压缩，获得第三对象，包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
10.一种数据的缩减装置，其特征在于，包括：
11.根据权利要求10所述的装置，其特征在于，所述第一语义信息包括：所述第一对象的数据类型、所述第一对象的数据大小或所述第一对象的指纹信息。
12.根据权利要求10或11所述的装置，其特征在于，所述重删单元，具体用于：
13.根据权利要求10或11所述的装置，其特征在于，所述重删单元，具体用于：
14.根据权利要求10或11所述的装置，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。