数据处理方法及装置、处理器、计算机存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置、处理器、计算机存储介质。其中，该方法包括：根据预设规则和数据的属性，确定数据的多个维度的价值；根据数据的多个维度的价值对数据进行标记；根据数据所标记的多个维度价值，对数据进行处理。本发明专利技术解决了相关技术中的数据处理方法，在对数据处理时，仅依据时间进行处理，或者根据用户主动发出的指令进行处理，造成数据处理的效率较低，数据管理的效果差的技术问题。

【技术实现步骤摘要】
数据处理方法及装置、处理器、计算机存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种数据处理方法及装置、处理器、计算机存储介质。
技术介绍
用户在使用手机、个人电脑或者其他带有信息存储功能的计算机系统时，都会定期删除一些文件（或者其他数据）。很多情况下，用户删除文件（或数据）的目的仅仅为了释放更多的存储空间用于存放新数据，如果系统中空闲存储空间很多，用户并不会主动去删除文件或数据。被删除的文件或者数据也仅仅是价值比较低的数据，并非完全无价值。因此经常会发生用户误删文件或数据的情况，而要想恢复这些被误删的文件或者数据，是非常困难的。文件系统、磁盘阵列、数据库等，这些数据存储管理系统都提供删除命令，用户可以用删除命令释放更多磁盘空间，以存放新数据。为了减少管理负担，通常用户不会非常频繁的执行删除命令，更倾向于批量执行删除命令。也即是一次删除很多数据，释放很多存储空间，这样在相当长时间内不需要用户再次去识别挑选可以被删除的文件，然后删除。虽然批量删除减少用户的管理负担，但是却使得大量存储空间并没有得到充分利用。更好的方案是：尽量让存储空间利用率保持在高位，让数据在系统中存留尽量长的时间，当新数据到达需要分配存储空间的时候，再去删掉旧的数据。这样即不影响系统按时接收并存储新数据，也可以增加旧数据被恢复的机会。现有技术中，Windows系统的“回收站”可以缓解这个问题，但不能彻底解决。Windows的“回收站”允许用户把不需要的文件暂存在“回收站”中，直到存储空间不足的时候，才通过“清空回收站”真正删掉这些数据。“回收站”方案有两个问题：1、用户需要操作两次，第一次把数据暂存到“垃圾站”，第二次清空“垃圾站”，增加了操作次数，相比直接删除增加了管理负担。2、垃圾站增加了数据可被恢复的机会，但远远没有达到最优。因为一旦存储空间不足，系统提示用户“清空垃圾站释放空间”，此时用户仍然更倾向于一次性清空垃圾站中的所有文件，而不是只释放一部分。这导致存储空间的利用率大幅度下降，存储空间没有被有效利用去存储低价值的数据。另外，现在大部分计算机系统中的存储系统都是层次式的，最靠近计算部件的存储器是CPU内部寄存器和高速缓冲存储器Cache，然后是与CPU直接相连的动态随机存储器（DRAM），然后是外部存储设备（硬盘驱动器HDD或固态硬盘SSD）。距离CPU计算部件越近的存储器性能越高，价格越贵，配置容量越小。距离CPU越远的性能越低，价格约便宜，配置容量越大。一般情况下，距离CPU近的存储器会被作为更远的存储器的高速缓冲存储器（Cache）存使用，当CPU内部的Cache中找不到所需数据的时候，就到DRAM中去找；CPU在DRAM中找不到，就到外部存储设备（SSD或HDD中）去找。在外部存储设备找到所需数据之后，CPU就把这个数据装入内层存储器，如上述Cache和DRAM，同时把最近没有使用的数据从内层存储器删除掉，这就是最常用的管理Cache的LRU算法。LRU算法在大部分情况下是有效的，因为计算机程序总是倾向于使用最近曾经使用的数据，也就是说计算机程序对存储器的访问模式具有时间局部性。但是，LRU算法并不总是有效的。LRU算法并不是对所有数据、在任何情况下都是有效的。例如：对于存放于个人手机或者电脑上的电影或者电视剧这种视频数据，并不具“一旦播放一次之后最近还会多次播放”的性质，也就是说对个人手机或电脑上数据的访问模式不具备时间局部性，因此LRU算法对这类数据是无效的。这类视频数据没有被缓冲的价值，如果采用LRU算法去缓冲这类视频数据，就会导致更多的最近会被使用的数据从CACHE中被淘汰出去，导致手机或者电脑没有达到最优的性能。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法及装置、处理器、计算机存储介质，以至少解决相关技术中的数据处理方法，在对数据处理时，仅依据时间进行处理，或者根据用户主动发出的指令进行处理，造成数据处理的效率较低，数据管理的效果差的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：根据预设规则和数据的属性，确定所述数据的多个维度的价值；根据所述数据的多个维度的价值对所述数据进行标记；根据所述数据所标记的多个维度价值，对所述数据进行不同处理。可选的，所述属性包括数据格式，数据访问模式，数据的存储方式，数据的写入方式，数据的可靠性，数据的安全等级；所述多个维度的价值包括，存储价值，写入价值，读取价值，保密价值。可选的，根据预设规则和数据的属性，确定所述数据的多个维度的价值包括：在所述预设规则为所述数据存储要求的可靠，且所述数据的属性为数量，所述数量小于预设值的情况下，确定所述数据的存储价值为高存储价值；在所述预设规则为所述数据具有保密需求，且所述数据的属性为安全等级，所述安全等级超过预设等级的情况下，确定所述数据的保密价值为高保密价值；在所述预设规则为所述数据具有读取性能的要求，且所述数据的属性为一次写入，多次读取的情况下，确定所述数据的读取价值为高读取价值；在所述预设规则为所述数据具有写入性能的要求，且所述数据的属性为预设时间段的写入频率高的情况下，确定所述数据的写入价值为高写入价值。可选的，根据所述数据所标记的多个维度价值，对所述数据进行不同处理包括：根据所述数据所标记的多个维度价值，对所述数据进行分类；根据数据的类型，对不同类型的数据分别进行不同处理。可选的，根据所述数据所标记的多个维度价值，对所述数据进行分类包括：根据所述数据标记的多个维度价值中的高价值数量，对所述数据进行分类；其中，所述数据的类型包括垃圾数据和白金数据，所述垃圾数据为多个维度均为低价值的数据，所述白金数据为多个维度的价值中高价值的数量超过预设数量的数据。可选的，根据数据的类型，对不同类型的数据分别进行不同处理包括：在所述数据的类型为非垃圾数据的情况下，根据所述数据的多个维度价值中的高价值对所述数据进行处理；其中，所述多个维度价值中的高价值为高存储价值的情况下，将所述数据以多副本的方式进行存储；所述多个维度价值中的高价值为高保密价值的情况下，将所述数据通过预设的高强度加密算法进行加密；所述多个维度价值中的高价值为高读取价值的情况下，将所述数据在读取之前预先缓存；所述多个维度价值中的高价值为高写入价值的情况下，将所述数据进行缓存，逐步进行写入。可选的，根据数据的类型，对不同类型的数据分别进行不同处理，还包括：在所述数据的类型为垃圾数据的情况下，根据所述数据的生成时间的先后顺序对所述数据进行自动删除。根据本专利技术实施例的另一方面，还提供了一种数据处理装置，包括：确定模块，用于根据预设规则和数据的属性，确定所述数据的多个维度的价值；标记模块，用于根据所述数据的多个维度的价值对所述数据进行标记；处理模块，用于根据所述数据所标记的多个维度价值，对所述数据进行处理。根据本专利技术实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n根据预设规则和数据的属性，确定所述数据的多个维度的价值；/n根据所述数据的多个维度的价值对所述数据进行标记；/n根据所述数据所标记的多个维度价值，对所述数据进行不同处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
根据预设规则和数据的属性，确定所述数据的多个维度的价值；
根据所述数据的多个维度的价值对所述数据进行标记；
根据所述数据所标记的多个维度价值，对所述数据进行不同处理。


2.根据权利要求1所述的方法，其特征在于，所述属性包括数据格式，数据访问模式，数据的存储方式，数据的写入方式，数据的可靠性，数据的安全等级；
所述多个维度的价值包括，存储价值，写入价值，读取价值，保密价值。


3.根据权利要求2所述的方法，其特征在于，根据预设规则和数据的属性，确定所述数据的多个维度的价值包括：
在所述预设规则为所述数据存储要求的可靠，且所述数据的属性为数量，所述数量小于预设值的情况下，确定所述数据的存储价值为高存储价值；
在所述预设规则为所述数据具有保密需求，且所述数据的属性为安全等级，所述安全等级超过预设等级的情况下，确定所述数据的保密价值为高保密价值；
在所述预设规则为所述数据具有读取性能的要求，且所述数据的属性为一次写入，多次读取的情况下，确定所述数据的读取价值为高读取价值；
在所述预设规则为所述数据具有写入性能的要求，且所述数据的属性为预设时间段的写入频率高的情况下，确定所述数据的写入价值为高写入价值。


4.根据权利要求3所述的方法，其特征在于，根据所述数据所标记的多个维度价值，对所述数据进行不同处理包括：
根据所述数据所标记的多个维度价值，对所述数据进行分类；
根据数据的类型，对不同类型的数据分别进行不同处理。


5.根据权利要求4所述的方法，其特征在于，根据所述数据所标记的多个维度价值，对所述数据进行分类包括：
根据所述数据标记的多个维度价值中的高价值数量，对所述数据进行分类；
...

【专利技术属性】
技术研发人员：黄岩，熊军，
申请(专利权)人：云和恩墨北京信息技术有限公司，
类型：发明
国别省市：北京;11