一种元数据和数据的处理方法技术

本发明专利技术公开了一种元数据和数据的处理方法,涉及到存储技术，该方法使用对象实体的方式来管理元数据和数据，采用对象思想构建元数据和数据的对象实体，通过一次对对象实体的读写来实现对元数据和数据的两次访问，通过对对象实体的解析来获得元数据和实际数据；该元数据和数据的处理方法主要包括步骤：构建对象实体、对对象实体读写和对对象实体解析。通过该方法对元数据和数据进行读写操作，通过一次对象实体的读写能够达到对元数据和数据的两次访问，通过对对象实体的解析能够获得元数据和实际数据，显著提高了用户对元数据和数据的访问速度，从而大幅提升存储系统的性能。

【技术实现步骤摘要】
一种元数据和数据的处理方法
本专利技术涉及存储技术，具体地说是一种元数据和数据的处理方法。
技术介绍
元数据与数据处理是存储系统中的一项基本内容，在所有的存储系统中都有应用。元数据用来记录数据在磁盘上的组织方式和存放位置，并对数据的访问进行控制，数据是用户使用的真实数据。现在的存储系统中针对元数据和数据的处理方式采用分离的方式，即元数据和数据分开存放在磁盘的不同位置，分别读取和写入。这样的方式带来的问题是每次用户对数据的访问都涉及到两次磁盘操作，这两次操作为元数据的读取或者写入，数据的读取或者写入。在存储系统中磁盘属于慢速设备，每次对磁盘的访问都涉及到磁盘扇区的定位，两次对磁盘的访问操作导致的磁盘扇区的定位对存储系统的读写性能产生了较大的影响。针对元数据和数据进行有效的存储是提升用户对存储系统访问性能的关键。
技术实现思路
针对现有技术的不足之处，本专利技术提出一种高效的的元数据和数据的处理方法。本专利技术所述一种元数据和数据的处理方法，解决上述技术问题采用的技术方案如下：所述元数据和数据的处理方法使用对象实体的方式来管理元数据和数据，采用对象思想构建元数据和数据的对象实体，通过一次对对象实体的读写来实现对元数据和数据的两次访问，通过对对象实体的解析来获得元数据和实际数据；该元数据和数据的处理方法包括步骤：构建对象实体、对对象实体读写和对对象实体解析。进一步，所述构建对象实体包括：用户在对存储设备执行写入操作的过程中，将元数据和数据按照对象思想构建成一个完整的对象实体，构建对象实体的步骤涉及两个关键操作，一个是生成元数据，另一个是合并元数据与数据产生完整的对象实体。进一步，所述对对象实体读写包括：对元数据和数据基于对象思想进行写入磁盘和从磁盘中读取的过程；用户在对磁盘执行读操作的过程中，按照用户指定的读取开始位置和读取长度，依据特定的算法从存储设备上读取指定信息；对磁盘执行写操作的过程中，按照用户指定的写入开始位置和写入长度，依据特定的算法写入指定的信息。进一步，所述对对象实体解析包括：对元数据和数据读取之后的解析和控制；用户在对磁盘执行读操作时，读取元数据和数据的完整对象实体，按照特定的算法解析出元数据和数据，依据元数据里信息检查数据的有效性；并对用户返回有效数据。本专利技术所述元数据和数据的处理方法中，所述对象实体是将元数据和数据按照对象思想构建成的一个完整实体单位；所述构建对象实体时，采用数据分片的方式进行元数据和数据的对象实体构建，将数据分成数据片，每个数据片和其元数据按照一定的规则和算法构成一个完整的数据块。进一步，所述数据分片的具体方式包括，将数据分成定长的数据片，且每个数据片的长度加上其元数据的长度等于一个扇区长度，即每个对象实体的大小是固定的，其大小为一个扇区大小。当出现小于指定大小的数据片时，则在数据片的末尾用零填充该数据片小于指定大小的部分。进一步，所述生成元数据包括：将数据片检验算法产生的值设置为元数据的MD5值，将数据片不包含用零填充部分的长度设置为实际数据长度，将可以自行扩展的信息设置为其它信息，元数据的MD5值、实际数据长度和其它信息共同生成元数据。本专利技术所述一种元数据和数据的处理方法与现有技术相比具有的有益效果：所述元数据和数据的处理方法，使用对象实体的方式进行元数据和数据的管理，每次用户对数据进行访问，对元数据和数据的读写操作由于采用基于对象方式，只涉及到一次磁盘的访问，即通过一次对象实体的读写能够达到对元数据和数据的两次访问，同时通过对对象实体的解析能够获得元数据和实际数据，可见通过该方法，能够在存储系统中显著提高用户对元数据和数据的访问速度，从而大幅提升存储系统的性能，对于存储系统的数据快速访问具有很高的技术价值。附图说明附图1为所述元数据和数据的对象实体的示意图；附图2为本实施例所述对象实体的构建流程图；附图3为本实施例所述对象实体读写的流程图；附图4为本实施例所述对象实体解析的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图和实施例，对本专利技术的一种元数据和数据的处理方法进行详细说明。本专利技术所述元数据和数据的处理方法，使用对象实体的方式来管理元数据和数据，采用对象思想构建元数据和数据的对象实体，通过一次对对象实体的读写来实现对元数据和数据的两次访问，通过对对象实体的解析来获得元数据和实际数据；该元数据和数据的处理方法包括步骤：构建对象实体、对对象实体读写和对对象实体解析；其中，构建对象实体包括：用户在对存储设备执行写入操作的过程中，将元数据和数据按照对象思想构建成一个完整的对象实体，构建对象实体涉及两个关键操作，一个是元数据生成，另一个是元数据与数据合并产生完整的对象实体；所述对对象实体读写包括：对元数据和数据基于对象思想进行写入磁盘和从磁盘中读取的过程；用户在对磁盘执行读操作的过程中，按照用户指定的读取开始位置和读取长度，依据特定的算法从存储设备上读取指定信息；对磁盘执行写操作的过程中，按照用户指定的写入开始位置和写入长度，依据特定的算法写入指定的信息；所述对对象实体解析包括：对元数据和数据读取之后的解析和控制；用户在对磁盘执行读操作时，读取元数据和数据的完整对象实体，按照特定的算法解析出元数据和数据，依据元数据里信息检查数据的有效性；并对用户返回有效数据。实施例：下面通过一个实施例，对本专利技术所述一种元数据和数据的处理方法的优点和设计内容，进行详细说明。本实施例所述元数据和数据的处理方法中，所述对象实体是指按照一定的规则和算法构成的元数据和数据组成的一个完整的数据块。在构建对象实体的时，采用数据分片的方式进行元数据和数据的对象实体构建，所述数据分片的具体方式为，为了提升存储系统的性能，将数据分成定长的数据片，每个数据片和其元数据组成一个对象实体，且每个数据片的长度加上其元数据的长度等于一个扇区长度，即每个对象实体的大小是固定的，其大小为一个扇区大小。若用户写入的数据长度不满足，则对数据进行分片或填充。数据分片为合适大小的数据片后，将元数据和分片的数据构成一个完整的数据块进行写入。为了对数据进行有效性验证，元数据至少包含元数据的MD5值和实际数据长度，还可以根据实际使用包含更多的其它信息。所述元数据的其它信息可以根据实际需要进行设置，如创建时间戳、访问控制等，作为管理实际数据的元数据的补充，实现对数据更多更复杂的管理和控制。本专利技术所述元数据和数据的处理方法中，所述对象实体是采用对象思想由元数据和数据构成的实体单位，是本专利技术所述方法中数据从磁盘上读取和写入磁盘的最小单位。附图1为所述元数据和数据的对象实体的示意图，如附图1所示，一个对象实体由元数据和实际数据两部分构成。元数据是用来管理实际数据的数据，元数据包含：MD5值、实际数据长度和其它信息，这里MD5（MessageDigestAlgorithm）是消息摘要算法，用来检测对象实体是否有效，其它信息是根据实际应用场景增加的信息，如访问控制、对象实体创建的时间戳等。附图2为本实施例所述对象实体的构建流程图，如附图2所示，当有数据写入时，数据按照预先设定的大小分为等长数据片，当出现小于指定大小（定长）的数据片时，则在数据片的末尾用零填充该数据片小于指定大小的部分，接下来生成元数据，设置元数本文档来自技高网...

【技术保护点】
一种元数据和数据的处理方法,其特征在于,所述元数据和数据的处理方法使用对象实体的方式来管理元数据和数据，采用对象思想构建元数据和数据的对象实体，通过一次对对象实体的读写来实现对元数据和数据的两次访问，通过对对象实体的解析来获得元数据和实际数据；该元数据和数据的处理方法包括步骤：构建对象实体、对对象实体读写和对对象实体解析；其中，所述构建对象实体，包括在对存储设备执行写入操作时，将元数据和数据按照对象思想构建成一个完整的实体单位，主要涉及两个关键操作，一个是生成元数据，另一个是合并元数据与数据产生完整的对象实体；所述对对象实体读写，包括对元数据和数据基于对象思想进行写入磁盘和从磁盘中读取；所述对对象实体解析，包括对元数据和数据对象读取之后进行解析和控制。

【技术特征摘要】
1.一种元数据和数据的处理方法,其特征在于,使用对象实体的方式来管理元数据和数据，采用对象思想构建元数据和数据的对象实体，在对存储设备执行写入操作时，采用数据分片的方式进行元数据和数据的对象实体构建，将数据分成定长的数据片，每个数据片和其元数据组成一个对象实体；每个数据片的长度加上其元数据的长度等于一个扇区长度，即每个对象实体的大小为一个磁盘扇区大小；通过一次对对象实体的读写来实现对元数据和数据的两次访问，对元数据和数据基于对象思想进行写入磁盘和从磁盘中读取；并通过对对象实体的解析来获得元数据和实际数据。2.根据权利要求1所述的一种元数据和数据的处理方法,其特征在于,当出现小于指定大小的数据片时，则在数据片的末尾用零填充该数据片小于指定大小的部分。3.根据权利要求2所述的一种元数据和数据的处理方法,其特征在于,将数据片检验算法产生的值设置为元数据的MD5值，将数据片不包含用零填充部分的长度设置为实际数据长度，将自行扩展的信息设置为其它信息，元数据的MD5值、实际数据长度和其它信息共同生成元数据。4.根据权利要求3所述的一种元数据和数据的处理方法，其特征在于，对磁盘执行读写操作时，按照用户指定的读写开始位置和读写数据长度，依据特定的算法从存储设备上...

【专利技术属性】
技术研发人员：殷雷，孙承碧，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37