海量数据分级存储评测系统技术方案

海量数据分级存储评测系统属于计算机系统评测领域，尤其涉及其中分级存储系统评测领域。本发明专利技术的特征在于通过快照还原一个真实的文件系统场景，同时通过比较相邻两快照之间的差别确定后续将要被访问的文件；根据两快照间文件属性信息的不同和已有的文件访问特征对文件访问请求进行加密处理，从而提供一个真实的文件系统场景及相应的后续文件访问请求，并将文件访问请求在生成的文件系统场景上进行播放，模拟真实环境中分级存储系统的应用情况，最终有效的实现对分级存储系统的评测与分析。

【技术实现步骤摘要】

海量数据分级存储评测系统属于计算机系统评测领域，尤其涉及其中分级存储系 统评测领域。
技术介绍
分级存储系统依据对文件的访问频率及文件属性将文件在具有不同性能容量的 存储设备间动态的迁移。对海量数据分级存储系统的测试，需要提供一个完整的文件系统 场景以及在这文件系统场景上的文件访问请求。其中文件系统场景是指在某一时刻，文件 系统中数据的大小、目录树结构、文件大小分布、文件分布及文件属性信息。分级存储评测 要求文件系统场景中的基本文件属性要与实际相符，同时文件访问请求能够体现实际的文 件系统访问情况。但在实际情况中，无法同时获得一个准确的文件系统场景和后续的文件 访问请求。就目前而言，分级存储系统的评测主要是将采集得到的访问请求播放一段时间 得到一个文件系统场景，而后在生成的文件系统场景上运行分级存储系统及后续访问进行 系统的评测。这种评测方法提供的文件系统场景与真实应用并不相符，因此不能对分级存 储系统性能进行完整的、正确的评测。
技术实现思路
本专利技术的目的是设计一种新的分级存储系统评测方法，并依据该方法实现一个海 量数据分级存储系统评测工具。通过该方法，评测系统能够提供一个真实完本文档来自技高网...

【技术保护点】
海量数据分级存储评测系统其特征在于：由在一台计算机中的快照还原模块、文件系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组成，其中：快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请求：步骤（１．１）从ｃｏｐｙ－ｏｎ－ｗｒｉｔｅ模式的快照信息中得到除文件内容以外的、指定日期的快照描述信息，包括：文件路径名、是否是目录、文件最近访问时间、文件最近修改时间、文件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤（１．２）按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括：访问类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息...

【技术特征摘要】
1.海量数据分级存储评测系统其特征在于由在一台计算机中的快照还原模块、文件 系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组成， 其中快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请求 步骤(1. 1)从copy-onirite模式的快照信息中得到除文件内容以外的、指定日期的 快照描述信息，包括文件路径名、是否是目录、文件最近访问时间、文件最近修改时间、文 件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤(1.2)按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括访问 类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息、所属用户组信 息、请求处理的数据大小和执行时间，所述文件访问类型包括文件读、文件写、文件创建、 文件删除，版本号差值表示在相邻两快照之间版本号的差值步骤(1.2. 1)在相邻、连续的快照A和快照B中，读取快照A中的一个文件； 步骤(1. 2. 2)判断步骤(1. 2. 1)所读文件在所述快照B中是否存在 若不存在，便在所述快照A和快照B的时间点之间生成删除请求，转入步骤(1.2. 4)， 若存在，则判断文件在快照A中的最近访问时间是否小于文件在快照B中的最近访问 时间若是，则生成(1. 2. 1)所述文件的写请求，转步骤(1. 2. 3)， 若不是，则转步骤(1.2.3)；步骤(1. 2. 3)判断步骤(1. 2. 1)中所读文件在快照A中的最近修改时间是否小于文件 在快照B中的最近修改时间若是，则生成步骤(1. 2. 1)中所述文件的读请求，转步骤(1. 2. 4)，若不是，则转步骤(1.2.4)；步骤(1. 2. 4)判断快照A中的文件是否全被判断过若是，则转步骤(1.3)，若不是，则返回步骤(1.2. 1)；步骤(1. 3)，则读取快照B中未被判断过的文件，并生成所述文件的创建请求，按照以 下步骤处理所述文件步骤(1. 3. 1)判断快照B中文件的最近访问时间是否小于文件的最近修改时间若是，则生成所述文件的写请求，若不是，则生成所述文件的读请求；步骤(1. 3. 2)判断快照B中的所有文件是否全被判断过若不是，则转步骤(1.3)，若是，则本流程结束;文件系统场景信息还原模块，依次按照以下步骤还原文件系统的场景信息 步骤(2. 1)在所述快照还原模块中读取已形成的快照描述文件中的一条文件记录； 步骤(2. 2)判断步骤(2. 1)中读取的记录中的文件的最近访问时间是否大于文件的最 近修改时间若是，则根据步骤(2. 1)中所读取的文件记录中的文件最近修改时间修改计算机系 统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的文件最近访问时间 修改计算机系统时间，执行一次对所创建文件的读请求，若不是，则根据步骤(2. 1)中所读取的文件记录中的文件最近访问时间修改计算机 系统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的最近修改时间修 改计算机系统时间，执行一次对所创建文件的写请求；步骤(2. 3)判断是否快照描述文件中的所有记录都已处理若不是，则转步骤(2. 1)，若是，则本流程结束；文件访问请求加密模块按照以下步骤进行对读请求和写请求的加密步骤(3. 1)确定文件的读写请求的次数，步骤如下步骤(3. 1. 1)读取原始文件系统访问请求中一条记录；步骤(3. 1. 2)判断步骤(3. 1. 1)所读记录中的访问类型若是写请求，则将步骤(3...

【专利技术属性】
技术研发人员：舒继武，张广艳，邱建平，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]