邮件快速处理方法技术

本发明专利技术提供了一种邮件快速处理方法，该方法包括：在邮件存储系统的存储阵列中将存储空间划分成多个相等的存储区，通过地址映射将随机写入转换为顺序写入。本发明专利技术提出了一种邮件快速处理方法，保持了并行访问的低能耗，又解决了并行访问带来的局部写入问题，具有突出的写入性能和节能效率。

【技术实现步骤摘要】

本专利技术涉及邮件存储，特别涉及一种。
技术介绍
邮件数据的快速增长，使邮件存储系统的能耗急剧增加，在邮件数据存储应用中， 在满足性能需求及单盘容错条件下，存储阵列的并行访问数据排列会导致存储阵列基本执 行读写操作：写新数据时，需要先读取对应的旧数据、旧误差校验数据，与新数据一起生成 新的误差校验数据后再写入新的误差校验数据，严重影响了性能。为了提供额定的写入性 能，存储阵列必须运行更多磁盘以弥补局部写入带来的性能损失，从而会消耗更多能量。因 此，存储阵列的节能效率亟待提高。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种，包 括：在邮件存储系统的存储阵列中将存储空间划分成多个相等的存储区，通过地址映 射将随机写入转换为顺序写入。 优选地，所述邮件存储系统由N块磁盘组成，将每个磁盘平均分成N+1个存储区，N个相同偏移量的存储区组成一个库，共组成N+1个库，选择其中一个作为逻辑库，其余为物 理库，每个物理库包含1个误差校验区、N-1个数据区；在物理库i中，误差校验区记为PB i，位于磁盘N-1-i;第v个数据区记为DB(i，v)，当i+v〈N-l时，DB(i，v)位于磁盘V，否则 位于磁盘v+1 ;其中，0 < i〈N，0<v〈N-l ;PBi的值由通过以下运算求得：每个存储区包含Μ个大小相等的块，每个库中，相同偏移量的块集成一个条块；所 述邮件存储系统采用如下并行访问数据来排列：将每个物理库中的Ν-1个数据区平均分成 Ρ组，每组包含Q个块；每组中偏移量相同的块能够被并行访问，每个条块中仅部分块提供 并行性； 所述邮件存储系统仅对物理库进行分组，逻辑库不参与分组，也不参与编址，对邮 件存储系统的上层应用是透明的；在组地址分配上，邮件存储系统采用以下策略，在每个物 理库中，序号相邻的组的逻辑地址相邻；即库i中组Ρ的存储区q中第m个块的逻辑地址为： NumB(M·Q·P·i+M·Q·p+Q·m+q);其中NumB为块包含的数据块数，0 彡ρ〈Ρ，0 彡i〈N， 0 彡q〈Q，0 彡m〈M; 所述将随机写入转换为顺序写入，进一步包括：在邮件数据存储中，利用地址映射 将应用程序提交的非连续的读写请求地址映射为连续的物理地址，在映射表中记录映射关 系，并在负载低于预设阈值时回收改写产生的垃圾；所述邮件存储系统采用块集映射，地址 映射信息为存储容量的8Λ?024Χχ)，其中，8个字节即64位记录一个块集地址，X为以KB 为单位的块集大小。 本专利技术相比现有技术，具有以下优点： 本专利技术提出了一种，保持了并行访问的低能耗，又解决了并行 访问带来的局部写入问题，具有突出的写入性能和节能效率。【附图说明】 图1是根据本专利技术实施例的的流程图。【具体实施方式】 下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描 述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权 利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节 以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中 的一些或者所有细节也可以根据权利要求书实现本专利技术。 本专利技术的一方面提供了一种。图1是根据本专利技术实施例的邮件 快速处理方法流程图。 本专利技术采用面向邮件数据存储的高效能存储阵列，采用了新的并行访问数据排 列，并综合运用了以下策略，以实现高性能和高节能效率。在地址映射中将随机写入转换为 顺序写入；将存储空间划分成多个相等的存储区，其中之一作为逻辑存储区，更新源存储空 间时，数据写入逻辑存储区；逻辑存储区写满后，修改映射表使它取代源存储空间；下一个 循环中，源存储空间作为逻辑存储区，缓存其他存储区的写数据：写数据与逻辑存储区已有 误差校验数据一起生成新的误差校验数据，随着逻辑存储区中数据的增加，误差校验数据 的误差校验范围也逐渐扩大。生成新的误差校验数据时无需读取旧数据，当采用流水方式 读取逻辑存储区已有误差校验数据、写入新的误差校验数据时，可消除读误差校验数据对 性能的影响；利用分段数据容错：联合逻辑存储区、源存储空间实现数据恢复。本专利技术的邮 件存储系统保持了并行访问的低能耗，又解决了并行访问带来的局部写入问题，具有突出 的写入性能和节能效率。 邮件存储系统实现方法主要包括数据排列、写操作过程、数据恢复3方面内容。其 中，写操作过程又包括地址映射、远程数据更新、扩展误差校验。邮件存储系统由N块磁盘 组成，每个磁盘平均分成N+1个存储区。N个相同偏移量的存储区组成一个库，共组成N+1 个库，选择其中一个作为逻辑库，其余为物理库。每个物理库包含1个误差校验区、N-1个 数据区。在物理库i中，误差校验区记为PBi，位于磁盘N-1-i;第v个数据区记为DB(i， v)，当i+v〈N-l时，DB(i，v)位于磁盘v，否则位于磁盘v+1。其中，0彡i〈N，0彡v〈N-l。PB i的值由通过异或运算求得： 令每个存储区包含Μ个大小相等的块，每个库中，相同偏移量的块集成一个条块。 为了提供合适的性能，邮件存储系统采用如下并行访问数据来排列：将每个物理 库中的N-ι个数据区平均分成Ρ组，每组包含Q个块。每组中偏移量相同的块能够被并行 访问，每个条块中仅部分块提供并行性。 邮件存储系统仅对物理库进行分组，逻辑库不参与分组，也不参与编址，对邮件存 储系统的上层应用是透明的。在组地址分配上，邮件存储系统采用了以下策略：在每个物理 库中，序号相邻的组的逻辑地址相邻。设NumB为块包含的数据块数，则库i，组P，存储区q 中第m个块的逻辑地址为：NumB (Μ·Q·P·i+M·Q·p+Q·m+q); 这里，0 彡p〈P，0 彡i〈N，0 彡q〈Q，0 彡m〈M。 邮件存储系统的数据排列和编址方式能够提供足够的并行度，并且对于邮件数据 存储应用，可保证I/O请求在很长的时间内集中在一个或几个组中，其他多数磁盘有足够 长的待机时间，可调度到待机模式以节约能耗。 邮件存储系统的写操作过程综合运用了地址映射、远程数据更新、扩展误差校验 等策略，生成误差校验数据时无需读取旧数据，当采用流水方式读取已有误差校验数据、写 入新的误差校验数据时，可有效解决并行访问带来的局部写入问题。此外，地址映射将随机 写入转换成顺序写入，又进一步提升了邮件存储系统的写入性能。 邮件存储系统以写新数据为主，较少进行改写操作，适合采用块集映射。地址映射 信息为存储容量的8Λ?024Χχ)，其中，8个字节（64位）记录一个块集地址，X为块集大小 以ΚΒ为单位。当邮件存储系统的存储容量为30ΤΒ、块集大小为64ΚΒ时，地址映射信息仅 为3. 67GB，适合采用固态硬盘进行存储，运行时甚至可以完全调入内存，以加快读、写操作 中的地址转换速度。 将随机写入转换为顺序写入，需要面对垃圾回收问题，垃圾存储空间是由改写操 作产生的，在邮件数据存储当前第1页1 2 本文档来自技高网...

【技术保护点】
一种邮件快速处理方法，其特征在于，包括：在邮件存储系统的存储阵列中将存储空间划分成多个相等的存储区，通过地址映射将随机写入转换为顺序写入。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈虹宇，罗阳，苗宁，
申请(专利权)人：四川神琥科技有限公司，
类型：发明
国别省市：四川;51