一种日志系统提高事务处理能力的方法和装置制造方法及图纸

本发明专利技术公开了一种日志系统提高事务处理能力的方法，包括将并发提交的多个事务汇聚为事务集；设置多块日志设备，接收所述事务集；设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；其中所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和/或磨损均衡管理；本发明专利技术还提供了一种装置；通过多块日志设备结合事务汇聚提交，可以让后端存储设备处理能力足够的情况下，可以把引入日志引起的性能影响，降低到零影响等技术效果。

A method and device for improving transaction processing capacity of log system

【技术实现步骤摘要】
一种日志系统提高事务处理能力的方法和装置
本专利技术涉及计算机数据处理
，具体而言，为日志系统提高事务处理能力的方法和装置。
技术介绍
数据的一致性是存储系统的前提，也就是说，一个用户存入的文件，其他用户读取后内容不能出现不一致，NAS存储架构是当前主要的一种网络文件存储架构，是一个网络上的文件系统，是真正的即插即用型存储系统，使用范围非常广泛，但是由于用户和存储系统通过网络连接，存储系统的异常很容易引起数据不一致的发生。文件系统一般情况下先写入数据，然后写入元数据(如权限、所有者及创建和访问时间)，如果在写入文件内容之后与写入文件元数据之前的时间差里，存储系统的异常让文件发生了错误，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态；出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。所以文件系统需追踪引起系统改变的记录，会把这些记录存放在与文件系统相对独立的区域，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复；当前主流文件系统都是日志式文件系统。日志式文件系统主要在分区中保存有一个日志记录文件，文件系统写操作首先是对记录文件进行操作，若整个写操作由于某种原因而中断，则在下次系统启动时就会读日志记录文件的内容来恢复没有完成的写操作，所以日志式文件系统是一个具有故障恢复能力的文件系统。<br>如图1所示的日志式文件系统运行过程中，如果如果所有数据都先记录日志，一个很明显的弊端就是性能问题；为了解决这个问题和提高文件系统的性能，本领域最为常见的文件系统的处理方案是：XFS使用逻辑日志，使用一种高效的磁盘格式来记录元数据的变动：1)要向磁盘写数据的时候，肯定要改变元数据，日志就要在这之前记录要怎么去改元数据的，当发生异常掉电或者文件系统崩溃后，进行修复时会检查文件系统的一致性，当出现不一致时，可通过它来恢复，在数据下刷到磁盘之前，会先将对元数据的变动存放在日志中，如图2所示的。2)XFS允许将日志存储在另一个块设备上，例如，另一个磁盘上的一个分区。XFS只对元数据的变动进行日志记录，并且在写元数据之前，XFS不采取任何专门的预防措施来确保将数据保存到磁盘。这意味着，使用XFS时，如果发生意外的重新引导，则最近修改的数据有可能丢失。EXT提供了三种日志模式供选择：1)data＝journal日志模式；这种模式日志中记录包括所有改变文件系统的数据和元数据，可靠性能保证的情况下性能差。2)data＝ordered日志模式(默认)；仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。此模式虽然数据的变化情况并不被记录在日志中，但它们必须做，在记录元数据前要修改文件数据，这将降低系统的性能(速度)。3)data＝writeback日志模式；仅记录改变文件系统的元数据，且不保证数据和元数据的顺序；这是速度最快的EXT日志模式，是支持异步的日志，但当系统关闭时，可能有更新的数据因不能被写入磁盘而出现不一致。有鉴于此，特提出本专利技术。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种日志系统提高事务处理能力的方法和装置，以利于解决现有文件系统牺牲存储系统性能的代价换取数据一致性的问题。为了实现上述目的，本专利技术的技术方案为：一种日志系统提高事务处理能力的方法，包括将并发提交的多个事务汇聚为事务集；设置多块日志设备，接收所述事务集；设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；其中所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和/或磨损均衡管理。优选的，上述的日志系统提高事务处理能力的方法中，所述多块日志设备的负载均衡管理包括：将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。优选的，上述的日志系统提高事务处理能力的方法中，所述磨损均衡管理包括：当日志设备变成磨损状态时，不再向其提交事务集；同时只对磨损状态的日志设备进行空间回收直至空间全部被回收，启用日志设备更换。本专利技术还提供了一种日志系统提高事务处理能力的装置，包括事务汇聚模块：用于将提交的事务进行聚合，形成事务集；设备管理模块：用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入；其中所述设备管理模板包括：多块日志设备：用于接收事务集；控制模块：用于管理所有日志设备，实时同步每块日志设备当前状态，以选择日志设备将接收的事务集提交过去回收模块：用于多块日志设备的空间回收。优选的，上述的日志系统提高事务处理能力的装置中，所述事务汇聚模块通过事务提交接口收到事务后，平均分配到并发队列；通过多线程和多队列进行均衡映射；线程遍历自身所映射到的队列，将每个队列中被投递的事务进行打包汇聚成事务集，并将事务集投递给设备管理模块。优选的，上述的日志系统提高事务处理能力的装置中，日志设备当前状态包括负载状态和/或磨损状态。优选的，上述的日志系统提高事务处理能力的装置中，控制模块还用于通过对多块日志设备管理，进行负载均衡，包括：将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。优选的，上述的日志系统提高事务处理能力的装置中，还包括逆磨损模块，用于对磨损状态的日志设备进行热替换。优选的，控制模块还用于通过对多块日志设备管理，进行磨损均衡，包括：当日志设备磨损达到预设范围，所述逆磨损模块通知该日志设备达到磨损状态；控制模块同步到日志设备状态后，停止向该日志设备分配事务集；回收模块对该日志设备全部回收后，通知逆磨损模块启动换盘。优选的，上述的日志系统提高事务处理能力的装置中，根据所述多块日志设备的条带在线性空间进行映射，在数据恢复阶段，按照线性序列遍历日志设备划分的条带对数据进行恢复。与传统技术相比，本专利技术的有益效果是：本专利技术方法对多块日志设备进行管理，将接收到的所述事务集根据日志设备状态进行投放，提高日志设备的处理能力；多块日志设备结合事务汇聚提交，可以让后端存储设备处理能力足够的情况下，让前端用户IO可以成倍增加，换句话说，可以把引入日志引起的性能影响，降低到零影响；本专利技术装置能够根据系统容量和需求，采用多块日志设备并用，成倍提高事务提交带宽；并且结合多日志事务聚合为一个事务集的方案，大大降低日志设备的压力，提高日志存储效率，相对于xfs或者ext为了提高效率只记录逻辑日志或者本文档来自技高网...

【技术保护点】
1.一种日志系统提高事务处理能力的方法，其特征在于，包括/n将并发提交的多个事务汇聚为事务集；/n设置多块日志设备，接收所述事务集；/n设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；/n其中，所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和磨损均衡管理。/n

【技术特征摘要】
1.一种日志系统提高事务处理能力的方法，其特征在于，包括
将并发提交的多个事务汇聚为事务集；
设置多块日志设备，接收所述事务集；
设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；
其中，所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和磨损均衡管理。


2.根据权利要求1所述的日志系统提高事务处理能力的方法，其特征在于，所述多块日志设备的负载均衡管理包括：
将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。


3.根据权利要求1所述的日志系统提高事务处理能力的方法，其特征在于，所述磨损均衡管理包括：
当日志设备变成磨损状态时，不再向其提交事务集；同时只对磨损状态的日志设备进行空间回收直至空间全部被回收，启用日志设备更换。


4.一种日志系统提高事务处理能力的装置，其特征在于，包括
事务汇聚模块：用于将提交的事务进行聚合，形成事务集；
设备管理模块：用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入；
其中所述设备管理模板包括：
多块日志设备：用于接收事务集；
控制模块：用于管理所有日志设备，实时同步每块日志设备当前状态，以选择日志设备将接收的事务集提交过去
回收模块：用于多块日志设备的空间回收。


5.根据权利要求4所述的日志系统提高...

【专利技术属性】
技术研发人员：韩勇，刘敏，沈海嘉，吕方川，胡振国，
申请(专利权)人：天津中科曙光存储科技有限公司，
类型：发明
国别省市：天津;12