一种高性能文件存储系统及其实现方法技术方案

本发明专利技术涉及文件存储领域，是一种高性能文件存储系统及其实现方法。本发明专利技术的系统包括数据应用层、数据缓冲层和数据持久层；数据应用层主要包括数据查找器；数据缓冲层主要包括数据缓冲器和数据加载器；数据持久层主要包括数据读写器、数据排序器和持久化数据模块；通过数据缓冲器把访问率高的数据加载到内存，提高访问速度，同时对缓冲器的数据访问次数按一定的算法进行了计算并把访问率低的数据从数据缓冲器中置换出来，写入外存，并且排序器对数据按照访问次数进行顺序排序，以方便数据的遍历。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，具体涉及一种高性能文件存储系统及其实现方法。
技术介绍
随着互联网和计算机应用技术的不断发展，各种应用系统的普及，非结构化数据的增长量激增，为应用系统提供高性能的文件存储与访问成为了关键。
技术实现思路
本专利技术解决的技术问题在于提供一种高性能文件存储系统及其实现方法，为有需要此业务场景的系统提供应用，简化业务流程，提高效率。本专利技术解决上述技术问题的技术方案是：所述系统包括数据应用层、数据缓冲层和数据持久层；所述的数据应用层主要包括数据查找器；数据查找器对数据缓冲器进行查询，如果查询不到则将查询的请求发送给数据读写器；所述的数据缓冲层主要包括数据缓冲器和数据加载器；数据缓冲器用于缓冲数据；数据加载器将数据从持久化数据模块读取到数据缓冲器，并且通知数据读写器将置换的数据写入持久化数据模块；所述的数据持久层主要包括数据读写器、数据排序器和持久化数据模块；数据读写器负责数据的查询请求和写入请求；持久化数据模块按照设计的数据结构存储最终的数据；数据排序器对写入持久化数据模块的数据按照访问频率进行排序。所述的实现方法按照以下步骤进行：(1)、数据查找器监听数据读取请求；(2)、当数据查找器接收到查找数据的指令时，首先到数据缓冲器请求数据，并返回查找的数据；如果无法在数据缓冲器查找到数据，则向读写器请求数据，并等待数据返回；(3)、数据读写器等待数据查找器的数据读取请求和数据缓冲器的数据写入请求；当接收到数据读取或者数据写入请求时，向持久化数据模块读取或写入数据；如果是读取请求，数据读写器同步给数据加载器发送加载命令；(4)、数据加载器接收到数据读写器的数据加载命令后，从持久化数据模块中加载数据到数据缓冲器，并把访问频率最低的数据置换出来，通过数据读写器把置换出来的数据写入持久化数据模块里；(5)、数据排序器对持久化数据模块进行监视，每当持久化数据模块中有数据的写入时，都需要对数据按照访问频率进行排序一次。所述数据查找器多线程并行执行查询操作；数据读写器可以多线程读写操作。所述的数据缓冲器存储访问频率高的数据文件，减少对硬盘数据的访问操作。所述的持久化数据模块存储结构以哈希map的方式存储，并且每块数据连接形成一条数据链。持久化数据模块的数据持久化构成如下：采用java语言的currentMap实现数据存储在哈希Map里；减少查询时间；采用java语言的LinkList实现辅助数据存储，方便对数据进行遍历操作。数据缓冲器也采用同样的数据结构。本专利技术通过数据缓冲器把访问率高的数据加载到内存，提高访问速度，同时对缓冲器的数据访问次数按一定的算法进行了计算并把访问率低的数据从数据缓冲器中置换出来，写入外存，并且排序器对数据按照访问次数进行顺序排序，以方便数据的遍历。附图说明下面结合附图对本专利技术进一步说明：图1是本专利技术的系统架构图；图2是本专利技术的总体流程图；图3是本专利技术的数据持久化结构图。具体实施方式见图1所示，本专利技术由数据查找器、数据缓冲器、数据读写器、数据加载器和数据排序器组成。通过数据缓冲器把访问率高的数据加载到内存，提高访问速度，同时对缓冲器的数据访问次数按一定的算法进行了计算并把访问率低的数据从数据缓冲器中置换出来，写入外存，并且排序器对数据按照访问次数进行顺序排序，以方便数据的遍历。所述系统主要由数据查找器、数据缓冲器、数据读写器、数据加载器和排序器组成。数据查找器首先对数据缓冲器进行查询，如果查询不到再把查询的请求发送给数据读写器。数据读写器负责数据的查询请求和写入请求。持久化数据按照本方法设计的数据结构存储着最终的数据。数据排序器对写入持久化的数据进行排序，排序是按照访问频率进行排序的。加载器是把数据从持久化数据文件读取到数据缓冲器，并且通知数据读写器把置换的数据写入持久化数据文件。如图2所示，整个工作详细流程如下：1、数据查找器监听数据读取请求；2、当数据查找器接收到查找数据的指令时，首先到数据缓冲器请求数据，并返回查找的数据，如果无法在数据缓冲器查找到数据，则向读写器请求数据，并等待数据返回；3、数据读写器等待数据查找器的数据读取请求和数据缓冲器的数据写入请求。当接收到数据读取或者数据写入请求时，向持久化数据读取或写入数据。如果是读取请求，读写器还要给加载器发送加载命令；4、加载器接收到读写器的数据加载命令后，从持久化数据中加载数据到数据缓冲器，并把访问频率最低的数据置换出来，通过读写器把置换出来的数据写入持久化数据里；5、排序器对持久化数据进行监视，每当持久化数据中有数据的写入时，都需要对数据按照访问频率进行排序一次。见图3所示，数据持久化构成如下：1、数据存储在HashMap里，这能有效地减少查询时间，同理，数据缓冲器也采用同样的数据结构。具体到java实现语言，应该采用currentMap来实现；2、采用List结构来辅助存储数据，方便对数据进行遍历操作。具体到java实现语言，应该采用LinkList来实现，方便修改操作。缓冲器访问算法如下：设n为最近一分钟的访问次数，m为最近两分钟访问次数，q为最近五分钟访问次数，则访问权重s＝0.6*(n/1)+0.3*(m/2)+0.1*(q/5)，权重越大，留在缓冲器的优先等级越高。本文档来自技高网...

【技术保护点】
一种高性能文件存储系统，其特征在于：所述系统包括数据应用层、数据缓冲层和数据持久层；所述的数据应用层主要包括数据查找器；数据查找器对数据缓冲器进行查询，如果查询不到则将查询的请求发送给数据读写器；所述的数据缓冲层主要包括数据缓冲器和数据加载器；数据缓冲器用于缓冲数据；数据加载器将数据从持久化数据模块读取到数据缓冲器，并且通知数据读写器将置换的数据写入持久化数据模块；所述的数据持久层主要包括数据读写器、数据排序器和持久化数据模块；数据读写器负责数据的查询请求和写入请求；持久化数据模块按照设计的数据结构存储最终的数据；数据排序器对写入持久化数据模块的数据按照访问频率进行排序。

【技术特征摘要】
1.一种高性能文件存储系统，其特征在于：所述系统包括数据应用层、数据缓冲层和数据持久层；所述的数据应用层主要包括数据查找器；数据查找器对数据缓冲器进行查询，如果查询不到则将查询的请求发送给数据读写器；所述的数据缓冲层主要包括数据缓冲器和数据加载器；数据缓冲器用于缓冲数据；数据加载器将数据从持久化数据模块读取到数据缓冲器，并且通知数据读写器将置换的数据写入持久化数据模块；所述的数据持久层主要包括数据读写器、数据排序器和持久化数据模块；数据读写器负责数据的查询请求和写入请求；持久化数据模块按照设计的数据结构存储最终的数据；数据排序器对写入持久化数据模块的数据按照访问频率进行排序。2.一种权利要求1所述的高性能文件存储系统的实现方法；其特征在于：所述的实现方法按照以下步骤进行：(1)、数据查找器监听数据读取请求；(2)、当数据查找器接收到查找数据的指令时，首先到数据缓冲器请求数据，并返回查找的数据；如果无法在数据缓冲器查找到数据，则向读写器请求数据，并等待数据返回；(3)、数据读写器等待数据查找器的数据读取请求和数据缓冲器的数据写入请求；当接收到数据读取或者数据写入请求时，向持久化数据模块读取或写入数据；如果是读取请求，数据读写器同步给数据加载器发送加载命令；(4)、数...

【专利技术属性】
技术研发人员：韩超，季统凯，
申请(专利权)人：国云科技股份有限公司，
类型：发明
国别省市：广东;44