一种海量小文件的存储装置制造方法及图纸

本实用新型专利技术公开了一种海量小文件的存储装置，其特征在于，它包括在网页页面上设有上传入口的上传模块（１）；中转服务器（２），用于存储上传文件后发送文件至存储服务器（３）；存储服务器（３），用于存储上传文件；缓存服务器（４），分发存储服务器（３）上的文件时，用于缓存文件；备份服务器（５），用于备份存储服务器（３）上的更新文件。本实用新型专利技术可以解决小文件传输存储过程中占用大量系统资源、影响其他服务的问题。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及一种文件存储装置，特别是一种海量小文件的存储装置，属于计算机网络

技术介绍
在网络服务领域，尤其是提供了照片托管服务的网络服务，存在大量的小文件操作。小文件是指文件大小在512K（512K字节，1K字节=1024字节=1024*8比特）以内的由用户上传的文件。这里的小文件，不仅仅是从尺寸上而言的，而是从功能上也有限定，比如程序文件、系统资源文件，尽管尺寸在小文件的范围之内，也不是本文讨论范围之内的小文件。仅仅是用户通过上传产生的头像、照片、日记附加照片等文件，才是小文件。在传统的技术中，从文件的上传到存储以及存储到分发，以及备份，用的都是简单的网络文件复制方式。这种简单的网络文件复制方式，在访问压力小的压力下，尚且可行，只要访问压力稍大，服务器的资源就会被大量的网络复制进程所占用，因为每传输一个文件，不但整个过程需要经历建立连接等操作，而且，在客户端和服务器端，都得启动一个文件复制进程，在多的时候，不但传输速度会大幅下降。而且会导致服务器资源最后被用光，甚至导致本文件服务或者其他不相干服务也受到影响。在传统地技术实现中，对于这种小文件的备份方式是全目录备份，全目录备份一次往往需要比较长时间，并且产生了很多无效的备份操作。以Linux操作系统的操作为例，在传统的存储系统中，文件上传到中转服务器之后，一般由中转服务器的程序，启动一个rsync进程，由 rsync 本地文件到存储服务器。存储服务器在接收文件时，也要启动一个到几个 rsync 进程来接收文件。如果同时有多个文件，从不同的中转服务器传到存储，就会导致存储服务器上启动大量进程，占用大量资源，处理能力急剧下降。甚至导致服务器不能响应更多的连接请求。
技术实现思路
本技术的目的在于，提供一种海量小文件的存储装置。它可以解决小文件传输存储过程中占用大量系统资源、影响其他服务的问题。本技术的技术方案：一种海量小文件的存储装置，其特征在于，它包括在网页页面上设有上传入口的上传模块；中转服务器，用于存储上传文件后发送文件至存储服务器；存储服务器，用于存储上传文件；缓存服务器，分发存储服务器上的文件时，用于缓存文件；备份服务器，用于备份存储服务器上的更新文件。前述的海量小文件的存储装置中，所述中转服务器上设有接收模块，用于响应用户的上传请求，并接收用户数据；校验模块，用于校验上传文件的合法性；-->存储模块，在校验模块对文件的合法性进行校验之后，结合上传者的身份信息，访问应该保存此文件的存储服务器上的存储服务，将此文件连同相关的元数据信息发给该存储服务，进而进行存储。前述的海量小文件的存储装置中，所述缓存服务器上设有辨识模块，用于辨识用户请求文件是否在缓存服务器中；缓存模块，用于缓存存储服务器分发的文件数据并输出给用户。前述的海量小文件的存储装置中，所述存储服务器上还设有监控模块，用于监控存储服务器中存储文件的变化，并将发生变化的文件名记录成文件列表。前述的海量小文件的存储装置中，所述备份服务器上设有列表获取模块，用于定期去取得监控模块获得的文件列表，将发生变化的文件从存储服务器取到备份服务器的相应目录下。与现有技术相比，本技术的中转服务器和缓存服务器，在上传和分发文件时可以避免使用网络文件复制方式，从而避免了在网络访问压力较大时服务器的资源被大量的网络复制进程所占用，因此上传和分发的传输速度比较快。存储服务器端也无须启动任何新进程来处理。在存储上的文件更新发生变化时,通过监控模块监控存储文件的变化；将发生变化的文件从存储服务器取到备份服务器的相应目录下。而对没有发生变化的文件，就可以不做备份。从而，大大提高了备份的效率。在传统的技术中，一般是全目录同步备份，或者是在中转服务器就往多个地方，分发文件。全目录备份速度相当慢，以20，000，000个较小文件为例，1个文件平均为10K，20，000，000个文件，占用空间200G。全目录备份，需要至少12个小时。这么长的时间，其实大部分操作都浪费在根本没有变化的目录列表对比分析上面了，不但是对资源的浪费，而且实时性很差，比如遇到主库当机。那么备份库当主库用，这时，数据相差至少半天以上，这也是不理想的。而在本技术中，备份服务器工作时，只备份真正更新过的文件，直截了当。这样备份数据与主库的数据相差只差5分钟以内的数据。而在本技术之前，用的全目录备份，这样主库和备份库差半天数据，如果主库出问题，启用备份库，主库跟备份库数据是不一致的，导致用户最近半天的修改全部没有记录下来。附图说明图1是本技术的结构示意图；图2是本技术实施例的上传工作流程图；图3是本技术实施例的备份工作流程图；图4是本技术实施例的分发工作流程图。附图中的标记：1-上传模块，2-中转服务器，3-存储服务器，4-缓存服务器，5-备份服务器，6-接收模块，7-校验模块，8-存储模块，9-辨识模块，10-缓存模块，11-监控模块，12-列表获取模块。具体实施方式下面结合附图和实施例对本技术作进一步的说明，但并不作为对本技术限制的依据。-->实施例一种海量小文件的存储装置，结构如图1所示，它包括在网页页面上设有上传入口的上传模块1；中转服务器2，用于存储上传文件后发送文件至存储服务器3；存储服务器3，用于存储上传文件；缓存服务器4，分发存储服务器3上的文件时，用于缓存文件；备份服务器5，用于备份存储服务器3上的更新文件。所述中转服务器2上设有接收模块6，用于响应用户的上传请求，并接收用户数据；校验模块7，用于校验上传文件的合法性；存储模块8，在校验模块7对文件的合法性进行校验之后，结合上传者的身份信息，访问应该保存此文件的存储服务器3上的存储服务，将此文件连同相关的元数据信息发给该存储服务，进而进行存储。所述缓存服务器4上设有辨识模块9，用于辨识用户请求文件是否在缓存服务器4中；缓存模块10，用于缓存存储服务器3分发的文件数据并输出给用户。所述存储服务器3上还设有监控模块11，用于监控存储服务器3中存储文件的变化，并将发生变化的文件名记录成文件列表。所述备份服务器5上设有列表获取模块12，用于定期去取得监控模块11获得的文件列表，将发生变化的文件从存储服务器3取到备份服务器5的相应目录下。本技术的上传工作流程（如图2）：步骤S101,用户请求上传文件；步骤S102,中转服务器2的接收模块本文档来自技高网...

【技术保护点】
一种海量小文件的存储装置，其特征在于，它包括在网页页面上设有上传入口的上传模块（１）；中转服务器（２），用于存储上传文件后发送文件至存储服务器（３）；存储服务器（３），用于存储上传文件；缓存服务器（４），分发存储服务器（３）上的文件时，用于缓存文件；备份服务器（５），用于备份存储服务器（３）上的更新文件。

【技术特征摘要】
1.一种海量小文件的存储装置，其特征在于，它包括在网页页面上设有上传入口的上传模块（1）；中转服务器（2），用于存储上传文件后发送文件至存储服务器（3）；存储服务器（3），用于存储上传文件；缓存服务器（4），分发存储服务器（3）上的文件时，用于缓存文件；备份服务器（5），用于备份存储服务器（3）上的更新文件。2.根据权利要求1所述的海量小文件的存储装置，其特征在于：所述中转服务器（2）上设有接收模块（6），用于响应用户的上传请求，并接收用户数据；校验模块（7），用于校验上传文件的合法性；存储模块（8），在校验模块（7）对文件的合法性进行校验之后，结合上传者的身份信息，访问应该保存此文件的存储服务器（3）上的存储服务，将此文件连同相关的元数据信...

【专利技术属性】
技术研发人员：熊家贵，伍星，
申请(专利权)人：开心人网络科技北京有限公司，
类型：实用新型
国别省市：11[]