一种非结构化数据快速备份系统和方法技术方案

本发明专利技术公开了一种非结构化数据快速备份系统和方法，系统包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送非结构化数据以及用于根据非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送快速备份消息、用于接收和发送位置目录索引信息以及用于根据位置目录索引信息将接收到的整个目录下的非结构化数据发送出去；数据库，其用于接收和存放主备份模块发送过来的位置目录索引信息；存储设备，其用于接收和存放主备份模块发送过来的非结构化数据。本发明专利技术的有益效果：大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。

A Fast Backup System for Unstructured Data

The invention discloses a fast backup system for unstructured data, which includes a data source server, which stores unstructured data, a client module, which receives fast backup messages, reads and sends unstructured data and generates location directory index information according to the location of unstructured data, and a main backup module, which uses To generate and send fast backup messages, to receive and send location directory index information, and to send unstructured data under the received entire directory based on location directory index information; to receive and store location directory index information sent by the main backup module; to store devices for receiving and storing location directory index information sent by the main backup module; and to store devices for receiving and storing location directory index information sent by the main backup module. Unstructured data. The invention has the beneficial effect that the backup efficiency of massive unstructured data is greatly improved, the backup time window is saved, and the disaster tolerance management of unstructured data by users is reduced.

【技术实现步骤摘要】
一种非结构化数据快速备份系统和方法
本专利技术涉及声数据备份
，具体来说，涉及一种非结构化数据快速备份系统和方法。
技术介绍
随着计算机、互联网和数字媒体等的进一步普及，以办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等数据结构不规则，没有预定义数据模型的非结构化数据为主的信息急剧增加，面对如此巨大的信息海洋，特别是非结构化数据信息，如何快速备份、存储这些海量信息资源就显得尤为关键。数据备份是容灾的基础。现代数据保护的趋势对于非结构化的数据的备份在细粒度、频繁快速备份、数据分类和归档等方面还缺少的保护手段。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的上述技术问题，本专利技术提出一种非结构化数据快速备份系统和方法，针对海量非结构化数据，可提升其备份和归档的效率。为实现上述技术目的，本专利技术的技术方案是这样实现的：一种非结构化数据快速备份系统，包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。进一步地，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。进一步地，所述数据库为Postgres数据库。进一步地，所述客户端模块安装在所述数据源服务器上。进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为LAN或LAN-Free。进一步地，所述非结构化数据包括内容数据和元数据；本专利技术还公开了一种非结构化数据快速备份方法，包括以下步骤：S1主备份模块生成快速备份信息并发送出去；S2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；S3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。进一步地，所述非结构化数据包括内容数据和元数据。进一步地，所述数据库为Postgres数据库。进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为LAN或LAN-Free。本专利技术的有益效果：大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例所述的非结构化数据快速备份系统的原理框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，根据本专利技术实施例所述的一种非结构化数据快速备份系统，包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。在本专利技术的一个具体实施例中，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。在本专利技术的一个具体实施例中，所述数据库为Postgres数据库。在本专利技术的一个具体实施例中，所述客户端模块安装在所述数据源服务器上。在本专利技术的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为LAN或LAN-Free。在本专利技术的一个具体实施例中，所述非结构化数据包括内容数据和元数据；本专利技术还公开了一种非结构化数据快速备份方法，包括以下步骤：S1主备份模块生成快速备份信息并发送出去；S2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；S3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。在本专利技术的一个具体实施例中，所述非结构化数据包括内容数据和元数据。在本专利技术的一个具体实施例中，所述数据库为Postgres数据库。在本专利技术的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为LAN或LAN-Free。为了方便理解本专利技术的上述技术方案，以下通过具体使用方式对本专利技术的上述技术方案进行详细说明。本专利技术涉及到两个主要功能模块，一是主备份模块，是整个快速备份系统的核心，负责整个快速备份系统的消息通信、读写快速备份信息，控制备份与恢复的运行。二是客户端模块（备份代理），安装在数据源服务器上，负责将要备份的非结构化数据发送到主备份模块和接收恢复的数据。其中快速备份模块内嵌在主备份模块中，Postgres数据库用于记录非结构化数据的位置目录索引信息。备份模式主要采用LAN、LAN-Free混合备份模式。数据源服务器中存放有非结构化数据，客户端模块预先安装在数据源服务器上。内容数据与元数据组成非结构化数据，均放在数据源服务器存储设备上。客户端模块负责读取非结构化数据的内容数据和元数据。客户端模块会将数据源服务器上想要备份的非结构化数据的等内容通过网络发送消息队列给主备份模块。在主备份模块通过开启快速备份模块来实现快速备份功能。提高非结构化数据备份效率。主备份模块获取到客户端模块发送的消息队列，将客户端获取到的非结构化数据调用LAN网络或者光纤网络（LAN-Free）方式传输数据。主备份模块会与客户端模块实时通信，保证消息队列传输正常，获取客户端模块所在的数据源服务器上的非结构化数据。主备份模块将获取到的非结构化数据发送给存储设备。具体使用时，开启主备本文档来自技高网...

【技术保护点】
1.一种非结构化数据快速备份系统，其特征在于，包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。

【技术特征摘要】
1.一种非结构化数据快速备份系统，其特征在于，包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。2.根据权利要求1所述的非结构化数据快速备份系统，其特征在于，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。3.根据权利要求1所述的非结构化数据快速备份系统，其特征在于，所述数据库为Postgres数据库。4.根据权利要求1所述的非结构化数据快速备份系统，其特征在于，所述客户端模块安装在所述数据源服务器上。5.根据权利要求4所述的非结构化数据快速备份系统，其特征在于，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通...

【专利技术属性】
技术研发人员：衡春露，黄疆，
申请(专利权)人：黄疆，
类型：发明
国别省市：北京,11