一种海量数据快速存储的方法和装置制造方法及图纸

本发明专利技术提出了一种海量数据快速存储的方法和装置，该方法，包括：针对网络中实时获取的数据包，将所述数据包中的结构化数据存储为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件迁移到非结构化数据库中；将结构化数据库中的结构文件存储到数据库服务器中；将非结构化数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各压缩文件在非结构化服务器中的存储地址存储到数据库服务器中。

【技术实现步骤摘要】

本专利技术涉及互联网术领域，尤其涉及一种海量数据快速存储的方法和装置。
技术介绍
随着信息社会的发展和互联网的大规模普及，互联网产生的瞬时数据越来越多。从互联网快速发展趋势来看，一方面，对数据存储的需求越来越大，对存储速度要求越来越快；另一方面，对数据的快速检索提出了更高的要求。现有的传统数据存储方式和检索方式效率低下，无法满足对互联网瞬时海量数据进行快速存储与快速检索的要求。目前，对于这个问题，一种解决方案是结构化存储，即数据库存储，这种方式的缺点是当数据量达到海量并且包含图片、视频等非结构化数据时，存储和查询的效率低下。另一种解决方案是非结构化存储，即SAN(StorageAreaNetwork，网络区域存储)或NAS(NetworkAttachedStorage，网络连接式存储)；SAN存储的缺点是：成本高，不适合大规模存储系统，数据共享性不好，无法支持多用户文件共享；NAS存储的缺点是：共享网络带宽，并发性能差，随着系统的扩展，性能会进一步下降，无论是查询简单的列表数据还是视频、图片等非结构化数据，都需要遍历文件服务器，查询效率低下。
技术实现思路
本专利技术要解决的技术问题是，提供一种海量数据快速存储的方法和装置，提高了海量数据的存储效率，降低了海量数据的维护成本，并提高了海量数据的检索速度。本专利技术采用的技术方案是，所述海量数据快速存储的方法，包括：步骤1：针对网络中实时获取的数据包，将所述数据包中的结构化数据存储为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；步骤2：按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件迁移到非结构化数据库中；步骤3：将结构化数据库中的结构文件存储到数据库服务器中；将非结构化数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各压缩文件在非结构化服务器中的存储地址存储到数据库服务器中。进一步的，所述步骤1，包括：步骤11：针对网络中实时获取的数据包，对所述数据包进行解析，通过分析所述数据包的包头获得所述数据包的协议类型与协议参数；步骤12：根据所述数据包的协议类型与协议参数，将所述数据包中的数据分解为结构化数据与非结构化数据；步骤13：将所述数据包中的结构化数据存储为结构文件，将所述数据包中的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中。进一步的，所述步骤3，具体包括：按照设定的第二时间间隔，定期通过多线程方式从结构化数据库中获取结构文件，并将所述结构文件分解为结构正文文件和结构统计文件，再将所述结构正文文件中的结构化数据和结构统计文件中的结构化数据存储到数据库服务器中的数据表中；按照设定的第三时间间隔，定期通过多线程方式从非结构化数据库中获取压缩文件，根据所述压缩文件的协议类型，将所述压缩文件分别对应的存储到不同协议类型的非结构化服务器中，并将所述压缩文件中的非结构化数据存储到所述非结构化服务器中的数据表中；再将所述非结构化数据在非结构化服务器中的存储地址存储到数据库服务器中的数据表中；根据结构化数据与非结构化数据之间的关联关系，在数据库服务器中，将存储有所述结构化数据的数据表与存储有所述非结构化数据的存储地址的数据表进行关联。进一步的，所述海量数据快速存储的方法，还包括：根据用户的检索要求，在数据库服务器中找到满足所述检索要求的数据表；获取满足所述检索要求的数据表中的结构化数据以及非结构化数据的存储地址，并将其返回显示出来；根据所述非结构化数据的存储地址，在对应的非结构化服务器中获取所述非结构化数据，并将其返回显示出来。本专利技术还提供一种海量数据快速存储的装置，包括：数据处理模块：用于针对网络中实时获取的数据包，将所述数据包中的结构化数据存储为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；文件迁移模块：用于按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件迁移到非结构化数据库中；快速存储模块：用于将结构化数据库中的结构文件存储到数据库服务器中；将非结构化数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各压缩文件在非结构化服务器中的存储地址存储到数据库服务器中。进一步的，所述数据处理模块，包括：获取模块：用于针对网络中实时获取的数据包，对所述数据包进行解析，通过分析所述数据包的包头获得所述数据包的协议类型与协议参数；分解模块：用于根据所述数据包的协议类型与协议参数，将所述数据包中的数据分解为结构化数据与非结构化数据；存储模块：用于将所述数据包中的结构化数据存储为结构文件，将所述数据包中的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中。进一步的，所述快速存储模块，具体用于：按照设定的第二时间间隔，定期通过多线程方式从结构化数据库中获取结构文件，并将所述结构文件分解为结构正文文件和结构统计文件，再将所述结构正文文件中的结构化数据和结构统计文件中的结构化数据存储到数据库服务器中的数据表中；按照设定的第三时间间隔，定期通过多线程方式从非结构化数据库中获取压缩文件，根据所述压缩文件的协议类型，将所述压缩文件分别对应的存储到不同协议类型的非结构化服务器中，并将所述压缩文件中的非结构化数据存储到所述非结构化服务器中的数据表中；再将所述非结构化数据在非结构化服务器中的存储地址存储到数据库服务器中的数据表中；根据结构化数据与非结构化数据之间的关联关系，在数据库服务器中，将存储有所述结构化数据的数据表与存储有所述非结构化数据的存储地址的数据表进行关联。进一步的，所述海量数据快速存储的装置，还包括：数据检索模块：根据用户的检索要求，在数据库服务器中找到满足所述检索要求的数据表；获取满足所述检索要求的数据表中的结构化数据以及非结构化数据的存储地址，并将其返回显示出来；根据所述非结构化数据的存储地址，在对应的非结构化服务器中获取所述非结构化数据，并将其返回显示出来。采用上述技术方案，本专利技术至少具有下列优点：本文档来自技高网...

【技术保护点】
一种海量数据快速存储的方法，其特征在于，包括：步骤1：针对网络中实时获取的数据包，将所述数据包中的结构化数据存储为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；步骤2：按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件迁移到非结构化数据库中；步骤3：将结构化数据库中的结构文件存储到数据库服务器中；将非结构化数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各压缩文件在非结构化服务器中的存储地址存储到数据库服务器中。

【技术特征摘要】
1.一种海量数据快速存储的方法，其特征在于，包括：
步骤1：针对网络中实时获取的数据包，将所述数据包中的结构化数据存储
为结构文件，将所述数据包中与所述结构化数据相关联的非结构化数据存储为
压缩文件，并将所述结构文件和所述压缩文件分别存储到指定的存储目录中；
步骤2：按照设定的第一时间间隔，定期对所述存储目录进行检查，将所述
存储目录中的结构文件迁移到结构化数据库中，将所述存储目录中的压缩文件
迁移到非结构化数据库中；
步骤3：将结构化数据库中的结构文件存储到数据库服务器中；将非结构化
数据库中的压缩文件分别对应的存储到不同的非结构化服务器中；并将所述各
压缩文件在非结构化服务器中的存储地址存储到数据库服务器中。
2.根据权利要求1所述的海量数据快速存储的方法，其特征在于，所述步
骤1，包括：
步骤11：针对网络中实时获取的数据包，对所述数据包进行解析，通过分
析所述数据包的包头获得所述数据包的协议类型与协议参数；
步骤12：根据所述数据包的协议类型与协议参数，将所述数据包中的数据
分解为结构化数据与非结构化数据；
步骤13：将所述数据包中的结构化数据存储为结构文件，将所述数据包中
的非结构化数据存储为压缩文件，并将所述结构文件和所述压缩文件分别存储
到指定的存储目录中。
3.根据权利要求1所述的海量数据快速存储的方法，其特征在于，所述步
骤3，具体包括：
按照设定的第二时间间隔，定期通过多线程方式从结构化数据库中获取结
构文件，并将所述结构文件分解为结构正文文件和结构统计文件，再将所述结
构正文文件中的结构化数据和结构统计文件中的结构化数据存储到数据库服务

\t器中的数据表中；
按照设定的第三时间间隔，定期通过多线程方式从非结构化数据库中获取
压缩文件，根据所述压缩文件的协议类型，将所述压缩文件分别对应的存储到
不同协议类型的非结构化服务器中，并将所述压缩文件中的非结构化数据存储
到所述非结构化服务器中的数据表中；再将所述非结构化数据在非结构化服务
器中的存储地址存储到数据库服务器中的数据表中；
根据结构化数据与非结构化数据之间的关联关系，在数据库服务器中，将
存储有所述结构化数据的数据表与存储有所述非结构化数据的存储地址的数据
表进行关联。
4.根据权利要求3所述的海量数据快速存储的方法，其特征在于，所述海
量数据快速存储的方法，还包括：
根据用户的检索要求，在数据库服务器中找到满足所述检索要求的数据表；
获取满足所述检索要求的数据表中的结构化数据以及非结构化数据的存储
地址，并将其返回显示出来；
根据所述非结构化数据的存储地址，在对应的非结构化服务器中获取所述
非结构化数据，并将其返回显示出来。
5.一种海量数据快速存储的装置，其特征在...

【专利技术属性】
技术研发人员：陈雪松，安洋，代启亮，李海静，张养辉，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：北京;11