一种大数据存储系统技术方案

本发明专利技术涉及一种大数据存储系统，包括数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统。数据存储子系统包括数据解密模块和数据存储模块，数据存储模块包括内存数据库、磁盘数据库和存储控制单元，数据信息同时存储至内存数据库和磁盘数据库中，当内存数据库中的数据信息的存储时长大于预设存储时长时，将内存数据库中的数据信息删除，降低内存数据库中的数据量，进而提升内存数据库的存储性能，而保留磁盘数据库中的数据量，通过这种存储方式能够提升内存数据库的存储性能，并且，磁盘数据库能够满足存储容量的需求，进而实现大数据存储的可靠性和安全性。

A big data storage system

【技术实现步骤摘要】
一种大数据存储系统
本专利技术涉及一种大数据存储系统。
技术介绍
大数据一般是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。目前，在大数据存储方面，往往只是大数据无差别的存储，安全性较差。
技术实现思路
本专利技术的目的在于提供一种大数据存储系统，用于解决现在的大数据存储方式的安全性较差的问题。为了解决上述问题，本专利技术采用以下技术方案：一种大数据存储系统，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统；所述数据采集模块用于采集数据信息；所述病毒检测模块用于对所述数据采集模块采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据加密模块；所述数据加密模块用于对所述采集到的数据信息进行加密处理；所述数据传输模块用于将加密后的数据信息传输至所述数据存储子系统；所述数据存储子系统包括数据解密模块和数据存储模块，所述数据解密模块用于解密所述加密后的数据信息；所述数据存储模块包括内存数据库和磁盘数据库；对于任意一个数据信息，该数据信息存储至所述内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且同时备份至所述磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息；所述数据存储模块还包括存储控制单元，所述存储控制单元用于比较所述内存数据库中存储的第一数据信息的存储时长与预设存储时长，当第一数据信息的存储时长大于所述预设存储时长时，所述存储控制单元将内存数据库中的第一数据信息删除。可选地，所述病毒检测模块执行如下病毒检测过程：创建病毒特征库，所述病毒特征库中的病毒特征和病毒信息存在以下关系：一个病毒信息包含至少一个病毒特征，每一个病毒特征对应至少一个病毒信息；将所述数据采集模块采集到的数据信息进行解析，采用多模式匹配算法与所述病毒特征库中的病毒特征进行匹配，当匹配到一条病毒特征时，结合匹配到的病毒特征，判断是否能够组成至少一条完整的病毒信息，若能够组成至少一条完整的病毒信息，则病毒信息匹配成功，判断所述采集到的数据信息有病毒，若不能够组成至少一条完整的病毒信息，则判断所述采集到的数据信息没有病毒。本专利技术的有益效果为：在采集到数据信息之后进行病毒检测，只有采集到的数据信息没有病毒才进行后续的数据存储处理，提升数据存储的安全性；经过病毒检测之后先进行数据加密，然后进行解密，数据存储模块存储解密后的数据信息，提升数据存储的安全性；将数据信息存储至内存数据库中，同时备份至磁盘数据库，将数据信息同时存储至两个不同的数据库中，能够提升数据存储的可靠性，降低数据丢失的风险；内存数据库的读写性能较高，将数据信息存储至内存数据库，能够有效提高存储效率以及存储可靠性，降低数据丢失的风险，磁盘数据库的读写性能相对较低，但是存储容量通常较大，因此，判断数据信息的存储时长，当存储时长大于预设存储时长时，将内存数据库中的相关数据信息删除，降低内存数据库中的数据量，进而提升内存数据库的存储性能，而保留磁盘数据库中的数据量，磁盘数据库能够满足存储容量的需求，即便删除内存数据库中的相关数据信息，也不会造成数据丢失。因此，该大数据存储系统集内存数据库和磁盘数据库的特性之所长，实现大数据存储的可靠性和安全性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：图1是大数据存储系统的结构示意图。具体实施方式如图1所示，本实施例提供一种大数据存储系统，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统。该大数据存储系统的应用场合不过限定，可以应用在商业中，则相关的数据信息可以为消费数据或者物价数据，也可以应用在电力中，则相关的数据信息可以为某一地区的电力线网的电力数据，包括电压、电流、有功功率等，还可以应用在网络信息领域中，则相关的数据信息为日志记录文件。该大数据存储系统的各组成模块可以为硬件模块，也可以为软件模块，不管是硬件模块还是软件模块，各模块的连接关系如图1所示。数据采集模块用于采集数据信息，数据采集模块可以为用于采集各数据的采集设备，比如电压传感器、电流传感器等等，也可以是用于连接各数据采集设备的数据接收芯片。病毒检测模块接收数据采集模块采集到的数据信息，对采集到的数据信息进行病毒检测。病毒检测模块可以为常规的病毒检测软件程序。若采集到的数据信息没有病毒，则病毒检测模块将采集到的数据信息传输至数据加密模块。另外，若病毒检测模块检测到采集到的数据信息有病毒，则不将采集到的数据信息进行后续处理，即终止数据存储。作为一个具体实施方式，病毒检测模块执行如下病毒检测过程：创建病毒特征库，病毒特征库中的病毒特征和病毒信息存在以下关系：一个病毒信息包含至少一个病毒特征，每一个病毒特征对应至少一个病毒信息。病毒信息为病毒名称，代表一个病毒。将数据采集模块采集到的数据信息进行解析，采用多模式匹配算法与毒特征库中的病毒特征进行匹配，本实施例中，多模式匹配算法可以为AC-BM(Aho-Corasick-Boyer-Moore)算法，采用AC-BM算法先进行病毒特征的匹配。当匹配到一条病毒特征时，结合匹配到的病毒特征，判断是否能够组成至少一条完整的病毒信息。本实施例针对一个病毒包含多条病毒特征的情况，因此，本实施例判断是否匹配到完整的病毒信息的策略就是，当匹配到的多条病毒特征可以组成一个病毒信息(即该病毒信息包含的多条病毒特征都被匹配到)时，则认为成功匹配到一个病毒信息(即一个病毒)，结合已匹配到的多条病毒特征，可以匹配到一条或多条病毒信息。若能够组成至少一条完整的病毒信息，则病毒信息匹配成功，即判断采集到的数据信息有病毒；否则（即不能组成至少一条完整的病毒信息），则判断采集到的数据信息没有病毒。需要说明的是，本申请不局限于上述具体的病毒检测过程，还可以采用现有其他的病毒检测过程。数据加密模块用于对采集到的数据信息进行加密处理，具体加密机制由实际需要或者由数据的具体类型进行设置。数据传输模块用于将加密后的数据信息传输至数据存储子系统。数据传输模块可以为通信线路，或者具有通信传输功能的芯片。数据存储子系统包括数据解密模块和数据存储模块。数据解密模块用于解密加密后的数据信息，那么，数据解密模块与数据加密模块相对应，数据解密模块中的解密机制与数据加密模块中的加密机制相适配。数据存储模块包括内存数据库、磁盘数据库和存储控制单元。数据解密模块将解密后的数据信息传输给内存数据库和磁盘数据库。对于任意一个数据信息，该数据信息存储至内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且该数据信息同时备份至磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息。因此，第一数据信息和第二数据信息为相同的数据信息。也就是说，将数据信息存储至内存数据库的同时备份到磁盘数据库中。内存数据库就是将数据放在内存本文档来自技高网...

【技术保护点】
1.一种大数据存储系统，其特征在于，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统；/n所述数据采集模块用于采集数据信息；/n所述病毒检测模块用于对所述数据采集模块采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据加密模块；/n所述数据加密模块用于对所述采集到的数据信息进行加密处理；/n所述数据传输模块用于将加密后的数据信息传输至所述数据存储子系统；/n所述数据存储子系统包括数据解密模块和数据存储模块，所述数据解密模块用于解密所述加密后的数据信息；所述数据存储模块包括内存数据库和磁盘数据库；/n对于任意一个数据信息，该数据信息存储至所述内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且同时备份至所述磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息；所述数据存储模块还包括存储控制单元，所述存储控制单元用于比较所述内存数据库中存储的第一数据信息的存储时长与预设存储时长，当第一数据信息的存储时长大于所述预设存储时长时，所述存储控制单元将内存数据库中的第一数据信息删除。/n

【技术特征摘要】
1.一种大数据存储系统，其特征在于，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统；
所述数据采集模块用于采集数据信息；
所述病毒检测模块用于对所述数据采集模块采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据加密模块；
所述数据加密模块用于对所述采集到的数据信息进行加密处理；
所述数据传输模块用于将加密后的数据信息传输至所述数据存储子系统；
所述数据存储子系统包括数据解密模块和数据存储模块，所述数据解密模块用于解密所述加密后的数据信息；所述数据存储模块包括内存数据库和磁盘数据库；
对于任意一个数据信息，该数据信息存储至所述内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且同时备份至所述磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息；所述数据存储模块还包括存...

【专利技术属性】
技术研发人员：于梦丽，黄艳伟，
申请(专利权)人：于梦丽，
类型：发明
国别省市：河南;41