数据存储系统及方法技术方案

本发明专利技术提供了一种数据存储系统及方法，涉及计算机技术领域，该系统包括数据模块、预测模块、执行模块和监测模块，数据模块从数据信息端读取数据并对获取的数据进行分片存储；预测模块对数据进行数据预分析；执行模块接收外部终端发出的搜索命令，根据搜索命令生成搜索日志，并将搜索命令进行分解，根据分步后的搜索命令搜索需求数据及需求数据关联的数据分析报告；以及，将需求数据发送至外部终端；监测模块监测系统的运行状态生成运行日志；数据模块还可以对数据进行清理以释放存储空间。数据模块支持数据分类和数据清理，以确保存储空间和运行效率；预测模块可以为客户提供数据辅助作用；执行模块可以将搜索命令分步执行，确保了执行效率。

Data Storage System and Method

【技术实现步骤摘要】
数据存储系统及方法
本专利技术涉及计算机
，尤其是涉及一种数据存储系统及方法。
技术介绍
随着新型互联网的兴起，传统的关系数据库在应付所见即所得的高体验网站，特别是超大规模和高并发的社交网络服务类型的纯动态网站已经显得力不从心，暴露了很多难以克服的问题。以能源行业为例，由于能源公司信息读写频率较高，且能源公司分类统计、地区归类运算量大；用户在前端进行信息时要求的查询速度快；用户行为日志记录量频繁，系统推送能源服务频率较高。对于能源行业而言，通常采用传统关系数据库进行数据的存储，能源行业信息通过爬虫手段所获取的数据的数据结构不稳定性，无法支持快速回应用户的查询需求，且面对大量的数据种类和快速的读写频率，传统的关系数据库无法很好地支持数据库中数据信息的更迭，容易出现数据库运行迟缓等问题。采用传统的关系数据库进行能源信息的存储，用户在对信息进行查询时，回应速度慢，用户体验感差。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据存储系统及方法，以缓解了传统关系数据库无法很好地处理海量数据的检索、读写响应速度慢的技术问题。第一方面，本专利技术实施例提供了一种数据存储系统，该系统包括数据模块，以及与数据模块通信连接的预测模块、执行模块和监测模块；数据模块按照预先设定的数据获取原则，从数据信息端读取与数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储；其中，数据获取原则包括期望获取的行业信息，数据信息端包括公开网页，数据处理原则至少包括应用场景划分处理原则；预测模块用于根据预设数据挖掘算法，对数据模块分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；其中，数据预分析包括数据汇总、数据提炼和数据挖掘；执行模块用于接收外部终端发出的搜索命令，根据搜索命令生成搜索日志，以记录外部终端的搜索操作，并按照预设命令执行依据，将搜索命令进行分解，以获得分步后的搜索命令，并根据分步后的搜索命令在数据模块分片存储的数据中搜索与搜索命令匹配的需求数据及需求数据关联的数据分析报告；以及，将需求数据发送至外部终端；监测模块用于监测系统的运行状态，并按照预设的时间周期生成的系统的运行日志。数据模块还用于当数据模块分片存储的数据所占空间达到预设数据存储空间占比时，数据模块按照预设的删除原则，对数据模块分片存储的数据进行清理，以释放数据模块的存储空间。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，数据模块包括数据处理单元；数据处理单元用于根据数据处理原则将数据模块获取的数据进行应用场景分片存储。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，执行模块包括多个执行单元；执行模块用于将分步后的搜索命令分配至一个或多个空闲状态下的执行单元；空闲状态下的执行单元用于执行分步处理后的搜索命令。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，该系统还包括关联模块；关联模块用于提取数据模块中的数据的关联词，将数据与关联词进行关联存储；以及，将关联词和数据发送至数据模块，其中，关联词至少包括以下分类的一种：数据的行业分类、领域分类、产品分类；数据模块还用于将携带关联词的数据存储至关联词匹配的存储区。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，搜索命令包括关联词搜索命令；执行模块还用于根据关联词搜索命令，在关联词匹配的存储区中搜索与搜索命令匹配的需求数据。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，数据模块包括多个集合单元；每个集合单元均配置有关联词对应的标识，用于对携带关联词的数据进行压缩存储；当搜索命令包含关联词时，配置该关联词对应的标识的集合单元用于将该集合单元压缩存储的数据进行缓存，以便于执行模块进行数据搜索；集合单元还用于当集合单元存储的数据所占空间达到预设单元存储空间占比时，集合单元根据数据存入集合单元的时间顺序，对集合单元存储的数据进行清理，以释放集合单元的存储空间。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，该系统还包括与数据模块连接的索引模块；索引模块用于生成数据模块存储的数据对应的索引指针。结合第一方面的第六种可能的实施方式，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，搜索命令还包括索引信息；执行模块还用于将索引信息发送至索引模块，接收索引模块根据索引信息反馈对应的索引指针；以及，根据索引指针对数据进行数据搜索。结合第一方面，本专利技术实施例提供了第一方面的第八种可能的实施方式，其中，系统还包括爬取模块和数据清洗模块，数据信息端、爬取模块、数据清洗模块和数据模块依次连接；数据模块触发爬取模块按照数据获取原则从数据信息端进行数据的爬取；当爬取模块爬取到数据时，数据模块触发数据清洗模块读取爬取模块中的爬取到的数据，按照预先设置的清洗规则对读取的数据进行清洗，将清洗后的数据发送至数据模块进行分片存储。第二方面，本专利技术实施例还提供一种数据存储方法，该方法应用于第一方面所述的数据存储系统，该方法包括：数据模块按照预先设定的数据获取原则，从数据信息端读取与数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储；其中，数据获取原则包括期望获取的行业信息，数据信息端包括公开网页，数据处理原则至少包括场景划分处理原则；预测模块根据预设数据挖掘算法，对数据模块分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；其中，数据预分析包括数据汇总、数据提炼和数据挖掘；执行模块接收外部终端发出的搜索命令，根据搜索命令生成搜索日志，以记录外部终端的搜索操作，并按照预设命令执行依据，将搜索命令进行分解，以获得分步后的搜索命令，并根据分步后的搜索命令在数据模块分片存储的数据中搜索与搜索命令匹配的需求数据及需求数据关联的数据分析报告；以及，将需求数据发送至外部终端；监测模块监测系统的运行状态，并按照预设的时间周期生成的系统的运行日志；当数据模块分片存储的数据所占空间达到预设数据存储空间占比时，数据模块按照预设的删除原则，对数据模块分片存储的数据进行清理，以释放数据模块的存储空间。本专利技术实施例带来了以下有益效果：本专利技术实施例提供了一种数据存储系统及方法，包括数据模块，以及与数据模块通信连接的预测模块、执行模块和监测模块，数据模块按照预先设定的数据获取原则，从数据信息端读取与数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储，根据预设数据挖掘算法，预测模块对分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；执行模块接收外部终端发出的搜索命令，根据搜索命令生成搜索日志，以记录外部终端的搜索操作，并按照预设命令执行依据，将搜索命令进行分解，以获得分步后的搜索命令，并根据分步后的搜索命令在数据模块分片存储的数据中搜索与搜索命令匹配的需求数据及需求数据关联的数据分析报告；以及，将需求数据发送至外部终端；监测模块监测系统的运行状态，并按照预设的时间周期生成的系统的运行日志；数据模块还用于当数据模块分片存储的数据所占空间达到预设数据存储本文档来自技高网...

【技术保护点】
1.一种数据存储系统，其特征在于，所述系统包括数据模块，以及与所述数据模块通信连接的预测模块、执行模块和监测模块；所述数据模块按照预先设定的数据获取原则，从数据信息端读取与所述数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储；其中，所述数据获取原则包括期望获取的行业信息，所述数据信息端包括公开网页，所述数据处理原则至少包括应用场景划分处理原则；所述预测模块用于根据预设数据挖掘算法，对所述数据模块分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；其中，所述数据预分析包括数据汇总、数据提炼和数据挖掘；所述执行模块用于接收外部终端发出的搜索命令，根据所述搜索命令生成搜索日志，以记录所述外部终端的搜索操作，并按照预设命令执行依据，将所述搜索命令进行分解，以获得分步后的搜索命令，并根据所述分步后的搜索命令在所述数据模块分片存储的所述数据中搜索与所述搜索命令匹配的需求数据及所述需求数据关联的数据分析报告；以及，将所述需求数据发送至所述外部终端；所述监测模块用于监测所述系统的运行状态，并按照预设的时间周期生成的所述系统的运行日志；所述数据模块还用于当所述数据模块分片存储的数据所占空间达到预设数据存储空间占比时，所述数据模块按照预设的删除原则，对所述数据模块分片存储的数据进行清理，以释放所述数据模块的存储空间。...

【技术特征摘要】
1.一种数据存储系统，其特征在于，所述系统包括数据模块，以及与所述数据模块通信连接的预测模块、执行模块和监测模块；所述数据模块按照预先设定的数据获取原则，从数据信息端读取与所述数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储；其中，所述数据获取原则包括期望获取的行业信息，所述数据信息端包括公开网页，所述数据处理原则至少包括应用场景划分处理原则；所述预测模块用于根据预设数据挖掘算法，对所述数据模块分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；其中，所述数据预分析包括数据汇总、数据提炼和数据挖掘；所述执行模块用于接收外部终端发出的搜索命令，根据所述搜索命令生成搜索日志，以记录所述外部终端的搜索操作，并按照预设命令执行依据，将所述搜索命令进行分解，以获得分步后的搜索命令，并根据所述分步后的搜索命令在所述数据模块分片存储的所述数据中搜索与所述搜索命令匹配的需求数据及所述需求数据关联的数据分析报告；以及，将所述需求数据发送至所述外部终端；所述监测模块用于监测所述系统的运行状态，并按照预设的时间周期生成的所述系统的运行日志；所述数据模块还用于当所述数据模块分片存储的数据所占空间达到预设数据存储空间占比时，所述数据模块按照预设的删除原则，对所述数据模块分片存储的数据进行清理，以释放所述数据模块的存储空间。2.根据权利要求1所述的系统，其特征在于，所述数据模块包括数据处理单元；所述数据处理单元用于根据所述数据处理原则将所述数据模块获取的数据进行应用场景分片存储。3.根据权利要求1所述的系统，其特征在于，所述执行模块包括多个执行单元；所述执行模块用于将所述分步后的搜索命令分配至一个或多个空闲状态下的执行单元；所述空闲状态下的执行单元用于执行分步处理后的搜索命令。4.根据权利要求1所述的系统，其特征在于，所述系统还包括关联模块；所述关联模块用于提取所述数据模块中的所述数据的关联词，将所述数据与所述关联词进行关联存储；以及，将所述关联词和所述数据发送至所述数据模块，其中，所述关联词至少包括以下分类的一种：所述数据的行业分类、领域分类、产品分类；所述数据模块还用于将携带所述关联词的所述数据存储至所述关联词匹配的存储区。5.根据权利要求4所述的系统，其特征在于，所述搜索命令包括关联词搜索命令；所述执行模块还用于根据所述关联词搜索命令，在所述关联词匹配的存储区中搜索与所述搜索命令匹配的需求数据。6.根据权利要求4所述的系统，其特征在于，所述数据模块包括多个集合单元；每个所述集合单元均配置有关联词对应的标识，用于对携带所述关联词的所述数据进行压缩存...

【专利技术属性】
技术研发人员：彭磊，许庆，朱伟凯，韩雪，
申请(专利权)人：上海泰豪迈能能源科技有限公司，
类型：发明
国别省市：上海,31