一种基于计算机大数据存储系统技术方案

本发明专利技术公开了一种基于计算机大数据存储系统，包括数据获取单元、数据解析单元、监控单元、人脸库、识别单元、处理器、访问请求单元、习惯积累单元、惯性库、显示单元、主存储单元、废弃存储单元和中转单元；本发明专利技术通过数据获取单元获取到上传存储的日常数据，之后将日常数据传输到数据解析单元，借助数据解析单元进行初数据处理，得到日常数据及其对应核心信息融合形成的存储数据；之后将存储数据传输到处理器，之后处理器将存储数据传输到主存储单元，按照指定的规则进行分析，得到若干以标志数据的关键词命名的存储文件夹内存储的标志数据和存储数据，从而将相应的数据按照指定的格式和相应的标准将数据存储完毕。

【技术实现步骤摘要】
一种基于计算机大数据存储系统
本专利技术属于存储领域，涉及大数据存储技术，具体是一种基于计算机大数据存储系统。
技术介绍
公开号为CN107480283A的专利公开了一种实现大数据快速存储的方法、装置以及存储系统，涉及大数据存储
其中，实现大数据快速存储的方法包括：通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的待入库数据暂存至消息队列；通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。本专利技术实现了大数据的快速存储，主要是针对大数据行业设计与使用，可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果。但是，针对一些公用的基于计算机实现的公用数据存储系统，会有多人使用该类公用的存储系统进行文件存储；这样会造成一个问题，就是存储进去的内容过多，每个人存储进去的内容，以及之后需要读取出来的内容不相同，每个人的需要不同，存储的位置不同，这样对于一些公用的存储系统时，如何进行数据有效的关联性存储，以及为用户提供便捷的访问；便于用本文档来自技高网...

【技术保护点】
1.一种基于计算机大数据存储系统，其特征在于，包括数据获取单元、数据解析单元、监控单元、人脸库、识别单元、处理器、访问请求单元、习惯积累单元、惯性库、显示单元、主存储单元、废弃存储单元和中转单元；/n所述数据获取单元用于获取所有用户存储的日常数据，所述数据获取单元用于将日常数据传输到数据解析单元，所述数据解析单元接收数据获取单元传输的日常数据，并对日常数据进行初数据处理，得到日常数据及其对应的核心信息融合形成的存储数据；/n所述数据解析单元用于将存储数据传输到处理器，所述处理器接收数据解析单元传输的存储数据并将其传输到主存储单元，所述主存储单元接收处理器传输的存储数据，并对其进行自存储步骤，自...

【技术特征摘要】
1.一种基于计算机大数据存储系统，其特征在于，包括数据获取单元、数据解析单元、监控单元、人脸库、识别单元、处理器、访问请求单元、习惯积累单元、惯性库、显示单元、主存储单元、废弃存储单元和中转单元；
所述数据获取单元用于获取所有用户存储的日常数据，所述数据获取单元用于将日常数据传输到数据解析单元，所述数据解析单元接收数据获取单元传输的日常数据，并对日常数据进行初数据处理，得到日常数据及其对应的核心信息融合形成的存储数据；
所述数据解析单元用于将存储数据传输到处理器，所述处理器接收数据解析单元传输的存储数据并将其传输到主存储单元，所述主存储单元接收处理器传输的存储数据，并对其进行自存储步骤，自存储步骤具体如下：
S10：获取到存储数据及其时间戳；
S20：按照日、月、年，依次建立底层、次层和表层文件夹，底层文件夹内存储存储数据，底层文件夹存储在次层文件夹内，次层文件夹存储在表层文件夹内；
S30：之后获取到所有存储数据，并获取到存储数据内的核心信息，对所有核心信息进行关联性分析，得到若干以标志数据的关键词命名的存储文件夹内存储的标志数据和存储数据；
S40：完成自存储步骤；
其中，所述访问请求单元用于用户发起访问请求，访问请求包括请求信息和请求信号，请求信息为用户所需访问的目标内容的关键字；所述访问请求单元用于将访问请求传输到处理器，同时会将访问请求内的请求信号传输到识别单元；
所述监控单元为设置在对应用户录入请求信息的设备上，用于获取访问请求录入用于的访问面部信息，所述监控单元用于将访问面部信息传输到识别单元，所述识别单元接收监控单元传输的访问面部信息，所述人脸库内存储有核准访问用户的标准面部信息，所述识别单元用于将访问面部信息与人脸库内的标准面部信息进行比对，在比对到有访问面部信息一致的标准面部信息时，产生允通信号，所述识别单元用于将允通信号传输到处理器；
所述处理器只有在接收到识别单元传输的允通信号时，才会对访问请求单元传输的访问请求进行请求分析处理，具体处理步骤为：
步骤一：获取到访问请求内的请求信息；
步骤二：将请求信息与标志数据的标志信息和存储数据的核心信息，进行比对；
步骤三：将比对一致的字眼除以请求信息的总字数，得到相似占比；
步骤四：将相似占比超过X2的存储数据和标志数据均标记为可疑数据；X2为预设值；
步骤五：将可疑数据借助显示单元呈现给用户，供用户选择，进行访问，并将访问对象和次数融合形成访问记录；
所述习惯积累单元还用于对用户的访问记录进行访问分析，访问分析每天指定时间进行一次，得到存储在惯性库内的惯性词汇；
所述处理器在对访问请求内的请求信息进行请求分析处理的同时，还会进行联想推荐，联想推荐的内容为惯性库内的关键词相关的存储数据；所述处理器用于将联想推荐内容传输到显示单元进行显示；
所述中转单元还用于对主存储单元内存储的存储数据进行转废分析，具体分析步骤为：
S010：获取到所有存储数据对应的访问次数，依次将存储数据及其对应的访问次数标记为Ci和Fi,i＝1...n；
S020：之后获取到存储数据最后一次访问距离当下的时间，将其标记为热度时间Ri，i＝1...n；
S030：获取到存储数据的大小，将其标记为对象大小Di,i＝1...n；且Ci、Fi、Ri和Di均为一一对应；
S040：求取存储数据的可选值Ki，Ki＝(0.456*Fi+0.544*Ri)*Di,i＝1.....

【专利技术属性】
技术研发人员：郭均纺，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江;33