一种基于大数据的网络信息数据采集系统技术方案

本发明专利技术公开了一种基于大数据的网络信息数据采集系统，包括数据采集模块和数据存储模块，所述数据采集模块用于分析所采集数据属性，所述数据存储模块用于将采集数据按指定规则进行优化存放，所述数据采集模块与数据存储模块之间数据连接，该系统为了设计数据采集精确和存放更为合理的结构，因此在数据中设置标志位，然后放置于缓存空间中进行数据信息判断其数据价值，当其价值到达一定程度即需要进入固定结构中供算法调用，而数据自身价值由被访问次数决定，所以将访问程度较高的数据放置于关键节点，这样初次调用就能快速寻找到，加快系统运行速度，本发明专利技术，具有数据采集合理和存放精确的特点。放精确的特点。放精确的特点。

【技术实现步骤摘要】
一种基于大数据的网络信息数据采集系统


[0001]本专利技术涉及数据采集传输
，具体为一种基于大数据的网络信息数据采集系统。

技术介绍

[0002]在现有的计算机科学中，对于数据的运用也越发重要，数据的调用速度不光和存储介质相关，而且和搜索算法有关，现有的数据存储多为线性顺序存储，其数据查找方法多为优化的二叉查找法，该方法虽然一定程度上提升了速度，但是在遇到数据量较大的存储组时，其工作效率会呈现断崖式下滑。因此，设计数据采集合理和存放精确的一种基于大数据的网络信息数据采集系统是很有必要的。

技术实现思路

[0003]本专利技术的目的在于提供一种基于大数据的网络信息数据采集系统，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的网络信息数据采集系统，包括数据采集模块和数据存储模块，所述数据采集模块用于分析所采集数据属性，所述数据存储模块用于将采集数据按指定规则进行优化存放，所述数据采集模块与数据存储模块之间数据连接。
[0005]根据上述技术方案，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的网络信息数据采集系统，包括数据采集模块和数据存储模块，其特征在于：所述数据采集模块用于分析所采集数据属性，所述数据存储模块用于将采集数据按指定规则进行优化存放，所述数据采集模块与数据存储模块之间数据连接。2.根据权利要求1所述的一种基于大数据的网络信息数据采集系统，其特征在于：所述数据采集模块包括标志位设定模块、被引率统计模块、数据判断模块和缓存空间栈，所述标志位设定模块用于数据被使用次数的数学统计操作，所述被引率统计模块用于统计某数据的被使用次数，所述数据判断模块用于根据上述数据判断数据的属性，所述缓存空间栈用于临时存放生成数据信息，所述标志位设定模块与被引率统计模块之间数据连接，所述被引率统计模块与数据判断模块之间数据连接，所述标志位设定模块与缓存空间栈之间数据连接，所述被引率统计模块与缓存空间栈之间数据连接；所述数据存储模块包括存储节点建立模块、算法优选模块和节点寻找模块，所述存储节点建立模块用于根据数据判断结果建立数据节点，所述算法优选模块用于根据对节点数据选择的算法进行优化分类操作，所述节点寻找法用于获取位置优化后的位置进行数据存储，所述存储节点建立模块与算法优选模块之间数据连接，所述算法优选模块与节点寻找模块之间数据连接。3.根据权利要求2所述的一种基于大数据的网络信息数据采集系统，其特征在于：所述网络信息数据采集系统的运行方法主要包括以下步骤：步骤S1：采集模块接收到某计算而出数据后将其放于缓存空间栈中，并设置第一标志位；步骤S2：当其余程序或用户访问数据时，从缓存空间栈中调取参与运算时将其标志位数进行增加，每次运算，标志位增加一；步骤S3：将其参加运算次数与标志位程度求解其被引率，判断其存储优先级；步骤S4：当标志位数值超过阈值Q时，将其从缓存空间栈中取出按其存储结构类型放入对应模块，若无该数据类型存储单元则作为头元素进行创建，若存在该类型存储单元则将其存放并使用异步辅助算法对其进行存储优化。4.根据权利要求3所述的一种基于大数据的网络信息数据采集系统，其特征在于：所述步骤S1进一步包括以下步骤：步骤S11：系统计算出某数据后，将其至于缓存空间栈中；步骤S12：将该数据置第一标志位，并时刻监测该数据的调用次数；步骤S13：每次调用增加其标志位缓存空间，当该数据参与...

【专利技术属性】
技术研发人员：邵长征，
申请(专利权)人：邵长征，
类型：发明
国别省市：