【技术实现步骤摘要】
一种数据筛分处理系统
本专利技术涉及数据筛选领域，尤其涉及一种数据筛分处理系统。
技术介绍
大数据背后都隐藏着巨大的潜在价值，决定着众多企业和各个领域未来发展的方向和成果。现在已经有越来越多的企业意识到这些爆发式增长的数据带来的隐患，开始逐渐重视海量数据对企业的重要性。虽然大数据给人们带来了源源不断的商业信息和社会价值，但其中的问题也很明显—当今时代下的数据量过于庞大。大数据环境下过于庞大的数据量，导致了若要从中分析出有效的信息，则需要消耗大量的资源和时间，而其中的日常均值数据和边际数据都占有很大的比重。若要减少这些计算消耗的资源和时间，除了设计出更加优秀的数据分析算法外，也可以从减少其数据规模的角度入手。
技术实现思路
本专利技术的目的在于提供一种数据筛分处理系统，解决现有数据不能有效的利用，数据筛选的效率和准确性不高的技术问题。一种数据筛分处理系统，包括数据获取单元、筛分参量选定单元、筛分单元和数据分类存储单元，所述数据获取单元分别与筛分参量选定单元和筛分单元连接，所述筛分参量选定单元...
【技术保护点】
1.一种数据筛分处理系统，其特征在于：包括数据获取单元、筛分参量选定单元、筛分单元和数据分类存储单元，所述数据获取单元分别与筛分参量选定单元和筛分单元连接，所述筛分参量选定单元与筛分单元连接，所述筛分单元与数据分类存储单元连接；/n所述数据获取单元用于收集需要处理的数据，并对数据进行预处理后存储，所述筛分参量选定单元用于选定数据筛分的标量，所述筛分单元根据标量响应数据计算参量，然后根据计算的参量数据确定标量的筛分权重，通过筛分权重对数据进行筛分处理，所述数据分类存储单元用于分类筛分后的数据，同时对数据进行贴签然后存储。/n
【技术特征摘要】
1.一种数据筛分处理系统，其特征在于：包括数据获取单元、筛分参量选定单元、筛分单元和数据分类存储单元，所述数据获取单元分别与筛分参量选定单元和筛分单元连接，所述筛分参量选定单元与筛分单元连接，所述筛分单元与数据分类存储单元连接；
所述数据获取单元用于收集需要处理的数据，并对数据进行预处理后存储，所述筛分参量选定单元用于选定数据筛分的标量，所述筛分单元根据标量响应数据计算参量，然后根据计算的参量数据确定标量的筛分权重，通过筛分权重对数据进行筛分处理，所述数据分类存储单元用于分类筛分后的数据，同时对数据进行贴签然后存储。
2.根据权利要求1所述的一种数据筛分处理系统，其特征在于：所述数据获取单元包括数据收集模块、数据预处理模块和数据缓存模块，所述数据收集模块与数据预处理模块连接，所述数据预处理模块与数据缓存模块连接，所述数据收集模块对需要处理的数据进行接收收集，所述数据预处理模块对数据进行杂质滤除和数据标准化处理，所述数据缓存模块对标准化的数据进行缓存。
3.根据权利要求2所述的一种数据筛分处理系统，其特征在于：所述杂质滤除包括对数据中空格字符、多余标点符号和表情包，所述数据标准化处理包括对数据中的图片进行图片识别文字提取，表情包表情识别，同时把识别后的数据进行统一标准转化得到标准化数据。
4.根据权利要求1所述的一种数据筛分处理...
【专利技术属性】
技术研发人员：黄安，何贞昱，蒋红军，邓明体，马朝霞，廖素明，万荣泽，丘刚玮，
申请(专利权)人：广西农业职业技术学院，
类型：发明
国别省市：广西;45
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。