实现数据分级管理与挖掘的装置制造方法及图纸
Device for implementing data classification management and mining
The invention discloses a device to realize the classification of data management and data mining, including data quality management module and a useful data mining module, the quality management module includes preliminary processing module, data descriptor module, data quality evaluation module and data management module of quality classification, useful data mining module includes data preprocessing module, useful data to construct the sub module, useful data correction module and useful data hierarchical mining module.
【技术实现步骤摘要】
本专利技术涉及数据管理领域，具体涉及实现数据分级管理与挖掘的装置。
技术介绍
数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等。数据背景是接收者针对特定数据的信息准备，即当接收者了解物理符号序列的规律，并知道每个符号和符号组合的指向性目标或含义时，便可以获得一组数据所载荷的信息。数据作为信息的载体，当然要分析数据中包含的主要信息，及分析数据的主要特征。数据是载荷或记录信息的按一定规则排列组合的物理符号。在现在使用的数据信息中，有很大一部分的数据是由管理者来进行发布，并且根据用户的建议或者管理者自身的需求由管理者来进行修改的，对于这部分的海量信息，如何能够更好地进行质量管理和挖掘，快速有效地从中找到有用的信息，是一个亟需解决的问题。
技术实现思路
针对上述问题，本专利技术提供实现数据分级管理与挖掘的装置。本专利技术的目的采用以下技术方案来实现：实现数据分级管理与挖掘的装置，其特征是，包括数据质量管理模块和有用数据挖掘模块，其中质量管理模块包括初步处理子模块、数据描述子模块、数据质量评价子模块和数据质量分级管理子模块，有用数据挖掘模块包括数据预处理子模块、有用数据构建子模块、有用数据修正子模块和有用数据分层挖掘子模块；初步处理子模块，其特征是，包括第一数据库、第二数据库及分级管理程序，：该分级管理程序判断该第一数据库中是否有任一数据在经过一预设时间段内未被读取；若是，则将该未被读取的通讯数据由该第一数据库移至该第二数据库。优选地，其特征是，该分级管理程序可开...
【技术保护点】
实现数据分级管理与挖掘的装置，其特征是，包括数据质量管理模块和有用数据挖掘模块，其中质量管理模块包括初步处理子模块、数据描述子模块、数据质量评价子模块和数据质量分级管理子模块，有用数据挖掘模块包括数据预处理子模块、有用数据构建子模块、有用数据修正子模块和有用数据分层挖掘子模块；初步处理子模块，其特征是，包括第一数据库、第二数据库及分级管理程序，：该分级管理程序判断该第一数据库中是否有任一数据在经过一预设时间段内未被读取；若是，则将该未被读取的通讯数据由该第一数据库移至该第二数据库。
【技术特征摘要】
1.实现数据分级管理与挖掘的装置，其特征是，包括数据质量管理模块和有用数据挖掘模块，其中质量管理模块包括初步处理子模块、数据描述子模块、数据质量评价子模块和数据质量分级管理子模块，有用数据挖掘模块包括数据预处理子模块、有用数据构建子模块、有用数据修正子模块和有用数据分层挖掘子模块；初步处理子模块，其特征是，包括第一数据库、第二数据库及分级管理程序，：该分级管理程序判断该第一数据库中是否有任一数据在经过一预设时间段内未被读取；若是，则将该未被读取的通讯数据由该第一数据库移至该第二数据库。2.根据权利要求1所述的实现数据分级管理与挖掘的装置，其特征是，该分级管理程序可开启或关闭。3.根据权利要求2所述的实现数据分级管理与挖掘的装置，其特征在于，在关闭该分级管理程序之后，让使用者自行选择是否将该第二数据库内的通讯数据移至该第一数据库。4.根据权利要求1所述的实现数据分级管理与挖掘的装置，其特征是，(1)数据描述子模块通过引入数据本身的属性和数据影响者的属性来描述数据，数据本身的属性用数据大小、创建日期、包含图片数、相关数据量表示，其中，相关数据量为当前数据指向的其它数据和指向当前数据的其它数据的总和；数据影响者的属性用影响者网络聚类系数来表示，由以下方法得到：构建数据影响者描述网络，对于每一个数据而言，影响者包括多个用户和一个管理者，其每个影响者都代表一个节点，用户可以浏览数据，也可以对数据提出修改的建议，而管理者既可以自行对数据进行修改，也可以根据用户建议进行修改，则影响者网络聚类系数定义为： K ‾ = mσ 1 + lσ 2 + n ( δ 1 × σ 3 + δ 2 × σ 4 ) m + l + n × 1 - ( m - l m ) 3 ]]>式中，σ1表示用户每浏览一次数据施加的影响因子，m表示用户浏览总次数；σ2表示用户每提出一次修改意见施加的影响因子，l表示用户提出建议总次数；σ3表示管理者每自行修改一次数据施加的影响因子，σ4表示管理者每根据用户建议修改一次数据施加的影响因子，δ1和δ2分别为σ3和σ4权值，n表示管理者修改总次数；为用户修改频率系数，用于表示用户对数据的满意程度，该系数越大表明用户对数据的修改越频繁；(2)数据质量评价子模块采用“三级评价模型”对数据质量进行评价，首先根据数据大小将数据分为三类，然后综合数据的除数据大小外的其它全部属性对其数据质量进行评价，具体方法如下：将样本数据划分为高质量数据、中质量数据和低质量数据，若数据大小大于阈值T1，则该数据属于高质量数据，若数据大小大于阀值T2但是小于阀值T1，则该数据属于中质量数据，若数据大小小于阀值T2，则该数据属于低质量数据，T1＞T2且T1、T2的取值范围是[1KB，1MB]；进一步将高质量数据和低质量划分为不同等级，选取数据的其它全部属性组成向量，并根据样本数据计算每个等级的各个数据属性的均值，为每个等级建立相应的均值向量，新数据向量用X＝(x1,…,xN)表示，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。