【技术实现步骤摘要】
一种计算机数据统计系统及其统计分类方法
本专利技术涉及数据统计
,具体地说,涉及一种计算机数据统计系统及其统计分类方法。
技术介绍
随着大数据时代的到来,数据统计的质量越来越重要,数据统计多采用分布式架构系统实现,但现有的数据统计由于在前端采集时,无法对数据进行预处理,导致数据类型不一致,甚至出现数据丢失现象,影响数据采集的完整性,同时数据统计存储时,无法根据数据之间的关联性进行分类存储,不便于后期查找。
技术实现思路
本专利技术的目的在于提供一种计算机数据统计系统及其统计分类方法,以解决上述
技术介绍
中提出的问题。为实现上述目的,一方面,本专利技术提供一种计算机数据统计系统,包括数据采集单元、数据清洗单元、数据分类单元和数据存储单元,数据采集单元用于对前端数据进行采集,数据清洗单元用于对采集的数据进行数据清洗操作,数据分类单元用于按照数据类型对数据进行分类,数据存储单元用于对分类后的数据进行保存,数据统计系统流程如下:S1、通过采集节点采集前端数据;S2、对采集的数据进行数据 ...
【技术保护点】
1.一种计算机数据统计系统,包括数据采集单元、数据清洗单元、数据分类单元和数据存储单元,其特征在于:数据采集单元用于对前端数据进行采集,数据清洗单元用于对采集的数据进行数据清洗操作,数据分类单元用于按照数据类型对数据进行分类,数据存储单元用于对分类后的数据进行保存,数据统计系统流程如下:/nS1、通过采集节点采集前端数据;/nS2、对采集的数据进行数据清洗处理;/nS3、将清洗后的数据进行分类处理;/nS4、将分类处理后的数据进行存储。/n
【技术特征摘要】
1.一种计算机数据统计系统,包括数据采集单元、数据清洗单元、数据分类单元和数据存储单元,其特征在于:数据采集单元用于对前端数据进行采集,数据清洗单元用于对采集的数据进行数据清洗操作,数据分类单元用于按照数据类型对数据进行分类,数据存储单元用于对分类后的数据进行保存,数据统计系统流程如下:
S1、通过采集节点采集前端数据;
S2、对采集的数据进行数据清洗处理;
S3、将清洗后的数据进行分类处理;
S4、将分类处理后的数据进行存储。
2.根据权利要求1所述的计算机数据统计系统,其特征在于:数据采集单元采集数据流程如下:
S11、前端数据采集,通过采集节点采集前端数据;
S12、数据信号调理,将各个采集节点模拟输出分别进行信号变换,使之适应模/数转换器输入端对输入信号的要求;
S13、采样信号保存,将连续信号转化为断续的采样信号,再将断续的采样信号转化为连续信号;
S14、模数信号转换,将模拟量信号转换为数字量信号;
S15、数字信号处理,对采样的数字信号进行处理。
3.根据权利要求2所述的计算机数据统计系统,其特征在于:采样信号保存采用单位脉冲序列函数描述,其公式如下:
4.根据权利要求1所述的计算机数据统计系统,其特征在于:数据清洗单元包括以下模块:
模块一:纠正错误模块,纠正数据错误形式;
模块二:删除重复项模块,删除数据中存在的重复记录或重复字段;
模块三:统一规格模块,统一数据规格并将一致性的内容抽象出来;
模块四:修正逻辑模块,明确各个源系统的逻辑、条件、口径,并对异常源系统的采集逻辑进行修正;
模块五:转换构造模块,对数据进行标准化处理;
模块六:数据压缩模块,保持原有数据集的完整性和准确性,不丢失有用信息的前提下,按照一定的算法和方式对数据进行重新组织;
模块七:数据补缺模块,对残缺数据的数据进行补充;
模块八:数据丢弃模块...
【专利技术属性】
技术研发人员:张琪,宋仪轩,刘苗,
申请(专利权)人:江苏医健大数据保护与开发有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。