一种基于矩阵逻辑思想的大数据测试系统及方法技术方案

本发明专利技术公开了一种基于矩阵逻辑思想的大数据测试系统及方法，它包括大数据采集模块、大数据处理模块、大数据测试模块和大数据存储模块，各个模块之间相互通信连接；在大数据的ETL过程中进行三个测试阶段，包括：数据阶段验证测试、MapReduce阶段测试和输出数据阶段验证测试，并将大数据测试的数据同步至大数据存储模块；对大数据测试的第三阶段输出阶段验证进行测试，完成数据的准确性、唯一性、完整性、一致性、关联性、及时性等测试任务，确保数据的质量，使数据更好的、更准确的应用于业务上的决策分析和推荐系统。决策分析和推荐系统。决策分析和推荐系统。

【技术实现步骤摘要】
一种基于矩阵逻辑思想的大数据测试系统及方法


[0001]本专利技术属于大数据测试领域，特别是对于大数据测试第三阶段使用分布式数据库HBase分类后应用于矩阵逻辑思想完成测试任务，具体涉及一种基于矩阵逻辑思想的大数据测试系统及方法。

技术介绍

[0002]大数据，已经成为了一个时代的代名词，大数据时代的到来，颠覆了以往对数据的惯性思考方式，随着移动互联网和智能设备的兴起，越来越多的数据被沉淀到各大公司的应用平台之上，这些包含大量用户特征和行为日志的数据被海量地存储起来，先经过统计分析与特征样本提取，然后再经过训练就会产出相应的业务算法模型，它可以精准地识别和预测用户的行为和意图，但是在用于上述的决策分析或推荐系统之前，如何确保数据的准确性和符合要求，对大数据的测试就显得尤为重要。

技术实现思路

[0003]有鉴于此，本专利技术的目的是提供一种基于矩阵逻辑思想的大数据测试系统及方法，可以克服现有技术的不足。
[0004]本专利技术的技术方案是：一种基于矩阵逻辑思想的大数据测试系统，它包括大数据采集模块、大数据处理模块、大数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于矩阵逻辑思想的大数据测试系统，其特征在于：它包括大数据采集模块、大数据处理模块、大数据测试模块和大数据存储模块，各个模块之间相互通信连接；所述大数据采集模块用于从数据源中采集数据；所述大数据处理模块用于对数据的ETL过程进行处理；所述大数据测试模块用于对数据的ETl过程进行测试；所述大数据存储模块用于将大数据测试结束后并更改修复后的数据同步至目标数据仓库的HIVE。2.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述数据源包括传感器、智能设备、在线系统、离线系统、社交网络和互联网平台；所述的数据采集方式包括数据库采集、系统日志采集、网络数据采集和感知设备数据采集。3.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述的大数据处理模块包括对数据的提取、转换、载入的过程中进行在线处理，在MapReduce处理数据的过程中对数据进行清洗、集成、转换、消减。4.根据权利要求1所述的基于传感器技术的全平台运维管理系统，其特征在于：所述的大数据测试模块包括三个测试阶段，第一阶段：数据阶段验证测试；第二阶段：MapReduce阶段测试；第三阶段：输出数据阶段验证测试，并将大数据测试结束后并更改修复后的数据同步至大数据存储模块。5.一种基于矩阵逻辑思想的大数据测试方法，其特征在于，包括以下步骤：S1、在数据ETL过程中，进行大数据测试第一阶段：数据阶段测试验证；S2、在数据ETL过程中， 进行大数据测试第二阶段：MapReduce阶段测试验证；S3、在数据ETL过程中， 进行大数据测试第三阶段：输出数据阶段验证测试，在进行上述的MapReduce阶段测试验证后，得到MapReduce过程后的结果，将结果数据写入分布式文件系统HDFS，基于HDFS作为底层支持中的这些数据结果生成高并...

【专利技术属性】
技术研发人员：李建州，张硕，杨红，杨兴海，杨兴荣，谭眉君，
申请(专利权)人：世纪恒通科技股份有限公司，
类型：发明
国别省市：