一种基于大数据技术的数据分析方法管理系统技术方案

本发明专利技术公开了一种基于大数据技术的数据分析方法管理系统，包括数据预处理层，所述大数据安全管理平台包括数据预处理层，所述数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，所述数据预处理层的内容包括数据审核、数据筛选和数据排序。该管理系统数据源的来源包括社交网络、电商系统、搜索引擎等方面，形式可以是数字、文字、图片、语音、视频等数据，通过数据源审计层和日志采集层的安全分类、过滤以及归并整理后进行预处理，数据预处理层通过数据清理、数据集成、数据变换和数据规约的方法实现数据审核、数据筛选和数据排序，提高数据的质量、真实性以及完整性。性。性。

【技术实现步骤摘要】
一种基于大数据技术的数据分析方法管理系统


[0001]本专利技术涉及大数据分析
，具体为一种基于大数据技术的数据分析方法管理系统。

技术介绍

[0002]大数据技术的核心就是大数据分析，一般地，人们将大数据分析定义为一组能够高效存储和处理海量数据、并有效达成多种分析目标的工具及技术的集合；
[0003]例如公告号为CN112632156A的中国授权专利(一种基于大数据的计算机数据分析管理系统)：包括数据采集模块，用于根据用户录入的数据采集计划，定时运行对应的数据挖掘模型实现目标数据的采集；数据预处理模块，用于根据用户录入的数据分析规则，运行对应的数据预处理模型实现目标数据的预处理；数据分析模块，用于根据用户录入的数据分析目标，运行对应的数据分析模型实现目标数据的分析，并获取到对应的分析报表。本专利技术可以根据数据采集计划，自动运行对应的数据挖掘模型、数据预处理模型和数据分析模块依次完成大数据的采集、预处理和分析工作，无需人为进行计算机程序的调整，实现了大数据的连续采集和自主分析；
[0004]上述现有技术虽然能够实现大数据的连续采集和自主分析，但是，整体分析管理系统不够全面，适用范围较小。

技术实现思路

[0005]本专利技术的目的在于提供一种基于大数据技术的数据分析方法管理系统，以解决上述
技术介绍
中提出的现有的分析管理系统不够全面，适用范围较小的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于大数据技术的数据分析方法管理系统，包括：大数据安全管理平台；
[0007]数据预处理层，所述大数据安全管理平台包括数据预处理层，所述数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，所述数据预处理层的内容包括数据审核、数据筛选和数据排序；
[0008]数据存储层，所述大数据安全管理平台包括数据存储层，所述数据存储层包括大数据存储方式和大数据存储技术路线；
[0009]数据分析挖掘层，所述大数据安全管理平台包括数据分析挖掘层，所述数据分析挖掘层包括实施数据分析和历史数据分析，所述数据分析挖掘层的计算分析框架包括批处理框架、流处理框架、交互式计算框架、混合处理框架和图数据处理框架；
[0010]数据结果应用层，所述大数据安全管理平台包括数据结果应用层，所述数据结果应用层包括医疗领域、教育领域、商业领域、工农业领域和交通领域。
[0011]优选的，所述大数据存储方式包括分布式系统、NoSQL数据库和云数据库。
[0012]优选的，所述大数据存储技术路线包括分布式架构、大数据一体机和MPP混合架构。
[0013]优选的，所述大数据安全管理平台包括数据生产和获取层。
[0014]优选的，所述大数据安全管理平台包括数据源审计层。
[0015]优选的，所述大数据安全管理平台包括日志采集层。
[0016]优选的，所述大数据安全管理平台的层级从下到上依次为数据生产和获取层、数据源审计层、日志采集层、数据预处理层、数据存储层、数据分析挖掘层和数据结果应用层。
[0017]优选的，所述数据源审计层包括软硬件基础设施，所述软硬件基础设施包括服务器、网络设备、安防设备、数据库和中间件。
[0018]优选的，所述日志采集层的主要功能是采集信息，包括网络安全日志的分类、过滤、归并和转发，所述数据结果应用层面向用户，提供权限配置、系统维护、策略制定、报表管理和可视化展示。
[0019]优选的，所述数据清理清除异常数据，所述数据集成结合多组数据源中的数据集中存储，所述数据变换将数据转变成有利于数据分析挖掘的形式，所述数据规约节省数据挖掘分析时间且保证数据完整性，所述数据审核审核数据的准确性，所述数据筛选筛选出符合条件的数据，所述数据排序对数据进行排列。
[0020]与现有技术相比，本专利技术的有益效果是：该基于大数据技术的数据分析方法管理系统；
[0021]该管理系统数据源的来源包括社交网络、电商系统、搜索引擎等方面，形式可以是数字、文字、图片、语音、视频等数据，通过数据源审计层和日志采集层的安全分类、过滤以及归并整理后进行预处理，数据预处理层通过数据清理、数据集成、数据变换和数据规约的方法实现数据审核、数据筛选和数据排序，提高数据的质量、真实性以及完整性，数据存储层采用不同的存储方法对不同种类的数据进行存储，可存储超大规模的数据，具备良好的扩展能力，满足大量数据的管理需求，并且能够提供高吞吐量的数据访问，数据分析挖掘层包括实施数据分析和历史数据分析，具备实时数据分析的能力和历史数据分析的能力，实现全面的大数据分析，从而从海量数据中提取出隐含其中的、具有潜在价值的信息，为管理系统提供准确、直观且有力的数据依据，数据结果应用层可应用于多个方面，包括医疗领域、教育领域、商业领域、工农业领域和交通领域等，数据结果能够帮助各个领域做出准确的管理决策系统，从而提升用户体验，例如在社交平台上推荐给用户感兴趣的内容，根据电商系统中产生的购买历史记录、商品评论、商品网页的访问次数和驻留时间等数据，为客户推荐相关商品和店铺，通过对用户以往的生活方式与医疗记录进行批量处理分析，提供语义分析服务，协助医生进行诊断等。
附图说明
[0022]图1为本专利技术的大数据安全管理平台的框架图；
[0023]图2为本专利技术的数据预处理层的框架图；
[0024]图3为本专利技术的数据存储层的框架图；
[0025]图4为本专利技术的数据分析挖掘层的框架图；
[0026]图5为本专利技术的数据结果应用层的框架图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]请参阅图1
‑
5，本专利技术提供一种技术方案：一种基于大数据技术的数据分析方法管理系统，包括：大数据安全管理平台；
[0029]数据预处理层，大数据安全管理平台包括数据预处理层，数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，数据预处理层的内容包括数据审核、数据筛选和数据排序，数据预处理层通过数据清理、数据集成、数据变换和数据规约的方法实现数据审核、数据筛选和数据排序，提高数据的质量、真实性以及完整性；
[0030]数据存储层，大数据安全管理平台包括数据存储层，数据存储层包括大数据存储方式和大数据存储技术路线，数据存储层采用不同的存储方法对不同种类的数据进行存储，可存储超大规模的数据，具备良好的扩展能力，满足大量数据的管理需求，并且能够提供高吞吐量的数据访问；
[0031]数据分析挖掘层，大数据安全管理平台包括数据分析挖掘层，数据分析挖掘层包括实施数据分析和历史数据分析，数据分析挖掘层的计算分析框架包括批处理框架、流处理框架、交互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据技术的数据分析方法管理系统，包括大数据安全管理平台，其特征在于：数据预处理层，所述大数据安全管理平台包括数据预处理层，所述数据预处理层的预处理方法包括数据清理、数据集成、数据变换和数据规约，所述数据预处理层的内容包括数据审核、数据筛选和数据排序；数据存储层，所述大数据安全管理平台包括数据存储层，所述数据存储层包括大数据存储方式和大数据存储技术路线；数据分析挖掘层，所述大数据安全管理平台包括数据分析挖掘层，所述数据分析挖掘层包括实施数据分析和历史数据分析，所述数据分析挖掘层的计算分析框架包括批处理框架、流处理框架、交互式计算框架、混合处理框架和图数据处理框架；数据结果应用层，所述大数据安全管理平台包括数据结果应用层，所述数据结果应用层包括医疗领域、教育领域、商业领域、工农业领域和交通领域。2.根据权利要求1所述的一种基于大数据技术的数据分析方法管理系统，其特征在于：所述大数据存储方式包括分布式系统、NoSQL数据库和云数据库。3.根据权利要求2所述的一种基于大数据技术的数据分析方法管理系统，其特征在于：所述大数据存储技术路线包括分布式架构、大数据一体机和MPP混合架构。4.根据权利要求3所述的一种基于大数据技术的数据分析方法管理系统，其特征在于：所述大数据安全管理平台包括数据生产和获取层。5.根据权利要求4所述的一种基于大数据技术的数据分析方...

【专利技术属性】
技术研发人员：夏鸣，陈俊桦，吴雪峰，
申请(专利权)人：江苏中电通智能科技有限公司，
类型：发明
国别省市：