一种大数据平台运维管理系统技术方案

本发明专利技术公开了一种大数据平台运维管理系统，包括：数据采集模块、数据分析模块和数据分类模块，该数据采集模块，用于采集用户数据，该数据分析模块，用于对该采集的用户数据进行对比分析，对比分析出用户行为数据，该数据分类模块，用于对该对比分析出的用户行为数据进行分类。通过上述方式，能够实现对大数据进行分类。

【技术实现步骤摘要】
一种大数据平台运维管理系统
本专利技术涉及计算机网络
，尤其涉及一种大数据平台运维管理系统。
技术介绍
大数据，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是对大量信息资源的统称，比如在教育方面，第一，大数据是教育领域的大数据，是面向特定教育主题的多类型、多维度、多形态的数据集合；第二，教育大数据是面向教育全过程的数据，通过数据挖掘和学习分析支持教育决策和个性化学习；第三，教育大数据是一种分布式计算架构方式，通过数据共享的各种支持技术达到共建共享的思想。但是，专利技术人发现现有技术中至少存在如下问题：绝大多数大数据是非结构性的，其种类十分复杂，我们现有的技术手段还无法对大数据进行分类。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种大数据平台运维管理系统，能够实现对大数据进行分类。根据本专利技术的一个方面，提供一种大数据平台运维管理系统，包括：数据采集模块、数据分析模块和数据分类模块；所述数据采集模块，用于采集用户数据；所述数据分析模块，用于对所述采集的用户数据进行对比分析，对比分析出用户行为数据；所述数据分类模块，用于对所述对比分析出的用户行为数据进行分类。其中，所述数据采集模块，具体用于:设置网络机器人，根据所述设置的网络机器人，采集用户数据。其中，所述数据采集模块，包括：设置模块和采集模块；所述设置模块，用于设置网络机器人；所述采集模块，用于根据所述设置的网络机器人，采集用户数据。其中，所述数据分析模块，具体用于：定义用户行为数据，根据所述定义的用户行为数据，对所述采集的用户数据进行对比分析，对比分析出用户行为数据。其中，所述数据分析模块，包括：定义模块和对比模块；所述定义模块，用于定义用户行为数据；所述对比模块，用于根据所述定义的用户行为数据，对所述采集的用户数据进行对比分析，对比分析出用户行为数据。其中，所述数据分类模块，具体用于：从所述对比分析出的用户行为数据中抽取至少一个特征，和对所述抽取到的至少一个特征进行归一化处理，以使所述对比分析出的用户行为数据的各个特征对应的数据取值范围一致，形成所述对比分析出的用户行为数据的特征数据，以及根据所述形成的所述对比分析出的用户行为数据的特征数据，对所述对比分析出的用户行为数据进行分类。其中，所述数据分类模块，包括：抽取模块、归一化模块和分类模块；所述抽取模块，用于从所述对比分析出的用户行为数据中抽取至少一个特征；所述归一化模块，用于对所述抽取到的至少一个特征进行归一化处理，以使所述对比分析出的用户行为数据的各个特征对应的数据取值范围一致，形成所述对比分析出的用户行为数据的特征数据；所述分类模块，用于根据所述形成的所述对比分析出的用户行为数据的特征数据，对所述对比分析出的用户行为数据进行分类。其中，所述大数据平台运维管理系统，还包括：数据优化模块，用于对所述经分类后的用户行为数据进行优化，删除与所述用户行为数据紧密度低的数据。其中，所述数据优化模块，包括：建模模块、训练模块和优化模块；所述建模模块，用于根据所述形成的所述对比分析出的用户行为数据的特征数据，建立基于所述特征数据的特征数据模型；所述训练模块，用于根据所述建立的特征数据模型，对所述经分类后的用户行为数据进行训练，训练得到基于所述建立的特征数据模型的特征数据阈值；其中，所述特征数据阈值定义为与所述用户行为数据紧密度高与低的关系，在所述特征数据阈值范围内的用户行为数据定义为与用户行为数据紧密度高的数据，不在所述特征数据阈值范围内的用户行为数据定义为与用户行为数据紧密度低的数据；所述优化模块，用于根据所述训练得到的基于所述建立的特征数据模型的特征数据阈值，删除与所述用户行为数据紧密度低的数据。其中，所述大数据平台运维管理系统，还包括：数据推送模块，用于根据所述经删除与所述用户行为数据紧密度低的数据后的用户行为数据，向用户推送与所述用户行为数据关联的商业信息。可以发现，以上方案，数据采集模块可以采集用户数据，数据分析模块可以对该采集的用户数据进行对比分析，对比分析出用户行为数据，数据分类模块可以对该对比分析出的用户行为数据进行分类，能够实现对大数据进行分类。进一步的，以上方案，设置模块可以设置网络机器人，采集模块可以根据该设置的网络机器人，采集用户数据，通过网络机器人能够实现定向抓取和采集用户数据，能够实现自动下载网页的程序，能够根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，采集所需要的信息即用户信息。进一步的，以上方案，定义模块可以定义用户行为数据，对比模块可以根据该定义的用户行为数据，对该采集的用户数据进行对比分析，对比分析出用户行为数据，能够实现对比分析出用户的行为数据。进一步的，以上方案，抽取模块可以从对比分析出的用户行为数据中抽取至少一个特征，归一化模块可以对该抽取到的至少一个特征进行归一化处理，以使该对比分析出的用户行为数据的各个特征对应的数据取值范围一致，形成该对比分析出的用户行为数据的特征数据，分类模块可以根据该形成的该对比分析出的用户行为数据的特征数据，对该对比分析出的用户行为数据进行分类，能够实现对大数据进行分类，同时降低对大数据进行分类的计算量，提高对大数据进行分类的分类效率。进一步的，以上方案，数据优化模块可以对经分类后的用户行为数据进行优化，删除与该用户行为数据紧密度低的数据，能够实现对经分类后的用户行为数据进行优化，优化出更符合用户行为数据的数据。进一步的，以上方案，建模模块可以根据形成的对比分析出的用户行为数据的特征数据，建立基于该特征数据的特征数据模型，训练模块可以根据该建立的特征数据模型，对该经分类后的用户行为数据进行训练，训练得到基于该建立的特征数据模型的特征数据阈值，优化模块可以根据该训练得到的基于该建立的特征数据模型的特征数据阈值，删除与该用户行为数据紧密度低的数据，能够实现对经分类后的用户行为数据进行优化，优化出更符合用户行为数据的数据，进一步提高对用户行为数据的处理效率。进一步的，以上方案，数据推送模块可以根据经删除与用户行为数据紧密度低的数据后的用户行为数据，向用户推送与该用户行为数据关联的商业信息，能够实现向用户推送与该用户行为数据关联的商业信息，该商业信息的精准度高，符合用户行为数据所需，提高商业推广的成功率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术大数据平台运维管理系统一实施例的结构示意图；图2是本专利技术大数据平台运维管理系统另一实施例的结构示意图；图3是本专利技术大数据平台运维管理系统又一实施例的结构示意图。具体实施方式下面结合附图和实施例，对本专利技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本专利技术，但不对本专利技术的范围进行限定。同样的，以下实施例仅为本专利技术的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术本文档来自技高网...

【技术保护点】
1.一种大数据平台运维管理系统，其特征在于，包括：数据采集模块、数据分析模块和数据分类模块；所述数据采集模块，用于采集用户数据；所述数据分析模块，用于对所述采集的用户数据进行对比分析，对比分析出用户行为数据；所述数据分类模块，用于对所述对比分析出的用户行为数据进行分类。

【技术特征摘要】
1.一种大数据平台运维管理系统，其特征在于，包括：数据采集模块、数据分析模块和数据分类模块；所述数据采集模块，用于采集用户数据；所述数据分析模块，用于对所述采集的用户数据进行对比分析，对比分析出用户行为数据；所述数据分类模块，用于对所述对比分析出的用户行为数据进行分类。2.如权利要求1所述的大数据平台运维管理系统，其特征在于，所述数据采集模块，具体用于:设置网络机器人，根据所述设置的网络机器人，采集用户数据。3.如权利要求2所述的大数据平台运维管理系统，其特征在于，所述数据采集模块，包括：设置模块和采集模块；所述设置模块，用于设置网络机器人；所述采集模块，用于根据所述设置的网络机器人，采集用户数据。4.如权利要求1所述的大数据平台运维管理系统，其特征在于，所述数据分析模块，具体用于：定义用户行为数据，根据所述定义的用户行为数据，对所述采集的用户数据进行对比分析，对比分析出用户行为数据。5.如权利要求4所述的大数据平台运维管理系统，其特征在于，所述数据分析模块，包括：定义模块和对比模块；所述定义模块，用于定义用户行为数据；所述对比模块，用于根据所述定义的用户行为数据，对所述采集的用户数据进行对比分析，对比分析出用户行为数据。6.如权利要求1所述的大数据平台运维管理系统，其特征在于，所述数据分类模块，具体用于：从所述对比分析出的用户行为数据中抽取至少一个特征，和对所述抽取到的至少一个特征进行归一化处理，以使所述对比分析出的用户行为数据的各个特征对应的数据取值范围一致，形成所述对比分析出的用户行为数据的特征数据，以及根据所述形成的所述对比分析出的用户行为数据的特征数据，对所述对比分析出的用户行为数据进行分类。7.如权利要求6所述的大数据平台运维管理系统，其特征在于，所述数据分类...

【专利技术属性】
技术研发人员：姚振，王萍，胡聪，李挺，唐轶轩，郭骏，张靖，徐道磊，张永梅，方锐，宫政，由媛媛，尚杨，
申请(专利权)人：国家电网有限公司，国网安徽省电力有限公司信息通信分公司，
类型：发明
国别省市：北京,11