一种带有警报功能的高安全性大数据分析方法技术

本发明专利技术提供一种带有警报功能的高安全性大数据分析方法，包括如下步骤：步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证。本发明专利技术通过实名认证单元的配合，可对上传数据的用户身份进行严格认证，防止不法分子和竞争对手混入，造成企业机密的泄漏，提高数据上传过程中的安全性，通过数据处理单元，可对上传的数据进行预先处理，通过数据分析单元的配合，可分别利用基础统计分析模块、无监督分析模块以及有监督分析模块三种分析方式对数据进行精准分析。

【技术实现步骤摘要】
一种带有警报功能的高安全性大数据分析方法
本专利技术涉及大数据分析领域，尤其涉及一种带有警报功能的高安全性大数据分析方法。
技术介绍
大数据分析是指对规模巨大的数据进行分析，大数据可以概括为5个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。在对于一些体量较为庞大的企业来说，需要用到大数据分析方法对海量数据进行分析处理，然而现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报，影响企业的整体机制运行，久而久之，易影响企业的整体公司架构。因此，有必要提供一种带有警报功能的高安全性大数据分析方法解决上述技术问题。
技术实现思路
本专利技术提供一种带有警报功能的高安全性大数据分析方法，解决了现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报的问题。为解决上述技术问题，本专利技术提供的带有警报功能的高安全性大数据分析方法，包括如下步骤：步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷IC卡分别进入工号验证通道和IC卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；步骤二、数据处理单元：首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；步骤三、数据分析单元：通过对处理后的数据进行基本的统计，包括最大值、最小值、均值、标准差等，可以找出数据特征的变化范围与规律，即变量的基线，再对得到的基线进行初步的异常检测，如针对特定的一个用户，检测其从内部服务器上传数据文件的行为，如果某个时段其上传数据文件的频率的数据量与历史时期相比明显增加，那么这个用户可能有恶意盗取数据或者账号被盜的异常；由于上传的原始数据和经过预处理的数据大部分是无标签数据，无监督分析模块可对无标签数据进行分析，并采用聚类的方法来对统计分析得到的数据特征进行聚类，可以找出数据的多维度基线，由于很多数据从单个维度看不存在异常，而多个维度放在一起分析后，就可能会存在异常，从而聚类分析方法可基于多维度的基线找出数据中的离群点，发现潜在的和未知的数据异常；采用这些标签化的数据训练异常行为识别分类器，如神经网络间，决策树等，利用训练好的分类器对未知的数据进行检测，可以发现异常的数据，并给出异常的评分，分类器输出的异常数据经过安全管理员确认后，得到真实的告警和误报，真实的告警作为新的规则输入到平台中，且误报作为白名单输入到分类器的训练集，然后迭代的训练分类器，逐步提高分类器的准确性；步骤四、数据警报单元：分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；步骤五、数据呈现单元：然后根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3D虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。优选的，所述在步骤一中证件验证通道输入的身份证编号仅为后六位数字，且身份证编号最后一位X用#代替，且附加本人移动电话号码。优选的，所述在步骤一中工号验证通道输入的员工工号个数范围介于6-12位，且工号信息包括公司拼音简称、员工入职日期以及员工所处编号。优选的，所述在步骤二中上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及HR内部系统数据，HR内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围。优选的，所述在步骤四中三级内网警报模块的判断依据为经济损失低于两千元人民币，二级外网警报模块的判断依据为经济损失范围介于两千元人民币至两万元人民币，且一级平台警报模块的判断依据为经济损失超过两万元人民币及以上。优选的，所述在步骤四中三级内网警报模块的警报颜色为黄色，二级外网警报模块的警报颜色为橘红色，且一级平台警报模块的警报颜色为深红色。优选的，所述在步骤五中数据结果显示模块包括显示屏、移动智能手机和PC设备，且数据存储模块包括警报信息日志、安全信息日志、内存管理日志以及误报信息日志。与相关技术相比较，本专利技术提供的带有警报功能的高安全性大数据分析方法具有如下有益效果：本专利技术提供一种带有警报功能的高安全性大数据分析方法，1、本专利技术通过实名认证单元的配合，可对上传数据的用户身份进行严格认证，防止不法分子和竞争对手混入，造成企业机密的泄漏，提高数据上传过程中的安全性，通过数据处理单元，可对上传的数据进行预先处理，通过数据分析单元的配合，可分别利用基础统计分析模块、无监督分析模块以及有监督分析模块三种分析方式对数据进行精准分析，从而避免数据信息出现漏报、错报和误报的情况，通过数据警报单元的配合，可对漏报、错报和误报的数据信息进行等级警报处理，从而增强数据分析方法的整体警报效果，防止使用方不能及时发现错误数据信息，造成较为严重的后果，通过数据呈现单元，便于使用方对警报数据信息进行直观观察，利用使用方总结经验，为后期整改打下基础；本专利技术通过身份证编号仅为后六位数字，避免用户身份证编号出现泄漏，引起不必要的纠纷麻烦，通过附加本人移动电话号码，出现紧急情况时，方便及时联系用户，通过员工工号个数范围介于6-12位，防止工号个数过多出现员工输入不便的情况，同时员工也不可对工号进行快速记住，通过上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及HR内部系统数据，HR内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围，扩大上传数据的范围，提高上传数据的整体兼容性，增强数据的丰富性和多向性，通过三级内网警报模块的判断依据为经济损失低于两千元人民币、二级外网警报模块的判断依据为经济损失范围介于两千元人民币至两万元人民币以及一级平台警报模块的判断依据为经济损失超过两万元人民币及以上，便于使用方对过失方根据警报等级做出相应惩罚措施，进一步增强数据的警报效果，通过三级内网警报模块的警报颜色为黄色、二级外网警报模块的警报颜色为橘红色以及一级平台警报模块的警报颜色为深红色，以三种不同颜色代表三种不同等级，便于使用方快速辨别警报信息的严重程度，通过数据结果显示模块包括显示屏、移动智能手机和PC设备，提高警报信息观看的选择性，通过数据存储模块包括警报信息日志、安全信息日志、内存管理日志以及误报信息日志，可对不同类型的警报信息进行存储记录，便于使用方本文档来自技高网...

【技术保护点】
1.一种带有警报功能的高安全性大数据分析方法，其特征在于，包括如下步骤：/n步骤一，用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷IC卡分别进入工号验证通道和IC卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；/n步骤二，首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；/n步骤三、包括:/n通过对处理后的数据进行基本的统计，进行初步的异常检测；/n采用聚类的方法来对所述统计分析得到的数据特征进行聚类，发现潜在和未知数据异常；和/或/n采用这些标签化的数据训练异常行为识别分类器，发现异常数据，并确认准确性；/n步骤四、分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；/n步骤五、根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3D虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。/n...

【技术特征摘要】
1.一种带有警报功能的高安全性大数据分析方法，其特征在于，包括如下步骤：
步骤一，用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷IC卡分别进入工号验证通道和IC卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；
步骤二，首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；
步骤三、包括:
通过对处理后的数据进行基本的统计，进行初步的异常检测；
采用聚类的方法来对所述统计分析得到的数据特征进行聚类，发现潜在和未知数据异常；和/或
采用这些标签化的数据训练异常行为识别分类器，发现异常数据，并确认准确性；
步骤四、分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；
步骤五、根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3D虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。


2.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤一中证件验证通道输入的身份证编号仅为后六位数字，且身份证编号最后一位X用#代替，且附加本人移动电话号码。


3.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤一中工号验证通道输入的员工工号个数范围介于6-12位，且工号信息包括公司拼音简称、员工入职日期以及员工所处编号。


4.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤二中上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及HR内部系统数据，HR内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围。


5.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，包括：
通过对处理后的数据进行基本的...

【专利技术属性】
技术研发人员：胡亮，葛俊海，戴成杰，
申请(专利权)人：南京先维信息技术有限公司，
类型：发明
国别省市：江苏;32