一种基于组织内部邮件日志分析的安全可视化方法及系统技术方案

本发明专利技术实施例提供一种基于组织内部邮件日志分析的安全可视化方法及统，所述方法包括数据清洗、数据传输、数据存储、数据处理以及数据可视化。本发明专利技术实施例通过挖掘研判分析邮件日志的多维数据，并以可视化方式呈现组织内部人员的行为，有效实现内部人员网络安全威胁隐患行为的排查。本发明专利技术实施例仅聚焦邮件日志数据分析挖掘，无需分析除邮件日志数据以外的日志数据，减少了多维异构数据的分析难度耗时，提升工作效率。本发明专利技术实施例分析的邮件数据具备多样性，从而能够实现整体与个体的有效融合分析可视化。由于几乎每个组织都会使用邮件沟通，本发明专利技术实施例的目标对象具备普遍性。

A security visualization method and system based on the analysis of internal mail log

【技术实现步骤摘要】
一种基于组织内部邮件日志分析的安全可视化方法及系统
本专利技术属于网络安全
，尤其涉及一种基于组织内部邮件日志分析的安全可视化方法及系统。
技术介绍
随着互联网的飞速发展，通过网络所承载的各类生产、生活等活动已成为日常不可缺少的环节。随着不断演进的网络攻击手段和传统网络安全边界的逐渐模糊，导致了日益严峻的网络安全形势。针对当下网络所面临的各类内外部安全威胁隐患，我们迫切需要对网络中的安全威胁行为进行识别和应对。邮件作为最基础的应用，各组织单位基本上都会有所配置，因此造成邮件一直都是网络安全威胁的重灾区。通过邮件导致的数据泄密、网络攻击、木马病毒入侵、内部间谍攻击等事件不胜枚举。针对邮件安全的传统的防御分析手段都是侧重对外攻击的防御，比如过滤检测垃圾恶意邮件行为，但对于组织内部人员通过邮件渠道遭到的安全威胁以及内部违规越界行为却无法进行有效的监测。
技术实现思路
本专利技术的目的在于提供一种基于组织内部邮件日志分析的安全可视化系统，通过挖掘研判分析邮件日志的多维数据，并以可视化方式呈现组织内部人员的行为，能够有效地对内部人员的安全威胁隐患行为进行排查。第一方面，本专利技术实施例提供一种基于组织内部邮件日志分析的安全可视化方法，包括：S1、数据清洗，所述数据清洗包括：将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入；根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，并将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；S2、数据传输，所述数据传输包括：采用数据迁移工具从分布式文件系统中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；S3、数据存储，所述数据存储包括：存储邮件日志关联到的各类安全日志；采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析，以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；S4、数据处理，所述数据处理包括：对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；S5、数据可视化，所述数据可视化包括：基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。进一步地，所述内部人员画像包括：根据某内部人员一段时间内邮件主题所绘制的词云信息图、内部人员的基于时间维度的邮件系统接入信息图和内部人员接收到垃圾恶意邮件统计信息图。进一步地，所述基于组织内部邮件日志分析的安全可视化方法，还包括：对组织内部邮件日志进行整体统计，获取组织内部邮件日志的整体统计信息，并以可视化的形式展示，包括：内部人员邮件收发关联关系信息图，垃圾恶意邮件按填的数量统计信息图、垃圾恶意识别分类信息图和安全威胁重灾区的账户统计信息图。进一步地，将Hadoop作为所述大数据分析平台，将Hadoop的HDFS作为所述分布式系统，将Sqoop作为所述数据迁移工具，将ElasticSearch作为所述分布式搜索分析引擎，将MySQL作为所述关系型数据库；所述可视化呈现组件包括Echarts、Highcharts、inMap、D3和AntV。第二方面，本专利技术实施例提供一种基于组织内部邮件日志分析的安全可视化系统，包括：数据清洗模块，数据传输模块、数据存储模块、数据处理模块以及数据可视化模块所述数据清洗模块，用于将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入，根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；所述数据传输模块，用于采用数据迁移工具从分布式文件系中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；数据存储模块，用于存储邮件日志关联到的各类安全日志、采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；数据处理模块，用于对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；数据可视化模块，用于基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。进一步地，所述内部人员画像包括：根据某内部人员一段时间内邮件主题所绘制的词云信息图、内部人员的基于时间维度的邮件系统接入信息图和内部人员接收到垃圾恶意邮件统计信息图。进一步地，所述基于组织内部邮件日志分析的安全可视化系统，还包括：所述数据处理模块还用于对组织内部邮件日志进行整体统计，获取组织内部邮件日志的整体统计信息，以使所述数据可视化模块对所述组织内部日志的整体统计信息进行展示。进一步地，将Hadoop作为所述大数据分析平台，将Hadoop的HDFS作为所述分布式系统，将Sqoop作为所述数据迁移工具，将ElasticSearch作为所述分布式搜索分析引擎，将MySQL作为所述关系型数据库；所述可视化呈现组件包括Echarts、Highcharts、inMap、D3和AntV。相对于现有技术，本专利技术实施例具备以下有益效果：(1)本专利技术实施例通过挖掘研判分析邮件日志的多维数据，并以可视化方式呈现组织内部人员的行为，有效实现内部人员网络安全威胁隐患行为的排查。(2)本专利技术实施例仅聚焦邮件日志数据分析挖掘，无需分析除邮件日志数据以外的日志数据，减少了多维异构数据的分析难度耗时，提升工作效率。(3)本专利技术实施例分析的邮件数据具备多样性，从而能够实现整体与个体的有效融合分析可视化。(4)由于几乎每个组织都会使用邮件沟通，本专利技术实施例的目标对象具备普适性。附图说明图1为本专利技术实施例提供的一种基于组织内部邮件日志分析的安全可视化方法的流程示意图；图2为本专利技术一个优选实施例提供的根据某内部人员一段时间内邮件主题所绘制的词云信息示意图；图3为本专利技术一个优选实施例提供的内部人员基于时间维度的邮件系统接入信息图；图4为本专利技术一个优选实施例提供的内部人员接收到垃圾恶意邮件统计信息图；图5为本专利技术一个优选实施例提供的内部人员邮件收发关联本文档来自技高网...

【技术保护点】
1.一种基于组织内部邮件日志分析的安全可视化方法，包括：/nS1、数据清洗，所述数据清洗包括：/n将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入；/n根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，并将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；/nS2、数据传输，所述数据传输包括：/n采用数据迁移工具从分布式文件系统中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；/nS3、数据存储，所述数据存储包括：/n存储邮件日志关联到的各类安全日志；/n采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析，以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；/nS4、数据处理，所述数据处理包括：/n对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；/nS5、数据可视化，所述数据可视化包括：/n基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。/n...

【技术特征摘要】
1.一种基于组织内部邮件日志分析的安全可视化方法，包括：
S1、数据清洗，所述数据清洗包括：
将组织内部产生的邮件日志数据以天为单位向大数据分析平台的分布式系统中存入；
根据设定的安全威胁隐患挖掘分析需求，通过Spark数据处理模块对所述邮件日志数据进行清洗操作，并将清洗后的邮件日志数据存储在分布式文件系统中；其中，所述清洗操作包括：对邮件日志数据进行拆分、去重和缺省值填充；
S2、数据传输，所述数据传输包括：
采用数据迁移工具从分布式文件系统中将相关的经预处理后的数据传输到关系型数据库；其中，相关的数据表和字段需提前进行定义；
S3、数据存储，所述数据存储包括：
存储邮件日志关联到的各类安全日志；
采用分布式搜索分析引擎实现对存储的数据进行全文搜索和分析，以及采用关系型数据库用于邮件日志数据的关联聚合分析和作为提供前端数据可视化的后端数据接口；
S4、数据处理，所述数据处理包括：
对邮件日志涉及到的时间信息、收发IP信息、收发人通信力导向图、登录信息、主题词云、接收发送垃圾恶意邮件信息以及附件信息进行分析统计，并把处理后数据存入关系型数据库，以便于可视化呈现的调用；
S5、数据可视化，所述数据可视化包括：
基于邮件主题、收发件人关联关系、IP地址、域名信息、登录系统设备以及时间通过使用前端可视化呈现组件进行可视化的图标呈现，输出围绕邮件日志深度分析后的内部人员画像。


2.根据权利要求1所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，所述内部人员画像包括：根据某内部人员一段时间内邮件主题所绘制的词云信息图、内部人员的基于时间维度的邮件系统接入信息图和内部人员接收到垃圾恶意邮件统计信息图。


3.根据权利要求1或2所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，还包括；
对组织内部邮件日志进行整体统计，获取组织内部邮件日志的整体统计信息，并以可视化的形式展示，包括：内部人员邮件收发关联关系信息图，垃圾恶意邮件按填的数量统计信息图、垃圾恶意识别分类信息图和安全威胁重灾区的账户统计信息图。


4.根据权利要求3所述的基于组织内部邮件日志分析的安全可视化方法，其特征在于，将Hadoop作为所述大数据分析平台，将Hadoop的HDFS作为所述分布式系统，将Sqoop作为所述数据迁移工具，将ElasticSearch作为所述分布式搜索分析引擎，将MySQL作为所述关系型数据库；所述可视化呈现组件包括Echar...

【专利技术属性】
技术研发人员：林延中，朱南皓，杨芸，潘文辉，伍燕宝，彭文浩，
申请(专利权)人：论客科技广州有限公司，
类型：发明
国别省市：广东;44