一种基于动态web浏览行为的内部威胁检测系统及方法技术方案

本发明专利技术涉及一种基于动态web浏览行为的内部威胁检测系统及方法，由5个模块组成：组织或者企业内用户主机web浏览数据的采集模块、数据预处理和存储模块、个人用户行为异常检测模块、用户组行为异常检测模块、信息融合和内部威胁检测结果输出模块。该系统通过对组织或者企业内用户web浏览数据的收集、数据的过滤和去噪、个人用户web浏览行为动态性建模和异常检测、用户组行为相对一致性建模和异常检测、信息融合和检测结果输出5个过程实现，使该系统具有较高的内部威胁检测率和较低的误报率。此外，该系统通过图聚类算法自动发现组织或者企业内的用户组关系，提高了系统的智能性，减少了人工标注用户组的工作量。

An Internal Threat Detection System and Method Based on Dynamic Web Browsing Behavior

【技术实现步骤摘要】
一种基于动态web浏览行为的内部威胁检测系统及方法
本专利技术涉及一种基于动态web浏览行为的内部威胁检测系统及方法，属于信息安全

技术介绍
内部威胁是恶意的内部用户利用自己的特权访问组织的网络、系统和数据，并且破坏组织信息的机密性、完整性和可用性[1]。检测内部威胁是实现组织全面保护的首要任务。恶意的内部用户分为伪装者和背叛者[11]。伪装者通过窃取的证书登录合法用户的账号来执行恶意操作，而背叛者是利用自己的账号来执行恶意行为。无论伪装者或者背叛者，恶意或不寻常的行为都将偏离正常的行为模式。因此，大量的研究通过发展异常检测技术来阻止和检测内部威胁。根据采用的数据源，基于异常的内部威胁检测技术可以被分为两类：基于主机和基于网络。基于主机的方法广泛应用于伪装者检测，主要通过主机程序；例如UNIX命令、键盘和鼠标动态用来建模用户操作意图进而识别是否是正常用户。另一方面，基于网络的方法采用网络核心设备例如交换机、路由器和防火墙收集的网络流量，或者使用服务器例如代理、邮件和VPN服务器产生的日志来检测恶意的应用层的威胁。传统的网络行为异常检测方法通过从网络流中提取一系列特征，例如IP协议、网络包的数量、连接时长和每个网络包的字节大小，输入监督或非监督机器学习算法[2-5]。然而此类方法多用于检测由僵尸网络、DDOS和恶意软件引起的机器产生的异常，并不是针对用户操作产生的浏览行为异常。除此之外，为了阻止数据窃取或金融诈骗，基于图的算法应用于检测异常的邮件通信[6]。通过不同用户之间的邮件通信构成的邮件通信图中学习正常的通信模式(图子结构)，当一条测试的通信与正常模式不一致时，异常检测系统发出异常告警。然而，此类方法中个人用户的行为没有被独立的分析。进一步，一些方法结合分析了多种类型的网络日志[7-10]，这些方法通常从不同的网络日志(例如代理、VPN和DHCP日志)中抽取一系列的特征，然后输入机器学习或者深度学习框架。然而，此类方法需要依赖于领域专家的经验进行特征工程，并且当恶意的行为出现了未知的形式时，此类方法失效。Web浏览行为建模方法多用于用户个性化推荐系统，主要通过浏览的页面内容[13]或者输入的文本[14]来建立用户的兴趣爱好等模型。然而在网络安全和内部威胁领域，web浏览行为建模方法却很少被研究。仅有少量的工作建模web浏览行为进行用户识别。[15]通过页面访问频率和页面浏览时间建立4个用户模型，选择访问频率最高的N个域名来特征化用户向量。[16]通过基于support和基于lift的方法选择N个浏览模式来特征化用户向量。然而，以上两种方法通过固定的用户浏览模式建模用户行为，忽略了用户浏览行为的动态变化性。组织或者企业内部，用户需要在线检索信息或者使用在线办公系统来完成工作任务，用户web浏览行为的高频性为内部威胁检测提供了途径。然而已有的少量的面向用户行为识别的web浏览行为分析方法忽略了用户浏览行为的动态变化性和相同工作组内用户行为的相对一致性，导致了用户行为异常检测的高误报率。[1]CostaD.L.,AlbrethsenM.J.,CollinsM.L.,etal.:Aninsiderthreatindicatoron-tology.TECHNICALREPORTCMU/SEI.Pittsburgh,PA:SEI,Tech.Rep.,2016.[2]GuG.:Botsni_er:Detectingbotnetcommandandcontrolchannelsinnetworktraffic.AnnualNetworkandDistributedSystemSecuritySymposium.2008.[3]StrayerW.T.,WalshR.,LivadasC.,etal.:Detectingbotnetswithtightcommandandcontrol.IEEEConferenceonLocalComputerNetworks.IEEE,2006.[4]StrayerW.T.,LapselyD.,WalshR.,etal.:Botnetdetectionbasedonnetworkbehavior.BotnetDetection.Springer,2008,pp.1-24.[5]Al-BatainehA.andWhiteG.:Analysisanddetectionofmaliciousdataexfiltrationinwebtraffic.MaliciousandUnwantedSoftware(MALWARE).IEEE,2012.[6]EberleW.,GravesJ.,andHolderL.:Insiderthreatdetectionusingagraph-basedapproach.JournalofAppliedSecurityResearch,vol.6,no.1,pp.32{81,2010.[7]YenT.F.:Beehive:Large-scaleloganalysisfordetectingsuspiciousactivityinenterprisenetworks.AnnualComputerSecurityApplicationsConference.2013.[8]TedE.,GoldbergH.G.,MemoryA.,etal.:Detectinginsiderthreatsinarealcorporatedatabaseofcomputerusageactivity.19thACMSIGKDD,2013.[9]YoungW.T.,GoldbergH.G.,etal.:Useofdomainknowledgetodetectinsiderthreatsincomputeractivities.SecurityandPrivacyWorkshops(SPW).2013.[10]TuorA.:Deeplearningforunsupervisedinsiderthreatdetectioninstructuredcybersecuritydatastreams.AIforCybersecurityWorkshopatAAAI,2017.[11]SalemMB,HershkopS,StolfoSJ.ASurveyofInsiderAttackDetectionResearch.2008.[12]M.PavanandM.Pelillo,“Anewgraph-theoreticapproachtoclusteringandsegmentation,”Proc.2003IEEEComput.Soc.Conf.Comput.Vis.PatternRecognit.-CVPR’03,vol.1,pp.I-145-I-152,2003.[13]HawalahA.,FasliM.:Dynamicuserpro_lesforwebpersonalisation.ExpertSystemswithApplications,vol.42,no.5,pp.2547-2569,2015.[14]RadinskyK.,SvoreK.,DumaisS.,etal.本文档来自技高网...

【技术保护点】
1.一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述系统包括：数据收集部分和异常检测部分，数据收集部分包括：组织或者企业内用户主机web浏览数据的采集模块、数据预处理和存储模块；异常检测部分分析收集的用户浏览行为数据；异常检测部分包括：个人用户行为异常检测模块、用户组行为异常检测模块、信息融合模块、内部威胁检测结果输出模块，其中：Web浏览数据采集模块：在组织或者企业内需要监控的、重要人员的主机上部署审计节点，用来采集主机的web浏览数据，采集通过浏览器访问的在线资源或系统；数据预处理和存储模块：通过审计节点采集的web浏览原始数据发送到服务器，并将数据存储到服务器的数据库中，由于原始数据包含重复审计的冗余数据和数据字段不完整的不完整数据，需要对数据进行过滤，提取出有效的数据，并将预处理之后的有效数据再次存储到数据库中，以便异常检测进行数据分析；个人用户行为异常检测模块：在组织或者企业内部，用户的工作任务和兴趣爱好随着时间的变化是动态改变的，通过从服务器的数据库中抽取个人web浏览数据，利用幂分布建立个人用户正常的行为改变模型，根据个人用户浏览行为的改变偏离幂分布的程度评估个人用户行为的异常程度，即异常得分；用户组行为异常检测模块：由于在组织或者企业内部同一个用户组执行相似的工作任务或相同的项目，使得个人用户与该用户组中的其他用户的行为或行为的改变具有相对一致性，因此根据用户浏览行为与用户组中其他用户行为的偏离程度评估用户在用户组行为中的异常程度，即异常得分；同时该模块建立了组织或者企业内用户关系网络并利用图聚类方法实现了用户组关系的自动抽取，减少了人工标注用户组的工作量；信息融合模块：组织或者企业内用户的行为既具有个人的动态变化性也具有用户组的行为相对一致性，利用权重的线性模型融合个人用户行为和用户组行为，通过结合个人用户行为的异常程度和用户组行为的异常程度来综合考虑用户行为的异常，能够提高检测的准确率和降低检测的误报率，得到最终融合的的异常得分；内部威胁检测结果输出模块，对于最终融合的异常得分，通过设定的阈值判定并输出检测到的内部威胁。...

【技术特征摘要】
1.一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述系统包括：数据收集部分和异常检测部分，数据收集部分包括：组织或者企业内用户主机web浏览数据的采集模块、数据预处理和存储模块；异常检测部分分析收集的用户浏览行为数据；异常检测部分包括：个人用户行为异常检测模块、用户组行为异常检测模块、信息融合模块、内部威胁检测结果输出模块，其中：Web浏览数据采集模块：在组织或者企业内需要监控的、重要人员的主机上部署审计节点，用来采集主机的web浏览数据，采集通过浏览器访问的在线资源或系统；数据预处理和存储模块：通过审计节点采集的web浏览原始数据发送到服务器，并将数据存储到服务器的数据库中，由于原始数据包含重复审计的冗余数据和数据字段不完整的不完整数据，需要对数据进行过滤，提取出有效的数据，并将预处理之后的有效数据再次存储到数据库中，以便异常检测进行数据分析；个人用户行为异常检测模块：在组织或者企业内部，用户的工作任务和兴趣爱好随着时间的变化是动态改变的，通过从服务器的数据库中抽取个人web浏览数据，利用幂分布建立个人用户正常的行为改变模型，根据个人用户浏览行为的改变偏离幂分布的程度评估个人用户行为的异常程度，即异常得分；用户组行为异常检测模块：由于在组织或者企业内部同一个用户组执行相似的工作任务或相同的项目，使得个人用户与该用户组中的其他用户的行为或行为的改变具有相对一致性，因此根据用户浏览行为与用户组中其他用户行为的偏离程度评估用户在用户组行为中的异常程度，即异常得分；同时该模块建立了组织或者企业内用户关系网络并利用图聚类方法实现了用户组关系的自动抽取，减少了人工标注用户组的工作量；信息融合模块：组织或者企业内用户的行为既具有个人的动态变化性也具有用户组的行为相对一致性，利用权重的线性模型融合个人用户行为和用户组行为，通过结合个人用户行为的异常程度和用户组行为的异常程度来综合考虑用户行为的异常，能够提高检测的准确率和降低检测的误报率，得到最终融合的的异常得分；内部威胁检测结果输出模块，对于最终融合的异常得分，通过设定的阈值判定并输出检测到的内部威胁。2.根据权利要求1所述的一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述Web浏览数据采集模块实现步骤如下：(1)在组织或者企业内需要监控的、重要人员的主机上部署审计节点；(2)审计节点实时采集该主机上用户通过浏览器访问的在线资源或系统，审计的数据字段包括访问时间和域名；(3)将审计的web浏览原始数据实时发送到服务器。3.根据权利要求1所述的一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述数据预处理和存储模块实现步骤如下：(1)将审计节点实时发送的web浏览原始数据存储到服务器的数据库中；(2)由于审计节点可能多次发送同一条浏览数据，因此对于重复的冗余数据进行过滤，对于相同访问时间点的浏览数据，只保留一条数据记录，删除其余的数据记录；(3)删除原始数据中域名字段缺失的不完整数据；(4)将每个用户的浏览数据按时间排序；(5)将排序后的有效数据再次存储到数据库中，以便异常检测进行数据分析。4.根据权利要求1所述的一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述个人用户行为异常检测模块实现步骤如下：(1)从数据库中提取待分析的个人用户的预处理之后的web浏览数据；(2)预设定一天为一个时间段，将该用户所有时间段的浏览数据中的域名字段按时间先后编号，不同的域名对应不同的编号；(3)由于工作任务和兴趣的改变，用户每天会浏览新的域名，新的域名指该时间段相较于之前的时间段新出现的域名，利用幂分布建模该用户正常浏览的域名变化分布，即新的域名和时间的关系函数；(4)设定用户的浏览时间段用t表示，使用前k个时间段的域名，即1≤t≤k时间段的域名，通过最小二乘拟合幂分布函数，学习得到函数的参数；(5)对于待检测的时间段t，t＞k，比较t时间段该用户浏览的域名编号偏离幂分布的程度来评估该用户行为改变异常；(6)个人用户行为异常检测模块输出不同待检测时间段t的个人用户行为异常程度。5.根据权利要求1所述的一种基于动态web浏览行为的内部威胁检测系统，其特征在于：所述用户组行为异常检测模块实现步骤如下：(1)从数据库中提取预处理之后的所有用户的web浏览数据；(2)...

【专利技术属性】
技术研发人员：于爱民，王佳荣，蔡利君，孟丹，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11