一种敏感数据的检测与防护的方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种敏感数据的检测与防护的方法、装置、设备和介质，方法包括：在网络的重要结点做流量镜像进行数据采集和存储，以作为整个系统的数据源；基于用户的访问轨迹与频率，对数据源进行AI异常流量检测；和根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息检测；根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。本发明专利技术结合敏感数据检测与异常访问检测，静动结合，兼顾敏感数据的安全和正常用户的访问，切实保障用户信息安全，且实时性、准确性、精确度以及资源平衡性均得到有效提高。

【技术实现步骤摘要】
一种敏感数据的检测与防护的方法、装置、设备和介质
本专利技术涉及计算机
，特别涉及一种敏感数据的检测与防护的方法、装置、设备和介质。
技术介绍
IDS、IPS、WAF等传统安全设备，主要是基于攻击特征(如注入)进行防护。但很多时候，出于开发便捷等原因，服务端通过统一接口调用返回所有字段信息，其中包括了诸如身份证号、证件地址、住址信息、电话、姓名、密码、套餐等敏感信息，系统仅在界面做了脱敏处理或选择性展示，这就造成了敏感信息泄露，再结合越权漏洞即可形成薅羊毛式的攻击，即通过外挂脚本或burp等工具遍历盗取用户敏感信息，导致大量用户敏感信息泄露。传统的安全设备在面对这类情况显得力不从心，很难做到攻击流量与正常业务流量的剥离，目前通过“专利之星检索系统”所了解到的与本专利技术接近的相关技术信息如下：于20171124公开的，公开号为CN107392028A的中国专利技术揭示一种敏感信息的检测方法及其检测装置、存储介质、电子设备。所述敏感信息的检测方法包括如下步骤：获取企业网站的访问日志；从企业网站的访问日志中提取用户可由该企业网站访问的所有http请求所对应的统一资源定位器链接；向提取出的统一资源定位器链接发出模拟的http请求，并获取针对该模拟的http请求所响应的反馈信息；对所述反馈信息进行敏感信息正则匹配，判断所述反馈信息中是否包含所述敏感信息；若所述反馈信息中包含所述敏感信息，则将对应的统一资源定位器链接记录备案，并进行修复。虽然其在一定程度上可以保障用户个人敏感信息的安全，防止敏感信息被进一步非法扩散、利用，提升用户访问企业网站的安全系数，但由于其是从日志中获取http请求报文，再模拟发包，对获取的响应报文通过加载规则库进行匹配，若检测出敏感信息泄露，则将对应的URL链接记录备案，以便后期进行修复，因此存在如下缺点：1)http请求报文是从日志中获取，相较于流量镜像实时性差，而且面临会话失效所引起的风险，会导致检测不准确；2)只是做敏感信息检测、结果记录，同时为修复隐患提供数据支撑，而没有解决现网攻击防护问题，且从隐患的产生到发现到修复这期间的防护是空白；3)未对正则匹配的细粒度进行阐述，因此其规则匹配的精确度无从考良；4)未涉及检测周期的说明，因此其检测的完整性与资源开销平衡问题也无从考良；5)未涉及隐患修复细节说明，因此其安全闭环与备案更新问题无从考良；于20130508公开的，公开号为CN103095530A的中国专利技术涉及基于前置网关的敏感信息检测及防泄露方法及系统，系统包括配置模块、非信任列表生成模块和敏感信息防泄漏模块，其步骤为：1)在Web网站服务器的数据流链路中设置一前置网关，前置网关代理客户端向网站服务器发送和/或接受请求；2)前置网关配置该代理网站需要监测的敏感信息，配置成功后开始监测敏感信息；3)前置网关将包含敏感信息的URL作为网站的非信任URL并建立非信任列表，当客户端请求该URL内容时，前置网关代替网站响应该请求，防止敏感信息泄露。由于其是通过前置网关设置规则，对响应报文进行敏感信息检测，对发现的有涉及敏感数据泄露的URL列入非信任列表，当用户访问这些被列入“非信任列表”的URL时，前置网关代替网站服务器响应该请求，进而避免出现信息泄露，因此存在如下缺点：1)对访问的用户处理过于简单粗暴，在庞大复杂的应用环境中，容易造成不可预见的业务中断问题；2)实施的是不间断的检测，在庞大复杂的应用环境中，需要大量的资源支撑；3)未对正则匹配的细粒度以及隐患修复细节进行阐述，因此规则匹配的精确度、安全闭环与备案更新问题无从考良。
技术实现思路
本专利技术要解决的技术问题，在于提供一种敏感数据的检测与防护的方法、装置、设备和介质，结合敏感数据检测与异常访问检测，挖掘报文中的敏感信息，发现敏感信息遍历窃取的行为，静动结合，兼顾敏感数据的安全和正常用户的访问，切实保障用户信息安全，且实时性、准确性、精确度以及资源平衡性均得到有效提高。第一方面，本专利技术提供了一种敏感数据的检测与防护的方法，包括下述步骤：S1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；S2、对数据源进行AI异常流量检测和敏感信息检测；所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；S3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。第二方面，本专利技术提供了一种敏感数据的检测与防护的装置，包括：数据采集分析模块，用于在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；AI异常流量检测模块，用于基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；敏感信息检测模块，根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；分级告警模块：用于根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。第三方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：1、通过端口镜像进行数据包捕获、会话还原重组、HTTP解析，然后将DPI数据存入消息队列，作为整个系统的数据源，流量镜像可为该系统的实时性与高性能提供保障；2、对数据源进行AI异常流量检测和敏感信息检测，从系统上线即实施安全防护覆盖，避免出现安全防护空档期，实现采集作业控制；3、通过对涉敏采样档案的建立，可避免因不间断检测引起的不必要的资源开销；4、通过定制形成应用级的细粒度敏感数据检测规则，一方面可以提升规则的精确度，另一方面根据应用运行状况(注入新业务上线、重大迭代更新、周期性)有目的控制采集周期，可以在资源开销与检测覆盖完整性之间找到平衡；5、将AI异常流量检测、敏感信息检测采样建档、白名单三者结合，可形成三级告警，便于相关人员进行问题处置，同时结合封停功能(诸如账号锁定、IP封停、会话终止等)、URL/接口加固流程接口，形成完整的问题解决闭环；其中，白名单机制(包括URL/接口白名单、IP白名单)的使用，可应对一些特殊调场景，消除非真本文档来自技高网...

【技术保护点】
1.一种敏感数据的检测与防护的方法，其特征在于：包括下述步骤：/nS1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；/nS2、对数据源进行AI异常流量检测和敏感信息检测；/n所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；/n所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；/nS3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。/n

【技术特征摘要】
1.一种敏感数据的检测与防护的方法，其特征在于：包括下述步骤：
S1、在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数据，然后将DPI数据存入消息队列中，作为整个系统的数据源；
S2、对数据源进行AI异常流量检测和敏感信息检测；
所述AI异常流量检测是：基于用户的访问轨迹与频率，利用AI技术对流量进行异常流量的检测，得到异常流量检测结果；
所述敏感信息检测是：根据定制的敏感细粒度规则，为所有URL或接口的响应报文进行敏感信息匹配检测，得到敏感信息检测结果；
S3、根据所述异常流量检测结果与所述敏感信息检测结果，再结合白名单机制进行联动判断，并根据联动判断结果进行多级告警或日志记录。


2.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：还包括下述步骤：
S4、提供URL或接口的加固流程接口与封停处置接口，分别用于对安全隐患的加固复查与安全事件的应急处理。


3.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：所述S2中，所述AI异常流量检测具体是：根据用户访问轨迹提取操作员画像特征、操作轨迹画像特征和窗口内操作特征，然后进行特征整合与AI智能分析，判断是否为异常流量；其中：
所述操作员画像特征包括用户标识、会话标识、IP的特征；
所述操作轨迹画像特征包括URL或接口的特征、业务敏感性特征；
所述窗口内操作特征包括访问时间、访问地点、访问间隔和访问频率的特征；
所述特征整合包括特征无量纲化处理，离散变量onehot编码，特征插值组合新特征，以及整合用户访问轨迹特征；
所述AI智能分析又分为无监督方式进行数据聚类分析，对异常数据进行标注，以及有监督方式的对标注的异常数据进行训练和检测，进而分离出恶意攻击行为流量；
所述异常操作访问行为的判断依据是：多次进行服务高频调用操作的时间段相同，或多次触发服务高频操作的时间间隔相似，则判断为外挂；触发高频操作的时间固定则判断为定时器，进行服务高频调用的账号的登录地与登录时间异常，则判断为账号盗用。


4.根据权利要求1所述的一种敏感数据的检测与防护的方法，其特征在于：所述S2中，所述敏感细粒度规则的制定过程是：
(1)根据IP、端口和工程路径来确定的检测目标；
(2)确定检测目标的敏感字段并为敏感字段设置对应的敏感等级，所述敏感等级包括一级风险、二级风险和安全三个等级；
(3)结合应用的实际情况为敏感字段设定key值，并为key值选取相应的value检测规则；所述应用的实际情况包括新上线应用、应用出现重大变更、周期性作业；
所述敏感信息匹配检测具体是：对响应报文进行键值对解析，再分别进行key值的模糊匹配与对应value值的规则精确匹配；
所述敏感信息检测之后还包括：涉敏采样档案的建立，即根据所述敏感信息检测结果，给对应的URL或接口打上敏感等级标签，然后将敏感等级标签连同泄露的敏感信息字段一起入库，完成对URL或接口的涉敏采样档案的建立。


5.一种敏感数据的检测与防护的装置，其特征在于：包括：
数据采集分析模块，用于在网络的重要结点做流量镜像，通过流量镜像进行数据包捕获、会话还原重组、HTTP解析得到DPI数...

【专利技术属性】
技术研发人员：林文美，程毅容，于贤飞，
申请(专利权)人：福建新大陆软件工程有限公司，
类型：发明
国别省市：福建;35