数据识别方法、装置及存储介质制造方法及图纸

本申请实施例公开了一种数据识别方法、装置及存储介质，该方法包括：获取第一网络设备当前所发送的至少一个第一数据包和与该至少一个第一数据包相关联的第一日志信息；根据该第一日志信息中的该发送信息，从该至少一个第一数据包中筛选满足文件发送条件的第一数据包，作为目标数据包；获取该第一网络设备在历史时间段内所发送的第二数据包，该第二数据包被发送的状态为正常状态；根据该目标数据包的大小与该第二数据包的大小确定该目标数据包与该历史数据包之间的偏移度；根据该偏移度确定该目标数据包被发送的状态。采用本申请实施例，可以提高对数据包被发送的状态识别的准确度和效率。

Data identification method, device and storage medium

【技术实现步骤摘要】
数据识别方法、装置及存储介质
本申请涉及人工智能领域，尤其涉及一种数据识别方法、装置及存储介质。
技术介绍
随着计算机技术的快速发展，如何侦测且抵御高级持久性威胁攻击(AdvancedPersistentThreat，APT)成为必不可少的研究方向。数据泄漏是APT攻击的最后一个阶段，当攻击者获取到重要数据之后，会将重要数据汇聚到一台失陷主机上进行传输。目前需要人工对数据包进行分析，才能识别出数据包被发送的状态(即异常发送状态和正常发送状态)，异常发送状态可以是指数据包被攻击者所发送的，正常发送状态可以是指数据包被具有发送权限的用户所发送。实践中发现，人工对数据包的分析方式的效率以及准确度均比较低。例如，网络设备每天通常发送成千上万个数据包，需要较长时间才能完成对所有数据包的分析，识别数据包被发送的状态的效率比较低；另外，如果对数据包进行分析的用户不具有与数据泄露相关的知识，容易将正常发送状态的数据包误识别为异常发送状态的数据包；或者，将异常发送状态的数据包误识别为正常状态的数据包，导致识别数据包被发送的状态的准确度比较低。申请本文档来自技高网...

【技术保护点】
1.一种数据识别方法，其特征在于，包括：/n获取第一网络设备当前所发送的至少一个第一数据包和与所述至少一个第一数据包相关联的第一日志信息，所述第一数据包包括至少一个子数据包，所述第一日志信息包括所述第一数据包中的子数据包被发送时所生成的发送信息；/n根据所述第一日志信息中的所述发送信息，从所述至少一个第一数据包中筛选满足文件发送条件的第一数据包，作为目标数据包；/n获取所述第一网络设备在历史时间段内所发送的第二数据包，所述第二数据包被发送的状态为正常状态；/n根据所述目标数据包的大小与所述第二数据包的大小确定所述目标数据包与所述历史数据包之间的偏移度；/n根据所述偏移度确定所述目标数据包被发送...

【技术特征摘要】
1.一种数据识别方法，其特征在于，包括：
获取第一网络设备当前所发送的至少一个第一数据包和与所述至少一个第一数据包相关联的第一日志信息，所述第一数据包包括至少一个子数据包，所述第一日志信息包括所述第一数据包中的子数据包被发送时所生成的发送信息；
根据所述第一日志信息中的所述发送信息，从所述至少一个第一数据包中筛选满足文件发送条件的第一数据包，作为目标数据包；
获取所述第一网络设备在历史时间段内所发送的第二数据包，所述第二数据包被发送的状态为正常状态；
根据所述目标数据包的大小与所述第二数据包的大小确定所述目标数据包与所述历史数据包之间的偏移度；
根据所述偏移度确定所述目标数据包被发送的状态。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一网络设备在当前多个时间段内所发送的M个待选数据包时所生成的第二日志信息；
根据所述当前多个时间段对所述第二日志信息进行排序处理，得到所述M个待选数据包对应的时间序列；
根据所述时间序列从所述M个待选数据包中筛除异常待选数据包，作为所述第一数据包。


3.根据权利要求2所述的方法，其特征在于，所述根据所述时间序列从所述M个待选数据包中筛除异常待选数据包，作为所述第一数据包，包括：
将所述时间序列分解为携带周期时间序列、趋势时间序列以及残差时间序列的待处理时间序列，并将去除所述周期时间序列和所述趋势时间序列的待处理时间序列，确定为所述残差时间序列；
从所述残差时间序列中获取测试分量Ri，将所述测试分量Ri的数据状态配置为待确定状态；i为大于0且小于或者等于n的正整数；n为所述残差时间序列中的所有测试分量的数量；
获取与所述测试分量Ri相关联的第一度量参数，并获取与所述测试分量Ri相关联的第二度量参数；所述第一度量参数是由所述测试分量Ri和所述测试分量Ri相关联的均值和方差所确定的；所述第二度量参数是由所述测试数量n、迭代次数和所述测试分量Ri的辅助查表参数所确定的；
在第一度量参数大于所述第二度量参数时，则将所述测试分量Ri的数据状态由所述待确定状态调整为异常状态，从所述残差时间序列中去除具有异常状态的测试分量Ri，将去除测试分量Ri后的残差时间序列确定为过渡时间序列，根据所述过渡时间序列中的测试分量Rj进行迭代计算，直到所述迭代次数达到迭代阈值时，得到所述M个待选数据包对应的时间序列中的L个具有异常状态的测试分量；所述j为大于i且小于或者等于n的正整数；所述L为小于或者等于所述迭代阈值的正整数；一个具有异常状态的测试分量对应一个异常待选数据包；
将L个具有异常状态的测试分量对应的异常待选数据包确定为所述第一数据包。


4.根据权利要求3所述的方法，其特征在于，所述获取所述第一网络设备在当前多个时间段内所发送的M个待选数据包时所生成的第二日志信息，包括：
获取K个网络设备在所述当前多个时间段内所发送数据包时所生成的原始日志信息，一个网络设备对应一个原始日志信息，所述K为大于1的正整数，所述K个网络设备包括所述第一网络设备；
根据网络设备发送数据包的过程中所包含的关键字段，对所述K个网络设备的原始日志信息进行字段过滤，将字段过滤后的原始日志信息作为所述K个网络设备的目标日志信息；
对所述K个网络设备的目标日志信息中具有第一网络设备标识的目标日志信息进行聚类处理，得到所述第二日志信息，所述第一网络设备在所述当前多个时间段内所发送的数据包为待选数据包。


5.根据权利要求1所述的方法，其特征在于，所述第一数据包包括基于第一传输协议所发送的第一数据包和基于第二传...

【专利技术属性】
技术研发人员：郭豪，陈嘉豪，梁玉，洪春华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44