一种网络应用数据流特征分析方法及系统技术方案

本发明专利技术提供一种网络应用数据流特征分析方法及系统。所述系统包括任务分发子系统、数据捕获子系统和特征提取子系统；任务分发子系统，自动对已下载网络应用进行去重，然后将需要分析的网络应用均衡的分发到每个DPI人员的数据捕获子系统中；数据捕获子系统，接收任务分发子系统下发的网络应用任务，进行自动抓包处理，实现从获取网络应用任务到抓包完成的全部自动化；特征提取子系统，用于对抓取的数据包进行格式化处理，然后进行特征提取，将提取的特征存储至特征库中。本发明专利技术能够大幅降低工作流程复杂度从而大幅降低DPI分析人员的工作时间和工作强度，通过自动化的经验积累系统降低对相关人员经验程度的依赖性的同时大幅提高检出特征的准确性。高检出特征的准确性。高检出特征的准确性。

【技术实现步骤摘要】
一种网络应用数据流特征分析方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种络应用数据流特征分析方法及系统。

技术介绍

[0002]DPI是一种能够通过对网络数据流进行分析，提取数据流特征，并利用该特征对数据流进行标注、分类的技术。通过对数据流进行识别和标注，可以对发出数据流的应用程序或网络应用进行识别和标注，而对应用程序、网络应用的识别和标注有利于各个方面的应用，例如舆情监控、人群画像、上网行为管理、流量管理等，因此识别和标注的准确性具有极其重要的意义，是所有后续应用的基础。
[0003]但DPI工作流程长且复杂，很多关键环节需要人力大量参与，不仅流程繁琐耗时长，且对人员的素质要求很高，即便是熟练且经验丰富的DPI人员在挑选特征时也可能出现严重错误，该技术上手难度不大但对经验性要求极高，新入行的人员尤其容易出现问题。
[0004]现有的标准DPI工作流程如图1所示，具体包括：任务分发，负责主管向技术人员分发任务APP；数据捕获，每个技术人员获取任务后分别在测试环境中搜索目标APP，下载目标APP，然后在测试环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络应用数据流特征分析系统，其特征在于，包括任务分发子系统、数据捕获子系统和特征提取子系统；任务分发子系统，自动对已下载网络应用进行去重，然后将需要分析的网络应用均衡的分发到每个DPI人员的数据捕获子系统中，同时能够根据不同人员的完成情况灵活自动调整，做到工作量均衡；数据捕获子系统，接收任务分发子系统下发的网络应用任务，进行自动抓包处理，实现从获取网络应用任务到抓包完成的全部自动化；特征提取子系统，用于对抓取的数据包进行格式化处理，然后进行特征提取，将提取的特征存储至特征库中。2.如权利要求1所述的一种网络应用数据流特征分析系统，其特征在于，数据捕获子系统包括任务接收模块、爬虫模块、自动安装模块、自动运行模块和自动抓包模块；任务接收模块接收任务分发子系统自动传输的网络应用任务列表，将网络应用任务列表发送至爬虫模块；爬虫模块根据网络应用名称在各应用市场搜索网络应用并自动下载对应的apk安装包到PC端自动安装系统；自动安装系统通过adb传输apk安装包到手机adb自动运行模块；自动运行模块通过网络应用ium实现对手机的模拟操作完成自动运行；自动抓包模块通过python的sniff函数捕获数据包，将数据包发送至特征提取子系统。3.如权利要求1所述的一种网络应用数据流特征分析系统，其特征在于，特征提取子系统包括包数据格式化处理模块、辅助特征分析模块、特征提取模块和特征入库模块；数据格式化处理模块对捕获的数据包进行自动格式化，得到数据包特征组，将数据包特征组存储至服务器中；辅助特征分析模块将数据包特征组中的每一条特征与服务器特征库中已存储的所有数据包特征组进行比较，根据比较结果进行特征标记；特征提取模块根据特征标记进行特征提取；特征入库模块将选好的特征存储到特征库中。4.如权利要求3所述的一种网络应用数据流特征分析系统，其特征在于，数据格式化处理模块具体用于：自动提取每条数据流中的URL；对提取的每一个URL进行重新编码，去掉无用信息；对每一个URL进行重新编码和去重工作，得到一组编码之后的URL，将其称为该网络应用...

【专利技术属性】
技术研发人员：王飞，于锋，
申请(专利权)人：蚂蚁悦读北京科技有限公司，
类型：发明
国别省市：