一种基于加密流量数据的视频服务体验质量的识别方法技术

本发明专利技术公开了一种基于加密流量数据的视频服务体验质量的识别方法。所述方法包括：获取视频播放时的加密流量文件以及相应的事件信息；对所述的事件信息进行处理，以确定该次播放的QoE等级；对所述的加密流量文件进行预处理，得到TCP流数据；以所述的QoE等级作为标签，所述的TCP流数据作为特征，构建端到端的深度学习模型；所述模型可根据加密流量文件识别视频播放的QoE等级。本发明专利技术提供的视频QoE等级识别方法，能够准确的对视频QoE等级进行识别，并且提供了完全自动化的方案。

【技术实现步骤摘要】
一种基于加密流量数据的视频服务体验质量的识别方法
本专利技术涉及多传感器采集和流量分类领域，尤其涉及一种基于加密流量数据的视频服务体验质量(QualityofExperience，QoE)的识别方法。
技术介绍
视频服务体验质量等级识别技术是指视频服务的用户在观看视频后，对用户的服务使用体验进行识别的技术。利用该技术，网络服务提供商可以动态的调整网络参数来提高带宽利用率。视频QoE评估主要通过主观评估或客观评估来获取，由于主观评估耗时长代价高，且无法覆盖所有的网络状况及用户观看习惯。因此越来越多视频服务商改用客观评估来克服主观评估的不足。然而，客观评估需要建立与主观感受相映射的客观视频体验质量评估模型，再根据QoE评估模型的关键性能指标(KeyPerformanceIndicators,KPIs)来反映用户的视频QoE。而评估模型中的KPIs参数都需要通过视频码率或清晰度来计算获取。对于网络服务提供商来说，常用的QoE识别步骤为：(1)基于深度包解析技术从网络流量数据中获取视频服务的码率、清晰度等KPIs参数；(2)利用预定义的客观QoE评估模型对视频服务的QoE进行评估。但是，实际应用中，越来越多的视频服务采用加密传输，这使得基于深度包解析技术的KPIs识别方法失效了。为了解决加密条件下，基于深度包解析的KPI试试别技术失效的问题，研究人员提出了基于流的深度解析方法。其基本步骤为：(1)收集视频服务的TCP/UDP流以及对应的QoE等级作为训练样本。(2)从TCP/UDP流中提取与KPIs相关的特征。(3)训练机器学习模型进行QoE识别。但是，在实际应用中，基于流的深度解析方法往往存在以下问题：(1)带有QoE等级标签的数据难以自动化收集。(2)特征往往需要专家设计以及筛选。由于上述问题，导致该方案难以应用。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于加密流量数据的视频服务体验质量的识别方法。本专利技术的目的是通过以下技术方案来实现的：一种基于加密流量数据的视频服务体验质量的识别方法，包括以下步骤：(1)收集带有QoE等级标签的加密流量网络视频播放数据，构建训练集：记录目标视频在播放过程中产生的事件信息和加密流量数据，通过对事件信息预处理得到该次播放的QoE标签，通过对加密流量数据预处理得到TCP流文件，所述QoE标签和对应的TCP流文件构成训练集。(2)利用构建的训练集训练神经网络分类模型。(3)获取待测网络视频在播放过程中产生的加密流量数据，对加密流量数据预处理得到TCP流文件，再利用步骤2训练的神经网络分类模型生成视频播放的QoE等级。进一步地，所述的步骤1在数据采集装置上实现。所述数据采集装置包括：一台或多台安卓设备：根据设置的筛选条件，向存储有视频信息的数据库请求符合条件的视频id，然后用视频id通过网络播放指定视频，并采集该视频播放过程中产生的事件信息。所述的筛选条件包括时长范围、播放数范围、清晰度范围、在视频网站上的播放数等；所述播放事件信息包括：视频载入事件、清晰度切换事件、停顿事件、播放完成事件、帧率等；一计算机：监听安卓设备播放视频时产生的加密流量数据，得到加密流量数据文件；一存储有视频信息的数据库：存储视频的视频信息，根据安卓设备发送的播放条件返回符合条件的视频id；所述视频信息包括：视频名称、视频id、视频时长、视频可选清晰度、视频在视频网站上的播放数、评论数等；一存储服务器：接收并存储安卓设备采集的事件信息和计算机得到的加密流量数据文件。进一步地，所述步骤1中，所述收集带有QoE等级标签的加密流量网络视频播放数据包括以下子步骤：(1.1)安卓设备根据设定的筛选条件，向存储有视频信息的数据库请求符合条件的加密视频的视频id。(1.2)安卓设备通知计算机该次播放开始，计算机设定该次测试的带宽范围，同时进行网络数据监听。(1.3)安卓设备播放视频，在播放过程中记录播放事件信息。若该次播放正常，安卓设备通知计算机该次播放正常结束；计算机关闭网络监听，取消带宽控制，并将监听得到的加密流量数据文件上传到存储服务器；安卓设备将记录的播放事件信息上传到存储服务器。若该次播放异常，安卓设备通知计算机该次播放异常结束；计算机关闭网络监听，取消带宽控制，并抛弃该次监听得到的加密流量数据文件；安卓设备则抛弃该次记录的播放事件信息。(1.4)重复步骤1.1～步骤1.3，收集多个训练数据。进一步地，所述步骤1中，所述通过对事件信息预处理得到该次播放的QoE标签具体为：首先，设定一个checkHigh函数，用来判断该次加密视频播放的QoE是否为高。若checkHigh小于预设阈值，则QoE等级为High；checkHigh函数为：若checkHigh高于预设阈值，设定一个checkLow函数，用来判断该次视频播放的QoE等级是否为Low，若checkLow大于预设阈值，则QoE等级为Low；反之，则QoE等级设为Medium；checkLow函数为：checkLow＝nPLQ+nSC+nOR+nASD，checkHigh函数和checkLow函数相关参数说明见表1：表1：QoE评估函数checkHigh和checkLow的参数说明进一步地，所述步骤1中，所述通过对加密流量数据预处理得到TCP流文件具体为：输入加密流量数据文件，去除其中的UDP包，保留TCP包；同时根据TCP包中的源IP、源端口、目标IP、目标端口四个字段对数据包进行分组，将源IP、源端口、目标IP、目标端口相同的数据包分入同一个TCP流文件；最后去除包含TCP包数量少于预设阈值的TCP流文件，从而将一个加密流量数据文件转换为多个TCP流文件。进一步地，所述的步骤2中，所述神经网络分类模型描述如下：(2.1.1)神经网络分类模型的输入数据格式：神经网络分类模型的输入数据格式与TCP流文件展开的TCP包序列格式对应。每个输入数据可由一个TCP流文件转换过来。设输入数据为T0＝{I1,I2,...,Ii,...,IN}，Ii为TCP流文件中第i个TCP包转换过来的二进制序列。N为TCP流文件中TCP包的总个数。(2.1.2)对于一个输入数据中的每一个二进制序列Ii，使用多层卷积神经网络提取包特征。设深度神经网络第l层的特征向量为为第Ml个特征；第l+1层的特征向量由第l层的特征向量经过包括卷积、池化、非线性函数激活在内的操作得到；第1层的特征向量由其输入的二进制序列Ii经过包括卷积、池化、非线性函数激活在内的操作得到；最后一层的特征向量通过一个全连接层转为定长特征向量Fi。通过这一操作，输入的TCP包序列T0转化为特征向量序列，设为G＝{F1,F2,...,Fi,...,FN}；所述的卷积操作是将卷积核分别与上一层特征向量的局部邻域进行卷积；池化操作是将第l层特征向量的局部邻域作加权平均或取最大值处理以对特征向量作降采样得到更高层次的特征表达；非线性激活函数对l层输出特征向量的每一维作非线性处理，从而获得特征的非线性表达。非线性函数激活处理在卷积之后进行。(2.1.3)提取特征向量序列的时间特征：使用双向循环神经网络提取特征向量序列G的时间特征序列；其中双向神经网络的神经元可以为长短时记忆单元(LongShort-Ter本文档来自技高网...

【技术保护点】
1.一种基于加密流量数据的视频服务体验质量的识别方法，其特征在于，包括以下步骤：(1)收集带有QoE等级标签的加密流量网络视频播放数据，构建训练集：记录目标视频在播放过程中产生的事件信息和加密流量数据，通过对事件信息预处理得到该次播放的QoE标签，通过对加密流量数据预处理得到TCP流文件，所述QoE标签和对应的TCP流文件构成训练集。(2)利用构建的训练集训练神经网络分类模型。(3)获取待测网络视频在播放过程中产生的加密流量数据，对加密流量数据预处理得到TCP流文件，再利用步骤2训练的神经网络分类模型生成视频播放的QoE等级。

【技术特征摘要】
1.一种基于加密流量数据的视频服务体验质量的识别方法，其特征在于，包括以下步骤：(1)收集带有QoE等级标签的加密流量网络视频播放数据，构建训练集：记录目标视频在播放过程中产生的事件信息和加密流量数据，通过对事件信息预处理得到该次播放的QoE标签，通过对加密流量数据预处理得到TCP流文件，所述QoE标签和对应的TCP流文件构成训练集。(2)利用构建的训练集训练神经网络分类模型。(3)获取待测网络视频在播放过程中产生的加密流量数据，对加密流量数据预处理得到TCP流文件，再利用步骤2训练的神经网络分类模型生成视频播放的QoE等级。2.如权利要求1所述的基于加密流量数据的视频服务体验质量的识别方法，其特征在于，所述的步骤1在数据采集装置上实现。所述数据采集装置包括：一台或多台安卓设备：根据设置的筛选条件，向存储有视频信息的数据库请求符合条件的视频id，然后用视频id通过网络播放指定视频，并采集该视频播放过程中产生的事件信息。所述的筛选条件包括时长范围、播放数范围、清晰度范围、在视频网站上的播放数等；所述播放事件信息包括：视频载入事件、清晰度切换事件、停顿事件、播放完成事件、帧率等；一计算机：监听安卓设备播放视频时产生的加密流量数据，得到加密流量数据文件；一存储有视频信息的数据库：存储视频的视频信息，根据安卓设备发送的播放条件返回符合条件的视频id；所述视频信息包括：视频名称、视频id、视频时长、视频可选清晰度、视频在视频网站上的播放数、评论数等；一存储服务器：接收并存储安卓设备采集的事件信息和计算机得到的加密流量数据文件。3.如权利要求2所述的基于加密流量数据的视频服务体验质量的识别方法，其特征在于，所述步骤1中，所述收集带有QoE等级标签的加密流量网络视频播放数据包括以下子步骤：(1.1)安卓设备根据设定的筛选条件，向存储有视频信息的数据库请求符合条件的加密视频的视频id。(1.2)安卓设备通知计算机该次播放开始，计算机设定该次测试的带宽范围，同时进行网络数据监听。(1.3)安卓设备播放视频，在播放过程中记录播放事件信息。若该次播放正常，安卓设备通知计算机该次播放正常结束；计算机关闭网络监听，取消带宽控制，并将监听得到的加密流量数据文件上传到存储服务器；安卓设备将记录的播放事件信息上传到存储服务器。若该次播放异常，安卓设备通知计算机该次播放异常结束；计算机关闭网络监听，取消带宽控制，并抛弃该次监听得到的加密流量数据文件；安卓设备则抛弃该次记录的播放事件信息。(1.4)重复步骤1.1～步骤1.3，收集多个训练数据。4.如权利要求1所述的基于加密流量数据的视频服务体验质量的识别方法，其特征在于，所述步骤1中，所述通过对事件信息预处理得到该次播放的QoE标签具体为：首先，设定一个checkHigh函数，用来判断该次加密视频播放的QoE是否为高。若checkHigh小于预设阈值，则QoE等级为High；checkHigh函数为：若checkHigh高于预设阈值，设定一个checkLow函数，用来判断该次视频播放的QoE等级是否为Low，若checkLow大于预设阈值，则QoE等级为Low；反之，则QoE等级设为Medium；checkLow函数为：checkLow＝nPLQ+nSC′+nOR+nASD，checkHigh函数和checkLow函数相关参数说明见表1：表1：QoE评估函数checkHigh和checkLow的参数说明5.如权利要求1所述的基于加密流量数据的视频服务体验质量的识别方法，其特征在于，所述步骤1中，所述通过对加密流量数据预处理得到TCP流文件具体为：输入加密流量数据文件，去除其中的UDP包，保留TCP包；同时根据TCP包中的源IP、源端口、目标IP、目标端口四个字段对数据包进行分组，将源IP、源端口、目标IP、目标端口相同的数据包分入同一个TCP...

【专利技术属性】
技术研发人员：陈锐，杜歆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33