一种识别TLS协议加密传输YouTube DASH视频的方法技术

本发明专利技术公开了一种识别TLS协议加密传输YouTube DASH视频的方法，该方法在接入服务商的网络接入点采集报文数据，基于TCP传输协议、TLS加密协议的传输特征，以及YouTube分发DASH视频的机制，获得加密传输的YouTube DASH视频的音频片段、视频片段信息以及并行传输特征，与已知视频所具有的传输特征进行比对，如果比对成功，输出识别出的视频信息，否则给出视频不匹配信息。本发明专利技术可用于接入服务商识别加密传输的热点视频。

【技术实现步骤摘要】
一种识别TLS协议加密传输YouTubeDASH视频的方法
本专利技术属于网络测量
，尤其涉及一种识别TLS协议加密传输YouTubeDASH视频的方法。
技术介绍
接入服务商为了监测用户对网络带宽的需求需要监测视频流媒体占用带宽资源的情况，国家安全部门出于可能的网络安全需求也需要对特定流媒体视频在网络中的分发情况进行监控。但是视频服务商和用户都不可能将信息分享给接入服务商和相关安全部门。传统的方法是接入服务商在数据经过的位置采集报文数据进行分析，获得需要的信息。但是越来越多的视频服务商开始采用加密流量进行数据传输，世界上最大的视频分享服务商YouTube率先对所有视频流进行加密传输，针对市场占有率最高的安卓终端，使用DASH视频传输机制。由于数据加密后，不能再使用深度报文检测的方法分析数据，传统的分析方法无法使用，这给网络管理带来了困难。在接入点无法通过对加密数据分析识别出视频数据，只能通过数据的传输特性进行分析。但是视频的传输特性是由视频本身，以及数据分发策略、数据传输技术、数据加密协议和网络实际传输能力多种因素共同作用的结果，动态变化的网络传输实况导致同一个视频的传输特性每次都会有变化。但是另一方面，这些因素的共同作用导致数据传输有一定的规律可循。目前公开文献中针对YouTube加密视频的识别方法利用了YouTube使用的自适应流媒体技术DASH的特点，服务器在视频分发前会按照播放时长对音频数据和视频数据分别切片，音频的每个片段数据量是相等的，但是由于视频内容各不同，基于现有的编码方式，切片后每个视频片段的数据量不同，传输的时候，每个客户端的HTTP请求按照目录顺序请求一系列片段，然后服务器会向客户端发出对应的数据片段，因此对一个视频来说，被切片后的视频片段序列的数据量构成了视频的基本指纹，直观上看相同的视频片段数据量序列可以作为视频识别的基准。因此已有的方法为针对某个热点视频识别，在测试终端进行视频点播，并同时在网络接入点采集视频流的报文数据。对一个客户请求后的服务器发出的一簇密集的响应报文负载进行累加，认为一簇密集的响应报文对应一个视频的一个片段，以此建立基准数据。当用户点播相同视频的时候，通过在中间节点进行相同的累加分析，如果累加出的分段数据量序列与已知的分段数据量序列相匹配，就识别出了视频。但是现有的方法存在三个主要问题：(1)YouTubeDASH机制中，一个视频播放的时候有两条数据流并行传输，并且音频片段会和视频片段并行传输，现有的识别方法中忽视了数据量较小的音频片段也被累加造成的数据量误差；(2)网络传输总是会存在数据丢包的情况，服务器和客户经过协商会重传丢失的数据包或者放弃重传，现有的识别方法在基准构建和视频识别过程中都不考虑丢包重传造成误差，这导致丢包重传发生时，基准数据和被识别数据都会出现误差，双重的误差导致识别结果匹配的准确性降低；(3)网络信道条件是不断动态变化的，YouTube采用的是自适应的传输机制，因此每次传输时其两条流上视频片段和音频片段的并行传输过程是随着网络状态而不同的，但是现有的方法是通过真实的数据传输建立基准值，实际上被比较的只是某次的传输特征，网络环境变化后同样的视频传输时会有不同的传输特征，因此造成无法识别。上述三个问题导致现有技术方法无法实现对YouTubeDASH视频的准确识别。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种识别TLS协议加密传输YouTubeDASH视频的方法，该方法在接入服务商的网络接入点采集报文数据，基于TCP传输协议、TLS加密协议的传输特征，以及YouTube分发DASH视频的机制，获得加密传输的YouTubeDASH视频的音频片段、视频片段信息以及并行传输特征，与已知视频所具有的传输特征进行比对，如果比对成功，输出识别出的视频信息，否则给出视频不匹配信息。本专利技术可用于接入服务商识别加密传输的热点视频。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种识别TLS协议加密传输YouTubeDASH视频的方法，该方法包括以下步骤：(1)在接入服务商的采集设备上采集报文数据，对获得的报文数据文件进行存储；(2)遍历数据文件，基于源IP地址、宿IP地址，构建可能的YouTube视频传输IP对列表，然后对IP对列表进行遍历，针对每对IP之间的TLS协议数据，分析所有响应报文，将响应报文的ACK值相同的数据报文整合为一个片段，放入片段列表中，基于片段的特征判断该IP流是否为YouTubeDASH视频流并将YouTubeDASH片段数据存入YouTubeDASH片段数据结构中；(3)处理YouTubeDASH片段传输中出现的中断后续传片段的情况，对所有片段遍历，如果一个片段的响应报文的报头有RST信号，查找后续的片段，并将后一个片段拼接在该片段之后；(4)对所有YouTubeDASH片段的数据量进行统计，对所有片段遍历，将数据量相符的片段标记为音频片段，并从1开始依次给出音频片段编号，记为ai；(5)对没有标记为音频片段的非音频片段遍历，根据非音频片段的传输时间特征识别出分辨率自适应切换过程，据此确定因为分辨率切换下载的冗余视频片段，对冗余片段不编号，其余的非音频片段为视频片段，并从1开始依次对视频片段进行编号，记为vj；(6)基于已知视频的视频音、视频片段信息，及其并行传输特征，与本次采集并经过前述1-5步骤处理后获得视频数据进行比对，判断音、视频片段个数、视频的并行传输特征、视频片段数据量是否一致，输出视频识别结果。进一步，所述步骤(1)中，在接入服务商的采集设备上采集报文数据，对获得的报文数据文件进行存储的方法为:接入服务商通过专门的网络流量采集器将经过特定端口的数据采集并存为报文数据文件。进一步，所述步骤(2)中，遍历数据文件，基于源IP地址、宿IP地址，构建可能的YouTube视频传输IP对列表，然后对IP对列表进行遍历，针对每对IP之间的TLS协议数据，分析所有响应报文，将响应报文的ACK值相同的数据报文整合为一个片段，放入片段列表中，基于片段的特征判断该IP流是否为YouTubeDASH视频流并将YouTubeDASH片段数据存入YouTubeDASH片段数据结构中的方法如下：(2.1)遍历报文数据文件中的报文，提取报文的源IP地址、宿IP地址、传输层协议，端口信息，如果一个报文为从接入点内到接入点外的TLSClientHello报文，而且报文中的ServerName中有“googlevideo”或者“youtubevideo”这两个关键标签，并且报文中的源地址是接入点内地址，目的地址是接入点外地址，报文中的源IP，宿IP，TCP协议三元组是一个可能的YouTube视频传输流，如果当前的YouTube视频流的IP对列表中没有这个三元组信息，将其加入；如果不满足条件，放弃该报文读取下一个报文，依次遍历报文数据文件，构建可能的YouTube视频传输流的IP对列表，指针指向第一个IP对；(2.2)读取IP对，从报文数据中过滤出该IP对之间的TLS协议数据报文；(2.3)根据对应于同一个片段的报文，其TCP报头中的ACK值是一样的，据此对数据报文整合，形成片段列表；(2.4)如果该IP对的片段列表中片本文档来自技高网...

【技术保护点】
1.一种识别TLS协议加密传输YouTube DASH视频的方法，其特征在于，该方法包括以下步骤：(1)在接入服务商的采集设备上采集报文数据，对获得的报文数据文件进行存储；(2)遍历数据文件，基于源IP地址、宿IP地址，构建可能的YouTube视频传输IP对列表，然后对IP对列表进行遍历，针对每对IP之间的TLS协议数据，分析所有响应报文，将响应报文的ACK值相同的数据报文整合为一个片段，放入片段列表中，基于片段的特征判断该IP流是否为YouTube DASH视频流并将YouTube DASH片段数据存入YouTube DASH片段数据结构中；(3)处理YouTube DASH片段传输中出现的中断后续传片段的情况，对所有片段遍历，如果一个片段的响应报文的报头有RST信号，查找后续的片段，并将后一个片段拼接在该片段之后；(4)对所有YouTube DASH片段的数据量进行统计，对所有片段遍历，将数据量相符的片段标记为音频片段，并从1开始依次给出音频片段编号，记为ai；(5)对没有标记为音频片段的非音频片段遍历，根据非音频片段的传输时间特征识别出分辨率自适应切换过程，据此确定因为分辨率切换下载的冗余视频片段，对冗余片段不编号，其余的非音频片段为视频片段，并从1开始依次对视频片段进行编号，记为vj；(6)基于已知视频的视频音、视频片段信息，及其并行传输特征，与本次采集并经过前述(1)‑(5)步骤处理后获得视频数据进行比对，判断音、视频片段个数、视频的并行传输特征、视频片段数据量是否一致，输出视频识别结果。...

【技术特征摘要】
1.一种识别TLS协议加密传输YouTubeDASH视频的方法，其特征在于，该方法包括以下步骤：(1)在接入服务商的采集设备上采集报文数据，对获得的报文数据文件进行存储；(2)遍历数据文件，基于源IP地址、宿IP地址，构建可能的YouTube视频传输IP对列表，然后对IP对列表进行遍历，针对每对IP之间的TLS协议数据，分析所有响应报文，将响应报文的ACK值相同的数据报文整合为一个片段，放入片段列表中，基于片段的特征判断该IP流是否为YouTubeDASH视频流并将YouTubeDASH片段数据存入YouTubeDASH片段数据结构中；(3)处理YouTubeDASH片段传输中出现的中断后续传片段的情况，对所有片段遍历，如果一个片段的响应报文的报头有RST信号，查找后续的片段，并将后一个片段拼接在该片段之后；(4)对所有YouTubeDASH片段的数据量进行统计，对所有片段遍历，将数据量相符的片段标记为音频片段，并从1开始依次给出音频片段编号，记为ai；(5)对没有标记为音频片段的非音频片段遍历，根据非音频片段的传输时间特征识别出分辨率自适应切换过程，据此确定因为分辨率切换下载的冗余视频片段，对冗余片段不编号，其余的非音频片段为视频片段，并从1开始依次对视频片段进行编号，记为vj；(6)基于已知视频的视频音、视频片段信息，及其并行传输特征，与本次采集并经过前述(1)-(5)步骤处理后获得视频数据进行比对，判断音、视频片段个数、视频的并行传输特征、视频片段数据量是否一致，输出视频识别结果。2.根据权利要求1所述的一种识别TLS协议加密传输YouTubeDASH视频的方法，其特征在于，所述步骤(1)中，在接入服务商的采集设备上采集报文数据，对获得的报文数据文件进行存储的方法为:接入服务商通过专门的网络流量采集器将经过特定端口的数据采集并存为报文数据文件。3.根据权利要求1所述的一种识别TLS协议加密传输YouTubeDASH视频的方法，其特征在于，所述步骤(2)中，遍历数据文件，基于源IP地址、宿IP地址，构建可能的YouTube视频传输IP对列表，然后对IP对列表进行遍历，针对每对IP之间的TLS协议数据，分析所有响应报文，将响应报文的ACK值相同的数据报文整合为一个片段，放入片段列表中，基于片段的特征判断该IP流是否为YouTubeDASH视频流并将YouTubeDASH片段数据存入YouTubeDASH片段数据结构中的方法如下：(2.1)遍历报文数据文件中的报文，提取报文的源IP地址、宿IP地址、传输层协议，端口信息，如果一个报文为从接入点内到接入点外的TLSClientHello报文，而且报文中的ServerName中有“googlevideo”或者“youtubevideo”这两个关键标签，并且报文中的源地址是接入点内地址，目的地址是接入点外地址，报文中的源IP，宿IP，TCP协议三元组是一个可能的YouTube视频传输流，如果当前的YouTube视频流的IP对列表中没有这个三元组信息，将其加入；如果不满足条件，放弃该报文读取下一个报文，依次遍历报文数据文件，构建可能的YouTube视频传输流的IP对列表，指针指向第一个IP对；(2.2)读取IP对，从报文数据中过滤出该IP对之间的TLS协议数据报文；(2.3)根据对应于同一个片段的报文，其TCP报头中的ACK值是一样的，据此对数据报文整合，形成片段列表；(2.4)如果该IP对的片段列表中片段符合如下两个特征：(1)总体片段中的超过1/3片段数据量分布在(150KB，170KB)这个区间内；(2)存在两个TCP流同时传输数据，满足这两个特征，就识别出是一个YouTubeDASH视频流，进入步骤(2.5)，否则进入步骤(2.6)；(2.5)片段数据存入YouTubeDASH片段数据结构列表中；(2.6)如果还有下一个IP对，进入步骤(2.2)，否则结束本次计算。4.根据权利要求1所述的一种识别TLS协议加密传输YouTubeDASH视频的方法，其特征在于，所述步骤(3)中，处理YouTubeDASH片段传输中出现的中断后续传片段的情况，对所有片段遍历，如果一个片段的响应报文的报头有RST信号，查找后续的片段，并将后一个片段拼接在该片段之后的方法如下：(3.1)片段指针指向YouTubeDASH片段数据链表的第一个片段；(3.2)读取片段内容；(3.3)如果当前片段结束时客户端向服务器发出了RST信号，即客户端主动结束数据传输，进入步骤(3.4)，否则进入步骤(3.5)；(3.4)如果在发出RST信号后，客户端立即重新建立TCP/IP连接，然后再次发出新的请求报文，并得到新的数据，得到的新数据为续传片段，将续传片段拼接在原片...

【专利技术属性】
技术研发人员：吴桦，程光，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32