一种面向YouTube DASH加密视频的指纹数据库构建方法技术

本发明专利技术公开了一种面向YouTube DASH加密视频的指纹数据库构建方法，该方法在代理设备上采集视频数据，解析采集的数据文件，获得视频的基本信息指纹，并基于YouTube视频分发机制和DASH视频传输机制进行数据分析，进一步获得与传输状态相关的视频传输指纹，将这些指纹存入数据库中。本发明专利技术中获得的视频指纹包括基本信息指纹和视频传输指纹，基本信息指纹是视频数据中获得，视频传输指纹是根据YouTube DASH传输机制计算获得，与具体的传输环境无关，因此使用本发明专利技术的方法构建的指纹数据库可以应用于性能不断变化的真实网络，具有较好的适用性。

A fingerprint database construction method for YouTube DASH encrypted video

The invention discloses a fingerprint database construction method for YouTube DASH encrypted video. The method collects video data on the proxy device, parses the collected data files, obtains the basic information fingerprints of the video, and carries out data analysis based on YouTube video distribution mechanism and DASH video transmission mechanism, further obtains the video transmission fingerprints related to the transmission status. Some fingerprints are stored in the database. The video fingerprint obtained in the present invention includes basic information fingerprint and video transmission fingerprint. The basic information fingerprint is obtained from video data, and the video transmission fingerprint is calculated according to YouTube DASH transmission mechanism, which has nothing to do with the specific transmission environment. Therefore, the fingerprint database constructed by the method of the present invention can be applied to the real network with changing performance and has better adaptability. Usability.

【技术实现步骤摘要】
一种面向YouTubeDASH加密视频的指纹数据库构建方法
本专利技术属于网络测量
，尤其涉及一种面向YouTubeDASH加密视频的指纹数据库构建方法。
技术介绍
越来越多的网络视频服务商开始采用加密流量进行数据传输，世界上最大的视频分享服务商YouTube率先对所有视频流进行加密传输，针对市场占有率最高的安卓终端，使用DASH视频传输机制。接入服务商为了监测用户对网络带宽的需求，以及出于可能的网络安全监测需求，需要构建加密视频的指纹数据库作为识别加密视频识别的基础。YouTubeDASH视频传输前会按照播放时长对音频数据和视频数据分别切片，音频的每个片段长度基本是相等的，但是由于视频内容各不同，基于现有的编码方式，切片后每个视频片段的长度不同，因此对一个视频来说，被切片后的视频片段序列的数据长度构成了视频的基本指纹，但是由于数据被加密传输，接入服务商无法直接获得每个片段的长度，也无法构建视频的基本指纹数据库。目前公开文献中的针对YouTube加密视频指纹数据库构建方法，是对某个热点视频，在测试终端进行视频点播，并同时在网络接入点采集视频流的报文数据。对一个客户请求后的服务器发出的一簇密集的响应报文负载进行累加，认为一簇密集的响应报文对应一个视频片段，由此构建视频的指纹数据库。现有的方法存在三个主要问题：(1)由于YouTubeDASH机制中，一个视频播放的时候有两条数据流并行传输，并且音频片段会和视频片段并行传输，因此现有的指纹数据库构建方法忽视了数据量较小的音频片段也被累加造成的数据量误差；(2)网络传输总是会存在数据丢包的情况，服务器和客户经过协商会重传丢失的数据包或者放弃重传，现有的指纹数据库构建方法无法从加密数据中识别出丢包，因此对数据长度的累加中无法考虑丢包造成误差；(3)网络信道条件是不断动态变化的，YouTube采用的是自适应的传输机制，因此每次传输时其两条流上视频片段和音频片段的并行传输过程是随着网络状态而不同的，但是现有的方法是通过真实的数据传输进行统计，实际上获得的只是某次的传输指纹，网络环境变化后同样的视频传输时会有不同的传输指纹，这样的传输指纹却无法在指纹数据库中找到。上述三个问题导致现有的指纹数据库构建方法无法对YouTube视频构建准确、全面的指纹数据库。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种面向YouTubeDASH加密视频的指纹数据库构建方法，通过代理设备获得视频数据，对数据进行分析构建加密视频指纹数据库。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种面向YouTubeDASH加密视频的指纹数据库构建方法，该方法包括以下步骤：(1)搭建数据采集环境，采集目标YouTubeAPP视频数据并保存；(2)读取描述视频片段和音频片段特征的视频基本信息指纹，并基于YouTube视频分发机制和DASH视频传输机制进行数据分析获得视频传输指纹；(3)根据获得的视频基本信息指纹和视频传输指纹构建指纹数据库。进一步，所述步骤(1)中，搭建数据采集环境的方法为:代理设备和装有YouTubeAPP的移动终端连接同一无线网络，在代理设备上开启HTTPS代理服务，视频数据通过代理设备的时候采集视频数据。进一步，所述步骤(1)中，采集目标YouTubeAPP视频数据并保存的方法如下：(1.1)建立目标视频列表，设置当前视频为视频列表的第一个视频；(1.2)在YouTubeAPP界面搜索到当前视频，设置该视频的最低分辨率为当前分辨率；(1.3)在界面中选择分辨率为当前分辨率；(1.4)启动代理设备上的代理应用开始采集；(1.5)点击YouTubeAPP的播放按钮；(1.6)播放结束时停止采集，存储当前采集数据文件；(1.7)如果当前视频有更高分辨率选项，则设置当前分辨率为更高一级的分辨率，进入步骤(1.3)，否则进入步骤(1.8)；(1.8)如果视频列表还有未采集的视频，则设置当前视频为下一个未采集的视频，进入步骤(1.2)，否则采集视频结束。进一步，步骤(2)中，所述基本信息指纹包括音频片段数目、视频片段数目、所有音频片段和视频片段的数据长度、开始播放时间、播放时长。进一步，步骤(2)中，获得视频传输指纹的方法如下：(2.1)文件指针指向第一个被采集的数据文件；(2.2)从文件里读取描述视频片段和音频片段特征的视频基本信息指纹，分别存入视频片段或音频片段数据链表中；设视频基本信息指纹中视频片段数目为n，音频片段数目为m，当前数据文件所记录的视频和分辨率下的第i段DASH视频片段Vi的数据长度为Lvi，开始播放时间为Tvi，播放时长为Pvi，第j段音频片段Aj的数据长度为Laj，开始播放时间为Taj，播放时长为Paj，1≤i≤n，1≤j≤m；所述视频传输指纹的计算方法为：(2.3)初始化设置所有视频片段和音频片段为不能并行传输；(2.4)i＝1；(2.5)读取Vi片段信息；(2.6)j＝1；(2.7)读取Aj片段信息；(2.8)如果(Taj≥TviandTaj<Tvi+Pvi)or(Taj+Paj>TviandTaj+Paj≤Tvi+Pvi)是真，进入(2.9),否则进入步骤(2.10)；(2.9)如果Aj已有常规并行传输标记，表明常规情况下该音频片段已经传输过了，此时再次出现在并行传输里，则为非常规并行传输，记录非常规并行传输指纹(Vi,Aj)，否则记录常规并行传输指纹(Vi,Aj)，并为音频片段Aj标注常规并行传输标记；(2.10)j++；(2.11)如果有下一个音频片段，进入步骤(2.7)；(2.12)i++；(2.13)如果有下一个视频片段，进入步骤(2.5)，否则结束本次计算过程；(2.14)文件指针后移，如果还有待分析的数据文件，则重复(2.2)-(2.13)的过程。进一步，步骤(3)中，根据获得的视频基本信息指纹和视频传输指纹构建指纹数据库方法如下：将所有视频的视频基本信息指纹和视频传输指纹存入指纹数据库，完成指纹数据库的构建。有益效果：与现有技术相比，本专利技术的技术方案具有以下有益技术效果：(1)本专利技术建库通过代理设备采集视频数据，在采集过程中切换所有的分辨率，可以获得被点播视频所有分辨率的片段摘要信息，通过解析代理设备采集的数据，可以读取出该视频各分辨率中视频片段、音频分段的长度信息。除此之外本专利技术避免了现有方法中无法区分音频片段、视频片段的问题，避免了现有方法中无法考虑丢包所带来的问题。(2)从采集数据中读取到的音频片段、视频片段序列的长度信息构成了视频的基本信息指纹。除此之外，本专利技术提出了视频传输指纹的概念及其计算方法。基于YouTube视频分发机制和DASH视频传输机制对视频的基本信息指纹分析，计算出在不同的网络信道条件下所有可能的音频和视频并行传输可能性，获得该视频在不同的网络服务质量情况下所有可能的传输指纹，因此可以应用于网络性能不断变化的真实网络，具有较好的适用性。(3)已有的专利技术专利“一种视频指纹数据库建立、视频指纹识别方法及装置”为模式识别领域技术，应用的前提是已经有了视频的帧图片，对获取的帧图片进行分块，根据每个分块的像素对所述帧图片进行编码形成视频指纹，不涉及数据采集过程，也不涉及网络传输过程；本专利技术技术为本文档来自技高网...

【技术保护点】
1.一种面向YouTube DASH加密视频的指纹数据库构建方法，其特征在于，该方法包括以下步骤：(1)搭建数据采集环境，采集目标YouTube APP视频数据并保存；(2)读取描述视频片段和音频片段特征的视频基本信息指纹，并基于YouTube视频分发机制和DASH视频传输机制进行数据分析获得视频传输指纹；(3)根据获得的视频基本信息指纹和视频传输指纹构建指纹数据库。

【技术特征摘要】
1.一种面向YouTubeDASH加密视频的指纹数据库构建方法，其特征在于，该方法包括以下步骤：(1)搭建数据采集环境，采集目标YouTubeAPP视频数据并保存；(2)读取描述视频片段和音频片段特征的视频基本信息指纹，并基于YouTube视频分发机制和DASH视频传输机制进行数据分析获得视频传输指纹；(3)根据获得的视频基本信息指纹和视频传输指纹构建指纹数据库。2.根据权利要求1所述的一种面向YouTubeDASH加密视频的指纹数据库构建方法，其特征在于，所述步骤(1)中，搭建数据采集环境的方法为：代理设备和装有YouTubeAPP的移动终端连接同一无线网络，在代理设备上开启HTTPS代理服务，视频数据通过代理设备的时候采集视频数据。3.根据权利要求1所述的一种面向YouTubeDASH加密视频的指纹数据库构建方法，其特征在于，所述步骤(1)中，采集目标YouTubeAPP视频数据并保存的方法如下：(1.1)建立目标视频列表，设置当前视频为视频列表的第一个视频；(1.2)在YouTubeAPP界面搜索到当前视频，设置该视频的最低分辨率为当前分辨率；(1.3)在界面中选择分辨率为当前分辨率；(1.4)启动代理设备上的代理应用开始采集；(1.5)点击YouTubeAPP的播放按钮；(1.6)播放结束时停止采集，存储当前采集数据文件；(1.7)如果当前视频有更高分辨率选项，则设置当前分辨率为更高一级的分辨率，进入步骤(1.3)，否则进入步骤(1.8)；(1.8)如果视频列表还有未采集的视频，则设置当前视频为下一个未采集的视频，进入步骤(1.2)，否则采集视频结束。4.根据权利要求1所述的一种面向YouTubeDASH加密视频的指纹数据库构建方法，其特征在于，步骤(2)中，所述基本信息指纹包括音频片段数目、视频片段数目、所有音频片段和视频片段的数据长度、开始播放时间、播放时长。5.根据权利要求1所述的一种面向YouTube...

【专利技术属性】
技术研发人员：吴桦，程光，房敏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32