基于体验质量分析的视频帧管理方法及其装置制造方法及图纸

本发明专利技术涉及一种基于体验质量分析的视频帧管理方法及其装置。基于QoE分析的视频帧管理方法可包括以下步骤：针对构成视频的第一帧，进行所述第一帧的分类；利用预先经过机器学习的学习模型，确定当从所述视频中删除经分类后的所述第一帧时对所述视频的体验质量产生的影响度；判断当从所述视频中删除所述第一帧时与所述影响度相应地降低的所述视频的体验质量是否为用户指定的最低要求质量以上；当判断为最低要求质量以上时，将所述第一帧标记为可删除帧；以及针对构成所述视频的第二帧至第n帧，反复执行所述分类的步骤、所述确定的步骤、所述判断的步骤和所述标记的步骤。

Video frame management method and its device based on experience quality analysis

The invention relates to a video frame management method and a device based on the experience quality analysis. The video frame management method based on QoE analysis which includes the following steps: the first frame of video, the classification of the first frame; after using pre machine learning learning model, to determine when the effects of the deletion of video classification after the first frame of the quality of experience generated from the video the judgment of the degree; when removed from the video in the first frame and the influence of the video of reduced the quality of experience is the minimum requirements specified above quality; when judging the minimum requirements for the quality of the above, the first frame can be marked as deleted frames; and according to the constitution the video of the second frame to the N frame, repeatedly executing the steps of classification, the determining step, the judgment step and the step of marking.

【技术实现步骤摘要】
基于体验质量分析的视频帧管理方法及其装置
本专利技术涉及一种基于体验质量(QoE；QualityofuserExperience)分析对视频帧进行管理的方法及其装置。更详细而言，涉及一种如下的方法及执行该方法的装置：该方法利用关于实际用户能够认知的视频质量的测量算法，来最大限度减小用户感到的质量下降，并且缩减在网络上传送视频时所需要的数据量。
技术介绍
近几年，利用网络的视频使用急剧增加。这与超高速互联网的普及和如智能手机等能够拍摄动态图像的设备的普及相吻合。例如，如在工作单位与同事进行视频会议或者在家采用交互式网络电视(IPTV)等通过流式传输与家人享受电视节目或电影的情况那样，目前通过网络(network)使用视频成为日常生活。视频与单纯的文本(text)、图片(image)或者音频(audio)不同，在执行业务中需要的数据量达到数倍。例如，为了通过流式传输享受一首歌曲，一个三分钟左右的mp3音乐文件需要7.2MB左右的数据。如果计算该音乐文件的比特率(bitrate)，则可得到每秒7.2×1000/3×60＝40Kbyte/s的值。为了将字节(byte)换算为比特(bit)而乘以8，则可知该音乐文件为320Kbps音质的音乐文件。即，为了通过流式传输享受该音乐文件，网络带宽(bandwidth)最小应为320Kbps以上。接下来将视频文件作为一例进行说明。一个三分钟左右的mp4动态图像文件需要27MB左右的数据。该动态图像文件的分辨率为1280×720，帧速为24帧/秒。如果计算该动态图像文件的比特率，则可知该视频文件为1200Kbps即1.2Mbps画质的动态图像文件。为了通过流式传输享受该动态图像文件，网络带宽最小应为1.2Mbps以上。可知与前面列举的音乐文件相比，需要四倍左右的网络带宽。如此，为了通过网络而利用视频，需要比其他种类的内容(content)更多的带宽。这样一来，还有可能根据情况而出现动态图像中断或破缺的现象。特别是，由于在动态图像流的情况下实时性很重要，因此为了顺利地提供服务，需要缩减通过网络传送的数据量。缩减播放动态图像所需的数据量的方法有多种。例如，调节分辨率也是一个方法。在YouTube网站中，作为动态图像播放器的设定项目具有能够调节动态图像分辨率的选项。如240p、360p、480p、720p、1080p等选项表示动态图像的纵向分辨率，1280×720相当于720p，通常称作高清(HD)，1920×1080相当于1080p，通常称作全高清(FullHD)或FHD。除通过调节动态图像分辨率来缩减数据量的方法之外，还可以通过调节动态图像画质来缩减数据量。其实，动态图像利用错视现象，该错视现象通过连续排列稍有差异的静止图片来如移动那样显示。此时，可通过调节连续排列的静止图片的质量来缩减数据量。可根据通常称作编解码器(codec)的有损压缩方式的差异来缩减为了播放动态图像而需要在网络上传送的数据量。这是由运算量来代替网络传送量缩减的优点的方式。在利用特定编解码器对动态图像进行编码后由发送端传送，并由接收端再次利用特定编解码器对此进行解码而播放的过程中，发送端和接收端分别需要由中央处理器(CPU)进行运算。用于缩减为了播放动态图像而需要的数据量的另一种方法为调节帧率(framerate)的方法。如前所述，动态图像利用连续排列图片的方式，将每一个图片称作帧(frame)，将每秒排列几个图片称作每秒帧数(FPS；FrameperSecond)。在电影的情况下每秒帧数为24fps，电视主要使用30fps的每秒帧数。可通过调节该帧数来缩减为了播放动态图像而需要的数据量。在与此相关的现有技术中有由高通公司(美国)申请的KR2015-0132372A(2015年11月25日)。KR2015-0132372A的专利技术名称为“用于通过丢弃视频帧来降低在网络上传送视频所需的比特率的方法(METHODFORDECREASINGTHEBITRATENEEDEDTOTRANSMITVIDEOSOVERANETWORKBYDROPPINGVIDEOFRAMES)”。上述现有技术通过以下方法缩减数据传送量即比特率：1)分析经编码后的视频帧来移除多个帧而不进行重新编码；2)一同传送用于说明被移除帧的元数据。但是，上述现有技术具有如下缺点：在编码和解码步骤中需要前后处理和附加协议，如需要在接收端利用元数据来识别被移除帧并生成代替该帧的替代帧等。此外，由于对现有系统带来较多的变形，在使用性及扩展性方面没有效率。不仅如此，用于调节帧率的以往的其他现有技术的重点也大部分仅放在通过故意移除部分帧(丢帧；framedropping)来缩减比特率的方面，未考虑由此导致的视频质量的下降即用户满意度的下降。即，由于现有技术均仅依赖于网络QoS(业务质量；QualityofService)参数，因此在接收端无法保障空间或时间视频的图像质量。于是，需要能够以视频图像质量为基准调节帧率的方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于QoE分析对视频帧进行管理的方法及执行该方法的装置。即，提供一种通过客观指标(视频质量度量；VideoQualityMetrics)和主观指标(平均主观意见分；MOS；MeanOpinionScores)的评价来了解可移除视频的信息量，并利用该信息量故意移除视频帧的方法及其装置。本专利技术的技术问题并不限于以上所提的技术问题，本领域技术人员可通过以下记载清楚理解未提到的其他技术问题。为了解决上述技术问题，本专利技术的一方面的基于QoE分析的视频帧管理方法可包括以下步骤：对构成视频的各个帧进行分类；对各个帧确定当从所述视频中删除所述帧时对所述视频的体验质量(QoE)产生的影响度；以及当反映所述影响度的所述视频的体验质量满足用户指定的最低要求质量条件时，将所述帧标记(marking)为可删除帧。在一实施例中，对所述帧进行分类的步骤可包括：利用所述视频的分辨率(Resolution)、编解码器(Codec)、GOP(图像组，GroupofPicture)的大小、帧率(FPS)、所述帧的帧类型(I/P/B)和帧位置(PositioninVideoFrame)中的一个以上来对所述帧进行分类。在另一实施例中，确定对所述视频的体验质量(QoE)产生的影响度的步骤可包括：通过将所述帧的分类结果应用到预先经过学习的学习模型中来确定影响度。在又一实施例中，通过将所述帧的分类结果应用到预先经过学习的学习模型中来确定影响度的步骤可包括：利用通过所述学习模型生成的决策树(DecisionTree)，来在所述决策树中确定与所述帧对应的节点；以及利用分配到所述节点中的体验质量，来确定所述帧的删除对所述视频的体验质量产生的影响度。在又一实施例中，可进一步包括：从所述视频中删除构成所述视频的多个帧中的被标记为可删除帧的帧；以及通过网络将删除被标记的所述帧之后的视频提供给接收终端。在又一实施例中，可进一步包括：通过网络将所述视频提供给接收终端；针对在网络传送过程中丢失的帧，从所述接收终端接收重传请求；以及仅在所述丢失的帧未被标记为可删除帧的情况下，作为对所述重传请求的响应，通过网络将所述丢失的帧提供给所述接收终端。在又一实施例本文档来自技高网...

【技术保护点】
一种基于体验质量分析的视频帧管理方法，包括以下步骤：对构成视频的各个帧进行分类；针对各个帧确定当从所述视频中删除所述帧时所述视频的体验质量QoE的预测的质量下降；以及当反映所述质量下降的所述视频的体验质量满足用户指定的最低要求质量条件时，将所述帧标记为可删除帧。

【技术特征摘要】
2016.05.30 KR 10-2016-00663801.一种基于体验质量分析的视频帧管理方法，包括以下步骤：对构成视频的各个帧进行分类；针对各个帧确定当从所述视频中删除所述帧时所述视频的体验质量QoE的预测的质量下降；以及当反映所述质量下降的所述视频的体验质量满足用户指定的最低要求质量条件时，将所述帧标记为可删除帧。2.根据权利要求1所述的基于体验质量分析的视频帧管理方法，其中，对帧进行分类的步骤包括：利用所述视频的分辨率、编解码器、图片组的大小、帧率、所述帧的帧类型和帧位置中的一个以上，来对所述帧进行分类。3.根据权利要求1所述的基于体验质量分析的视频帧管理方法，其中，确定所述视频的体验质量QoE的质量下降的步骤包括：通过将所述帧的分类结果应用到预先经过学习的学习模型中来确定影响度。4.根据权利要求3所述的基于体验质量分析的视频帧管理方法，其中，通过将所述帧的分类结果应用到预先经过学习的学习模型中来确定影响度的步骤包括：利用通过所述学习模型生成的决策树，从所述决策树中确定所述帧所对应的节点；以及利用分配到所述节点中的体验质量，确定当删除所述帧时所述视频的体验质量的预测的质量下降。5.根据权利要求1所述的基于体验质量分析的视频帧管理方法，其中，进一步包括：从所述视频中删除构成所述视频的多个帧中的被标记为可删除帧的帧；以及通过网络将删除被标记的帧之后的视频提供给接收终端。6.根据权利要求1所述的基于体验质量分析的视频帧管理方法，其中，进一步包括：通过网络将所述视频提供给接收终端；针对在网络传送过程中丢失的帧，从所述接收终端接收重传请求；以及仅在所述丢失的帧未被标记为可删除帧的情况下，作为对所述重传请求的响应，通过...

【专利技术属性】
技术研发人员：白日禹，李圭相，成耆芸，牟炯注，
申请(专利权)人：三星SDS株式会社，
类型：发明
国别省市：韩国,KR