一种针对VR视频中用户体验质量QoE的建模方法技术

本发明专利技术公开了一种针对VR视频中用户体验质量QoE的建模方法，其步骤包括：首先通过模拟分块后的VR(虚拟现实)视频在无线网络中的传输过程来对VR分块视频进行添加暂停处理，得到经过添加暂停后的VR分块视频。然后将这些处理后的VR分块视频作为实验视频，进行VR分块视频的主观性质量评价实验，接着通过分析实验数据来分别获取用户平均意见分数与纬度、暂停和分辨率切换三种影响因素的关系。最后得到了一个包含以上三种影响因素的VR视频QoE模型。本发明专利技术能够准确地反应用户通过无线网络观看VR视频时的真实质量体验，解决了无法准确地衡量用户QoE的问题。

A modeling method for user experience quality QoE in VR video

The invention discloses a modeling method for user experience quality QoE in VR video, the steps of which include: firstly, adding and suspending VR block video by simulating the transmission process of VR (virtual reality) video in wireless network, and obtaining VR block video after adding and suspending. Then we take these processed VR segmented video as experimental video, and carry out subjective quality evaluation experiment of VR segmented video. Then we analyze the experimental data to obtain the relationship between user average opinion score and latitude, pause and resolution switching. Finally, a VR video QoE model including the above three factors is obtained. The invention can accurately reflect the real quality experience when users watch VR video through wireless network, and solves the problem that users' QoE cannot be accurately measured.

【技术实现步骤摘要】
一种针对VR视频中用户体验质量QoE的建模方法
本专利技术涉及多媒体视频传输领域，具体的说是一种针对虚拟现实VR视频中用户体验质量QoE的建模方法。
技术介绍
北京邮电大学李文璟等人专利技术了一种基于图像特征信息的半参考视频QoE客观评价方法(公开号：CN103841410A)，其步骤包括：运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图，压缩处理显著性信息图和纹理信息图，得到原始视频的半参考数据；用户端接收运营商端传来的原始视频的半参考数据及受损视频，提取受损视频中每一帧图像的显著性信息图及纹理信息图，得到受损视频的半参考数据，根据原始视频及受损视频的半参考数据，计算受损视频的损伤情况，使用预先训练好的神经网络算法对主观感受质量MOS进行评估。但是此种方法属于图像、视频的客观QoE评价方法，此种方法并不能真实地反应用户的主观体验感受，准确度低。浙江工业大学熊丽荣等人专利技术了一种移动流媒体用户体验质量QoE评估方法(公开号：CN106604026A)，该方法首先设计移动流媒体QoE影响因素映射方法，即使用码率状态，码率切换幅度，码率切换次数映射为移动流媒体服务质量评价；考虑用户体验，加入设备抖动情况和用户观看位置的影响因素；然后设计移动流媒体QoE评价方法，即利用QoE影响因素的映射方法计算视频播放全程每个片段的QoE评分；再利用基于HAS(HTTPAdaptiveStreaming)的系列位置效应量化方法反映用户心理效应，计算视频播放全程每个片段的影响权重系数；最后将每个片段的QoE评分与每个片段的权重系数作向量内积求得最终的用户QoE评分。但是此种方法实施流程较为复杂，并不能有效地衡量用户的QoE。北京邮电大学李林燕等人专利技术了一种基于视频内容的视频客观参数到QoE的映射方法(公开号：CN102630038A)。该方法针对无线视频传输系统，旨在提出一种基于视频内容的QoE映射方案。具体的实施方法为：根据视频图像帧包含的每个数据包对图像整体视觉效果的贡献度，经过一定的映射方法得到其对应的MOS分量。同时以此方案得到的MOS分量可作为资源调度的依据，达到视频的无线传输过程高效节能的目的。但是该方法并未考虑到无线网络对于用户QoE的影响，并不能准确地反应用户QoE。南京邮电大学魏昕等人专利技术了一种视频业务中基于多层神经网络的用户体验质量的预测方法(公开号：CN107087161A)，包括数据预处理，即选择视频业务中影响用户体验的特征参数，根据用户的报障/非报障将其映射为用户的QoE。随后建立多层神经网络的QoE预测模型，该神经网络包含五层，从低到高依次为：输入层-第一隐层-第二隐层-第三隐层-输出层。输入预处理后的数据，获得模型的最佳参数值，训练上述建立好的神经网络模型。最后完成用户体验质量QoE预测。但是此种QoE预测方法中所包含的影响因素较少，其QoE预测方法并不准确。华东师范大学贺樑等人专利技术了一种基于视频特征的流视频质量评估方法(公开号：CN101448176)，该方法在一个对MPEG-TS流模拟网络丢包的仿真环境实现，通过人为丢包来模拟网络损伤，同时记录丢包数据，分析受损帧的图像特征，并且人眼观察视频损伤对视觉效果产生的影响，从而建立一种一一对应的关系，在实际应用中，便可以通过采样传输媒体，通过分析网络损伤，获得符合用户主观感受的QoE评估值。但是这种QoE评估方法缺少用户所处环境因素的影响，准确性低。
技术实现思路
本专利技术是为避免上述现有技术所存在的不足之处，提供一种简便易行、准确度高的针对VR视频中用户体验质量QoE的建模方法，以期能得到一种综合考虑无线网络服务质量、环境因素、用户视角的VR视频QoE模型，从而能够准确地反应用户通过无线网络观看VR视频时的真实质量体验，解决了无法准确地衡量用户QoE的问题。本专利技术为解决技术问题采用如下技术方案：本专利技术一种针对VR视频中用户体验质量QoE的建模方法的特点包括以下步骤：步骤一、获取a个VR原始视频，并将每个原始VR视频按照b种分块方案分成b种N×N个视频块构成的VR分块视频，并为每个视频块提供c种分辨率的选择，从而使得所述a个VR原始视频经过b种分块方案得到d个VR分块视频，d＝a×b；根据采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置，使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高，j＝1,2，…,d，i＝1,2，…,e；e表示用户的总数；模拟第j个VR分块视频在无线网络中的传输过程，从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较，模拟到第j个VR分块视频在模拟传输过程中出现的暂停次数和相应的暂停时间，以及第j个VR分块视频分辨率的切换次数和切换幅度；进而模拟到d个VR分块视频在模拟传输过程中出现的暂停次数和相应的暂停时间，以及d个VR分块视频分辨率的切换次数和切换幅度；步骤二、根据所述第j个VR分块视频在模拟传输过程中出现的暂停次数和相应的暂停时间，对所述第j个VR分块视频添加同样的暂停次数和暂停时间，从而得到第j个添加暂停次数和暂停时间后的VR分块视频；进而得到d个添加暂停次数和暂停时间后的VR分块视频；步骤三、任意第i个用户对所述d个添加暂停次数和暂停时间后的VR分块视频进行用户体验质量QoE的评价，得到第i个用户的d个评分，从而得到所有e个用户的d个评分；其中所述第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分记为Qij；根据第i个用户观看第j个添加暂停次数和暂停时间后的VR分块视频的视角信息，得到第i个用户的视角内的视频块r在第j个添加暂停次数和暂停时间后的VR分块视频中的频率令Ijr来表示观看第j个添加暂停次数和暂停时间后的VR分块视频中视频块r的人数集合，当频率时，将第i个用户加入人数集合Ijr；其中f0为阈值，令人数集合Ijr的大小为NIjr；由所述第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分Qij、第i个用户观看第j个添加暂停次数和暂停时间后的VR分块视频时的视频块r在第j个添加暂停次数和暂停时间后的VR分块视频中的频率观看第j个添加暂停次数和暂停时间后的VR分块视频的视频块r的人数集合Ijr、第j个添加暂停次数和暂停时间后的VR分块视频的暂停次数和暂停时间、第j个VR分块视频分辨率的切换次数和切换幅度构成第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的实验数据，从而得到第i个用户对d个添加暂停次数和暂停时间后的VR分块视频的实验数据，进而得到e个用户对d个添加暂停次数和暂停时间后的VR分块视频的实验数据；步骤四、将所有e个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分进行均值处理，得到第j个添加暂停次数和暂停时间后的VR分块视频的整体-平均意见分数O-MOSj；从而得到d个添加暂停次数和暂停时间后的VR分块视频的整体-平均意见分数O-MOS；将所有观看第j个添加暂停次数和暂停时间后的VR分块视频的视频块r的人数集合Ijr的评分进行均值处理，得到第j个添加暂停次数和暂停时间后的VR分块视频的视频块r的区域-平均意见分数V-MOSjr；从而得到d个添加暂停次数和暂停时间后的VR分块视频的视频块r的区域-平均意见分数V-MOSr本文档来自技高网...

【技术保护点】
1.一种针对VR视频中用户体验质量QoE的建模方法，其特征包括以下步骤：步骤一、获取a个VR原始视频，并将每个原始VR视频按照b种分块方案分成b种N×N个视频块构成的VR分块视频，并为每个视频块提供c种分辨率的选择，从而使得所述a个VR原始视频经过b种分块方案得到d个VR分块视频，d＝a×b；根据采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置，使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高，j＝1,2，…,d，i＝1,2，…,e；e表示用户的总数；模拟第j个VR分块视频在无线网络中的传输过程，从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较，模拟到第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间，以及第j个VR分块视频分辨率的切换次数和切换幅度；进而模拟到d个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间，以及d个VR分块视频分辨率的切换次数和切换幅度；步骤二、根据所述第j个VR分块视频在模拟传输过程中出现的暂停次数和相应的暂停时间，对所述第j个VR分块视频添加同样的暂停次数和暂停时间，从而得到第j个添加暂停次数和暂停时间后的VR分块视频；进而得到d个添加暂停次数和暂停时间后的VR分块视频；步骤三、任意第i个用户对所述d个添加暂停次数和暂停时间后的VR分块视频进行用户体验质量QoE的评价，得到第i个用户的d个评分，从而得到所有e个用户的d个评分；其中所述第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分记为Qij；根据第i个用户观看第j个添加暂停次数和暂停时间后的VR分块视频的视角信息，得到第i个用户的视角内的视频块r在第j个添加暂停次数和暂停时间后的VR分块视频中的频率...

【技术特征摘要】
1.一种针对VR视频中用户体验质量QoE的建模方法，其特征包括以下步骤：步骤一、获取a个VR原始视频，并将每个原始VR视频按照b种分块方案分成b种N×N个视频块构成的VR分块视频，并为每个视频块提供c种分辨率的选择，从而使得所述a个VR原始视频经过b种分块方案得到d个VR分块视频，d＝a×b；根据采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置，使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高，j＝1,2，…,d，i＝1,2，…,e；e表示用户的总数；模拟第j个VR分块视频在无线网络中的传输过程，从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较，模拟到第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间，以及第j个VR分块视频分辨率的切换次数和切换幅度；进而模拟到d个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间，以及d个VR分块视频分辨率的切换次数和切换幅度；步骤二、根据所述第j个VR分块视频在模拟传输过程中出现的暂停次数和相应的暂停时间，对所述第j个VR分块视频添加同样的暂停次数和暂停时间，从而得到第j个添加暂停次数和暂停时间后的VR分块视频；进而得到d个添加暂停次数和暂停时间后的VR分块视频；步骤三、任意第i个用户对所述d个添加暂停次数和暂停时间后的VR分块视频进行用户体验质量QoE的评价，得到第i个用户的d个评分，从而得到所有e个用户的d个评分；其中所述第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分记为Qij；根据第i个用户观看第j个添加暂停次数和暂停时间后的VR分块视频的视角信息，得到第i个用户的视角内的视频块r在第j个添加暂停次数和暂停时间后的VR分块视频中的频率令Ijr来表示观看第j个添加暂停次数和暂停时间后的VR分块视频中视频块r的人数集合，当频率时，将第i个用户加入人数集合Ijr；其中f0为阈值，令人数集合Ijr的大小为NIjr；由所述第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分Qij、第i个用户观看第j个添加暂停次数和暂停时间后的VR分块视频时的视频块r在第j个添加暂停次数和暂停时间后的VR分块视频中的频率观看第j个添加暂停次数和暂停时间后的VR分块视频的视频块r的人数集合Ijr、第j个添加暂停次数和暂停时间后的VR分块视频的暂停次数和暂停时间、第j个VR分块视频分辨率的切换次数和切换幅度构成第i个用户对第j个添加暂停次数和暂停时间后的VR分块视频的实验数据，从而得到第i个用户对d个添加暂停次数和暂停时间后的VR分块视频的实验数据，进而得到e个用户对d个添加暂停次数和暂停时间后的VR分块视频的实验数据；步骤四、将所有e个用户对第j个添加暂停次数和暂停时间后的VR分块视频的评分进行均值处理，得到第j个添加暂停次数和暂停时间后的VR分块视频的整体-平均意见分数O-MOSj；从而得到d个添加暂停次数和暂停时间后的VR分块视频的整体-平均意见分数O-MOS；将...

【专利技术属性】
技术研发人员：黎洁，冯燃生，刘志，李奇越，孙伟，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34