VR音视频整体用户体验质量评估方法技术

本发明专利技术公开的VR音视频整体用户体验质量评估方法，特别涉及虚拟现实环境中的音视频整体用户体验质量评估方法，属于多媒体技术领域。本发明专利技术实现方法为：将待测VR音视频和参考VR音视频通过第一层中的视频质量、音频质量、音视频时间相互作用和空间相互作用模型，分别计算出待测VR音视频的视频质量参数、音频质量参数、音视频时间参数和音视频空间参数；将所述四个参数输入第二层中的整体质量融合模型，最终输出待测VR音视频的整体质量分数；所述的空间相互作用模型是由基于用户主观感受而设计的函数关系实现的。本发明专利技术能够反映音视频空间相互作用对VR音视频整体用户体验质量的影响，使评估效果更符合用户的主观感受。

【技术实现步骤摘要】
VR音视频整体用户体验质量评估方法
本专利技术涉及一种音视频整体用户体验质量评估方法，特别涉及虚拟现实环境中的音视频整体用户体验质量评估，属于多媒体

技术介绍
虚拟现实(VirtualReality，简称VR)技术给人们带来了全新的音视频体验，其中全景视频和空间音频是沉浸式体验的不可或缺的组成部分。凭借其良好的用户体验与人机交互性，虚拟现实技术被广泛应用于娱乐、教育、医疗以及工业等诸多领域，在一定程度上改变了原有的生产设计方式。在虚拟现实环境中影响用户体验的不仅仅是全景视频，还有空间音频以及音视频的混合效果，这意味着VR环境下用户体验评估模型与传统视频质量评估有着显著的不同。与此同时，用户对于VR音视频体验的要求也日益增长，如何为用户提供良好的音视频体验已成为近年来相关领域的研究热点。VR视频指的是对于一个固定的观察点提供水平观测方位角360度，垂直观测方位角180度保证用户自由观看的全景视频。当观看者使用VR头戴式显示器时，计算机或其他设备根据头部的运动信息进行计算并将数据传输回显示器，使用户可以看到全景视频的来自各个方位的图像，带给用户沉浸感。对于VR体验来说，音频的空间感也极其重要。当观看者戴上耳机后，空间音效能保证在虚拟世界中的声音有迹可循，意味着视觉中前方发出的声音会从前方传来，后方发出的声音会从后方传来。在VR环境下，全景视频和空间音频间的相互作用同样会对用户体验质量造成影响，分为两个方面：时间和空间。音视频时间同步指音频和视频同时开始并且同时结束。音视频时间同步能使音频与视频内容建立联系，相得益彰。音视频空间一致指空间音频(听觉)中音源位置与全景视频(视觉)中音源位置相同。音视频空间一致能营造一种身临其境的气氛，增强真实感与沉浸感。现有的音视频整体质量评估方法大多针对传统音视频，并未结合VR环境中的全景视频与空间音频特点以及音视频相互作用的影响。我国授权公开号为CN103379358B的专利“评估多媒体质量的方法和装置”公开了一种评估多媒体质量的方法和装置，但并未考虑到音视频空间相互作用，并不适用于VR环境下的音视频整体用户体验质量评估。
技术实现思路
本专利技术公开的VR音视频整体用户体验质量评估方法要解决的技术问题是：提供一种VR音视频整体用户体验质量评估模型实现对VR环境下的音视频整体用户体验质量进行评估，评估效果结合音视频空间相互作用，使评估效果符合用户的主观感受。所述模型输入为一段损伤VR音视频和一段同样内容的无损VR音视频，输出为损伤VR音视频的整体质量分数。其中，损伤VR音视频也称为待测VR音视频；无损VR音视频也称为参考VR音视频。该模型共分为两层，第一层中含四个子模型：视频质量、音频质量、音视频时间相互作用和音视频空间相互作用模型，第二层为整体质量融合模型。本专利技术目的是通过下述技术方案实现。本专利技术公开的VR音视频整体用户体验质量评估方法，首先将待测VR音视频和参考VR音视频通过第一层中的视频质量、音频质量、音视频时间相互作用和空间相互作用模型，分别计算出待测VR音视频的视频质量参数、音频质量参数、音视频时间参数和音视频空间参数。然后将所述四个参数输入第二层中的整体质量融合模型，最终输出待测VR音视频的整体质量分数。所述的视频质量、音频质量计算采用视频、音频质量客观评估算法实现。所述的音视频时间相互作用计算采用函数关系f实现。所述的空间相互作用模型采用函数关系g实现。所述的空间相互作用模型是由基于用户主观感受而设计的函数关系g实现的，进而能够反映音视频空间相互作用对VR音视频整体用户体验质量的影响，使评估效果更符合用户的主观感受。本专利技术公开的VR音视频整体用户体验质量评估方法，包括如下步骤：步骤一：将待测VR音视频和参考VR音视频输入到第一层中的视频质量模型中，计算得到待测VR音视频的视频质量分数Qv。所述的视频质量模型用于计算得到待测VR音视频的视频质量分数Qv，采用全参考视频质量客观评估算法，全参考视频质量客观评估算法包括传统视频质量评估算法或者为全景视频质量评估算法。传统视频质量评估算法包括峰值信噪比PSNR、结构相似性SSIM、视频质量度量VQM。作为优选，采用峰值信噪比PSNR算法，计算方法如公式(1)、(2)所示。M为视频帧的长度，N为视频帧的宽度。X代表无损参考视频帧，Y代表对应失真待测视频帧。bits为采样值的比特数。MSE为均方误差。最终得到的PSNR值即为待测VR音视频的视频质量分数Qv。步骤二：将待测VR音视频和参考VR音视频输入到第一层中的音频质量模型中，计算得到待测VR音视频的音频质量分数Qa。所述的音频质量模型用于计算得到待测VR音视频的音频质量分数Qa，采用全参考音频质量客观评估算法，全参考音频质量客观评估算法选用传统音频质量评估算法或者为空间音频质量评估算法。传统音频质量评估算法包括感知音频质量评估PEAQ。步骤三：将待测VR音视频输入到第一层中的音视频时间相互作用模型中，计算得到待测VR音视频的时间相互作用分数Qt。步骤3.1：提取待测VR音视频的音频时间信息和视频时间信息，计算得到音视频时间差Δt。Δt为正，代表音频超前视频；Δt为负，代表音频滞后视频。步骤3.2：根据公式(3)计算得到待测VR音视频的时间相互作用分数Qt：Qt＝f(Δt)(3)其中函数关系f为线性、非线性或者为线性与非线性的组合。|Δt|值越大，音视频时间差Δt越大，时间相互作用分数Qt越小，用户体验质量越差。函数关系f是基于用户主观感受而设计的。作为优选，函数关系f采用指数函数的形式，如公式(4)所示：参数a，b均为正常数，参数b取值范围为(0,1)。参数a，b的具体数值由经验设计或主观实验数据训练得到。|Δt|值越大，音视频时间差|Δt|越大，时间相互作用分数Qt越小，用户体验质量越差，反映出函数关系f能较好地符合用户的主观感受。步骤四：将待测VR音视频输入到第一层中的音视频空间相互作用模型中，计算得到待测VR音视频的音视频空间相互作用分数Qs。步骤4.1：提取音频中的音源数目及位置信息。音源总数目用正整数n表示，音源位置用三维直角坐标(x,y,z)来表示。音频中的音源位置信息集合表示为{La1(x,y,z),La2(x,y,z)…Lan(x,y,z)}。步骤4.2：提取视频中的音源位置信息。视频中音源位置信息集合表示为{Lv1(x,y,z),Lv2(x,y,z)…Lvn(x,y,z)}。视频中音源与音频中的对应音源位置信息中左下脚标序号相同。步骤4.3：根据两点间距离公式计算音频中音源与视频中音源的距离{d1,d2,…dn}。根据公式(5)、(6)计算得到待测VR音视频的空间相互作用分数Qs。Qs＝g(d)(6)其中函数关系g为线性、非线性或线性与非线性的组合。音频与视频中音源距离平均值d越大，听觉认知与视觉认知差距越大，空间相互作用分数Qs值越小，用户体验质量越差。函数关系g是基于用户主观感受而设计的。作为优选，函数关系g采用指数函数的形式，如公式(7)所示：Qs＝c1*c2d(7)参数c1,c2均为正常数，参数c2取值范围为(0,1)。参数c1,c2的具体数值由经验设计或主观实验数据训练得到。d值越大,音视频间音源的距离差越大，空间相互作用分数Q本文档来自技高网...

【技术保护点】
1.VR音视频整体用户体验质量评估方法，其特征在于：包括如下步骤，步骤一：将待测VR音视频和参考VR音视频输入到第一层中的视频质量模型中，计算得到待测VR音视频的视频质量分数Qv；步骤二：将待测VR音视频和参考VR音视频输入到第一层中的音频质量模型中，计算得到待测VR音视频的音频质量分数Qa；步骤三：将待测VR音视频输入到第一层中的音视频时间相互作用模型中，计算得到待测VR音视频的时间相互作用分数Qt；步骤四：将待测VR音视频输入到第一层中的音视频空间相互作用模型中，计算得到待测VR音视频的空间相互作用分数Qs；上述步骤一，二，三和四能够交换顺序，序号不是时间上的先后顺序，只是步骤的标记；步骤五：将上述四个步骤得出的视频质量分数Qv，音频质量分数Qa，音视频时间相互作用分数Qt和音视频空间相互作用分数Qs输入第二层中的整体质量融合模型，最终输出待测VR音视频的整体质量分数Q；至此，通过步骤一到步骤五，即完成VR音视频整体用户体验质量的评估，评估效果结合音、视频空间相互作用，使评估效果更符合用户的主观感受。

【技术特征摘要】
1.VR音视频整体用户体验质量评估方法，其特征在于：包括如下步骤，步骤一：将待测VR音视频和参考VR音视频输入到第一层中的视频质量模型中，计算得到待测VR音视频的视频质量分数Qv；步骤二：将待测VR音视频和参考VR音视频输入到第一层中的音频质量模型中，计算得到待测VR音视频的音频质量分数Qa；步骤三：将待测VR音视频输入到第一层中的音视频时间相互作用模型中，计算得到待测VR音视频的时间相互作用分数Qt；步骤四：将待测VR音视频输入到第一层中的音视频空间相互作用模型中，计算得到待测VR音视频的空间相互作用分数Qs；上述步骤一，二，三和四能够交换顺序，序号不是时间上的先后顺序，只是步骤的标记；步骤五：将上述四个步骤得出的视频质量分数Qv，音频质量分数Qa，音视频时间相互作用分数Qt和音视频空间相互作用分数Qs输入第二层中的整体质量融合模型，最终输出待测VR音视频的整体质量分数Q；至此，通过步骤一到步骤五，即完成VR音视频整体用户体验质量的评估，评估效果结合音、视频空间相互作用，使评估效果更符合用户的主观感受。2.如权利要求1所述的VR音视频整体用户体验质量评估方法，其特征在于：步骤一具体实现方法为，所述的视频质量模型用于计算得到待测VR音视频的视频质量分数Qv，采用全参考视频质量客观评估算法，全参考视频质量客观评估算法选用传统视频质量评估算法或者为全景视频质量评估算法；传统视频质量评估算法包括峰值信噪比PSNR、结构相似性SSIM、视频质量度量VQM。3.如权利要求1或2所述的VR音视频整体用户体验质量评估方法，其特征在于：步骤三具体实现方法为，步骤3.1：提取待测VR音视频的音频时间信息和视频时间信息，计算得到音视频时间差Δt；Δt为正，代表音频超前视频；Δt为负，代表音频滞后视频；步骤3.2：根据公式(3)计算得到待测VR音视频的时间相互作用分数Qt：Qt＝f(Δt)(3)其中函数关系f为线性、非线性或者为线性与非线性的组合；|Δt|值越大，音视频时间差|Δt|越大，时间相互作用分数Qt越小，用户体验质量越差；函数关系f是基于用户主观感受而设计的。4.如权利要求3所述的VR音视频整体用户体验质量评估方法，其特征在于：步骤四具体实现方法为，步骤4.1：提取音频中的音源数目及位置信息；音源总数目用正整数n表示，音源位置用三维直角坐标(x,y,z)来表示；音频中的音源位置信息集合表示为{La1(x,y,z),La2(x,y,z)…Lan(x,y,z)}；步骤4.2：提取视频中的音源位置信息；视频中音源位置信息集合表示为{Lv1(x,y,z),Lv2(x,y,z)…Lvn(x,y,z)}；视频中音源与音频中的对应音源位置信息中左下脚标序号相同；步骤4.3：根据两点间距离公式计算音频中音源与视频中音源的...

【专利技术属性】
技术研发人员：王晶，罗逸雨，张博，闫昭宇，杨舒，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11