综合同步误差和缓冲时间与主观质量的关系模型建立方法技术

本发明专利技术涉及一种综合同步误差和缓冲时间与主观质量的关系模型建立方法。模拟了音频和视频同步、音频和字幕同步以及视频缓冲时间，构建主观感知意见分和同步误差以及缓冲时间的数学模型；首次综合了音频和视频同步误差、音频和字幕同步误差以及视频缓冲时间到一个视频当中；根据构建的模型传输不同内容的视频，达到了提高用户体验的目的；主观评价，采用的是ITU‑T P.910中定义的绝对等级评分法ACR‑SS，测试环境严格按照标准中给出的进行布置，组织了多名观测者进行主观评价，并对评价结果进行处理，得到平均主观意见分。对评价的结果进行验证，保证了实验结果的准确性。

【技术实现步骤摘要】
综合同步误差和缓冲时间与主观质量的关系模型建立方法
本专利技术属于视频质量评估领域，涉及一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，通过模拟音频和视频同步误差、音频和字幕同步误差和带宽受限的情况下视频缓冲时间，分别探究不同场景下这三个因素与视频主观质量评价之间的关系，以及三个因素对视频主观质量评价的综合影响；通过数据分析及数学建模，可分别获取音视频同步误差、音频和字幕同步误差、缓冲时间以及综合这三个因素和视频的主观质量的影响关系；从而能够更好的衡量视频传输中的用户体验，借以对视频传输技术和策略提出指导。
技术介绍
在多媒体通信蓬勃发展的时代，沟通交流变得更加的轻松便利，然而多媒体的质量却参差不齐，在信道不稳定时常常无法提供满意的质量。对多媒体质量进行标准的评价能够规范多媒体服务水平，促进多媒体行业的健康发展。新的音视频服务的出现，引入了更新的服务平台和更为复杂的系统架构，其涵盖的种种要素都可能影响到用户感受到的体验质量。以往的许多研究分别从用户层面和服务层面研究了各个因素对视频主观感知的影响，对于音视频同步和缓冲时间的研究多是定性研究，缺乏关于结合同步误差和缓冲的定量模型。本专利技术定量研究音视频同步误差，字幕和音频同步误差，以及视频缓冲时间对主观质量评价的影响，并且分析了这三个因素在视频的内容不同时对于用户的主观感受，以及综合这三个因素对用户的主观感受。不仅可以对视频终端产商提供指导依据，还可以服务于不同的视频领域。
技术实现思路
本专利技术的目的在于提供一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，模拟了音频和视频同步、音频和字幕同步以及视频缓冲时间，构建主观感知意见分和同步误差以及缓冲时间的数学模型；首次综合了音频和视频同步误差、音频和字幕同步误差以及视频缓冲时间到一个视频当中；根据构建的模型传输不同内容的视频，达到了提高用户体验的目的；主观评价，采用的是ITU-TP.910中定义的绝对等级评分法ACR-SS，测试环境严格按照标准中给出的进行布置，组织了多名观测者进行主观评价，并对评价结果进行处理，得到平均主观意见分；对评价的结果进行验证，保证了实验结果的准确性。为实现上述目的，本专利技术的技术方案是：一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，包括如下步骤：步骤S1、视频的预处理，包括：音频和视频时间移位处理，音频和字幕时间移位处理，视频添加缓冲处理以及对视频同时添加音频和视频同步误差、音频和字幕同步误差、缓冲时间；步骤S2、视频质量主观评价处理，采用ITU-TP.911建议的9个等级绝对等级评分对每个视频场景进行评分，计算出每个视频场景中每个同步误差以及缓冲时间对应的平均主观意见分，完成视频质量主观评价，得到主观评价结果；步骤S3、通过对主观评价的数据结果的分析获得同步误差以及缓冲时间与主观质量之间的数学关系模型：式(1)，(2)，(3)分别对应音频和视频同步误差、音频和字幕同步误差、缓冲时间和主观质量之间的关系模型；其中x1为音频和视频的同步误差时间，x2是音频和字幕同步误差时间，x3是缓冲时间；y1,y2,y3分别是这三个因素的平均主观意见分处理后的值，a1,a2,a3是控制曲线走势的参数，b1,b2,b3是控制函数形状的参数；步骤S4、综合音频和视频同步误差、音频和字幕同步误差、缓冲时间这三个因素的评价处理，基于步骤S1-S3，构建同时出现音频和视频同步误差、音频和字幕同步误差、缓冲时间这三个因素对人的主观质量的关系模型：在本专利技术一实施例中，所述步骤S1中，所述音频和视频时间移位处理，是模拟音频和视频的同步误差，选取不同场景的视频，音频相对于各视频进行不同时间的移位；所述音频和字幕时间移位处理，是模拟音频和字幕的同步误差，选取电影片段，音频相对于字幕进行不同时间的移位；所述视频增加缓冲处理，对选取的不同场景的视频分别插入不同时间的缓冲；所述对视频同时添加音频和视频的同步误差、音频和字幕的同步误差、缓冲时间，即选取有字幕的视频，在视频中同时加入音频和视频的同步误差、音频和字幕的同步误差、缓冲时间进行处理。在本专利技术一实施例中，所述步骤S3，通过对主观评价的数据结果的分析获得同步误差以及缓冲时间与主观质量之间的数学关系模型的具体实现方式为：步骤a1、对主观意见分进行预处理得到y，处理的方式为其中MOSi,j表示在i场景下，同步误差时间或缓冲时间为j的平均主观意见分；MOSimax表示i场景视频的平均主观意见分的最大值；步骤a2、观察同步误差时间和缓冲时间与主观质量的数据经过处理后的数学关系，对其进行建模，运用相关系数和均方误差来确定最终函数模型。在本专利技术一实施例中，所述步骤S4，构建同时出现音频和视频同步误差、音频和字幕同步误差、缓冲时间这三个因素对人的主观质量的关系模型的具体实现方式为：步骤b1、将若干组视频中的移位时间和缓冲时间代入到式(1)，(2)，(3)，得到y1，y2，y3；步骤b2、基于步骤b1，对主观意见分进行处理，分析处理数据，创建两个模型，根据留出法，进行三次留出法的相关系数的比较选出最佳模型：F＝A*y1+B*y2+C*y3+D其中，F是平均主观意见分经过步骤a1的预处理之后得到的值；A，B，C，D是三次留出法中训练集预测系数的平均值，且A＝0.3393，B＝0.5694，C＝0.2948，D＝0.1283。相较于现有技术，本专利技术具有以下有益效果：(1)对于不同场景的视频进行音频和视频时间移位，音频和字幕时间移位，添加缓冲时间，分别研究它们和主观感知的关系，并且创建数学模型。有利于在移动终端出现不同的同步误差以及缓冲的时候，根据构建的模型，传输适合观看者的主观判断的视频；(2)研究在一个视频中同时出现音频和视频同步误差，音频和字幕同步误差，缓冲时间对主观感知的影响，并且创建数学模型；能够为解决视频中同时出现多个问题时提供参考。附图说明图1是本专利技术主观实验流程图。图2是本专利技术评价数据处理系统图。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术的一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，包括如下步骤：步骤S1、视频的预处理，包括：音频和视频时间移位处理，音频和字幕时间移位处理，视频添加缓冲处理以及对视频同时添加音频和视频同步误差、音频和字幕同步误差、缓冲时间；所述音频和视频时间移位处理，是模拟音频和视频的同步误差，选取不同场景的视频，音频相对于各视频进行不同时间的移位；所述音频和字幕时间移位处理，是模拟音频和字幕的同步误差，选取电影片段，音频相对于字幕进行不同时间的移位；所述视频增加缓冲处理，对选取的不同场景的视频分别插入不同时间的缓冲；所述对视频同时添加音频和视频的同步误差、音频和字幕的同步误差、缓冲时间，即选取有字幕的视频，在视频中同时加入音频和视频的同步误差、音频和字幕的同步误差、缓冲时间进行处理；步骤S2、视频质量主观评价处理，采用ITU-TP.911建议的9个等级绝对等级评分对每个视频场景进行评分，计算出每个视频场景中每个同步误差以及缓冲时间对应的平均主观意见分，完成视频质量主观评价，得到主观评价结果；步骤S3、通过对主观评价的数据结果的分析获得同步误差以及缓冲时间与主观质量之间的数学关系模型：式(1)，(2本文档来自技高网...

【技术保护点】
1.一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，其特征在于，包括如下步骤：步骤S1、视频的预处理，包括：音频和视频时间移位处理，音频和字幕时间移位处理，视频添加缓冲处理以及对视频同时添加音频和视频同步误差、音频和字幕同步误差、缓冲时间；步骤S2、视频质量主观评价处理，采用ITU‑T P.911建议的9个等级绝对等级评分对每个视频场景进行评分，计算出每个视频场景中每个同步误差以及缓冲时间对应的平均主观意见分，完成视频质量主观评价，得到主观评价结果；步骤S3、通过对主观评价的数据结果的分析获得同步误差以及缓冲时间与主观质量之间的数学关系模型：

【技术特征摘要】
1.一种综合同步误差和缓冲时间与主观质量的关系模型建立方法，其特征在于，包括如下步骤：步骤S1、视频的预处理，包括：音频和视频时间移位处理，音频和字幕时间移位处理，视频添加缓冲处理以及对视频同时添加音频和视频同步误差、音频和字幕同步误差、缓冲时间；步骤S2、视频质量主观评价处理，采用ITU-TP.911建议的9个等级绝对等级评分对每个视频场景进行评分，计算出每个视频场景中每个同步误差以及缓冲时间对应的平均主观意见分，完成视频质量主观评价，得到主观评价结果；步骤S3、通过对主观评价的数据结果的分析获得同步误差以及缓冲时间与主观质量之间的数学关系模型：式(1)，(2)，(3)分别对应音频和视频同步误差、音频和字幕同步误差、缓冲时间和主观质量之间的关系模型；其中x1为音频和视频的同步误差时间，x2是音频和字幕同步误差时间，x3是缓冲时间；y1,y2,y3分别是这三个因素的平均主观意见分处理后的值，a1,a2,a3是控制曲线走势的参数，b1,b2,b3是控制函数形状的参数；步骤S4、综合音频和视频同步误差、音频和字幕同步误差、缓冲时间这三个因素的评价处理，基于步骤S1-S3，构建同时出现音频和视频同步误差、音频和字幕同步误差、缓冲时间这三个因素对人的主观质量的关系模型：2.根据权利要求1所述的综合同步误差和缓冲时间与主观质量的关系模型建立方法，其特征在于，所述步骤S1中，所述音频和视频时间移位处理，是模拟音频和视频的同步误差，选取不同场景的视频，音频相对于各视频进行不同时间的移位；所述音频和字幕时间移位处理，是模拟音频和字幕的同步误差，选取电影片段，音频相对于字幕进行不同时间的移位；所述视频...

【专利技术属性】
技术研发人员：房颖，李霞，徐艺文，赵铁松，王明海，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35