融合用户行为和表情数据的用户体验质量预测方法技术

本发明专利技术公开了一种融合用户行为和表情数据的用户体验质量预测方法，属于无线网络视频体验质量研究技术领域，包括以下步骤：S10、基于CNN和GRU构建QOE预测模型；S20、使用样本数据对QOE预测模型进行训练，得到用户体验质量QOE预测数据；样本数据分为一维数值型数据和用户面部表情数据两类；S30、将用户体验数据输入训练完成的QOE预测模型，得到用户体验质量QOE预测数据。本发明专利技术针对已有无线网络视频体验质量QoE进行预测，明确了更全面的视频体验质量的影响参数和视频体验质量指标，其中影响参数分为视频信息、QoS数据、用户行为和用户面部表情四类，较为全面地影响和反映用户体验质量，实现输出QoE评分、用户参与度、拖动进度条次数和暂停次数，体现用户的QoE。

【技术实现步骤摘要】
融合用户行为和表情数据的用户体验质量预测方法
本专利技术属于无线网络视频体验质量研究
，具体涉及一种融合用户行为和表情多媒体数据的用户体验质量预测方法。
技术介绍
随着无线网络通信技术的快速发展，移动端在线视频服务已经成为了移动互联网的主流应用，并占据大部分的无线通信流量。与此同时，用户对无线网络下在线视频业务的体验需求逐步发生改变，单一的主观评分以及传统的视频体验质量(QualityofExperienceQoE)建模方案难以充分反映用户的实际体验质量。因此，急需一种能够融合主观指标和客观指标的用户体验质量预测方法。
技术实现思路
本专利技术目的在于提供一种能够融合主观指标和客观指标的用户体验质量预测方法。本专利技术的内容如下：融合用户行为和表情多媒体数据的用户体验质量预测方法，包括以下步骤：S10、基于CNN和GRU构建QOE预测模型；S20、对样本数据进行预处理，将预处理后的数据输入所述QOE预测模型进行训练，得到用户体验质量QOE预测数据；所述样本数据包括一维数值型数据和用户面部表情数据；所述一维数值型数据包括视频总时长、帧宽度、帧高度、帧率、视频类型、视频播放进度、拖动进度条次数、拖动进度条总时长、暂定次数、暂定总时长、缓冲次数、缓冲总时长、和当前观看时长；所述用户面部表情数据为图片数据，以三维数组的形式作为所述QOE预测模型输入；所述QOE预测数据包括QoE评分、用户参与度、拖动进度条次数和暂停次数四个指标；S30、将用户体验数据输入训练完成的QOE预测模型，得到用户体验质量QOE预测数据；所述用户体验数据与所述样本数据包括范围一致。进一步地，所述QOE预测模型架构如图1所示。进一步地，对所述一维数值型数据进行预处理步骤如下：所述一维数值型数据中的视频分类初始为文本数据；对所有视频分类进行分类编码，分类编码步骤如下：S21、定义所有视频分类的列表为video_type_list，根据QoE采集系统服务器端存储的视频分类，则有video_type_list＝{新知，社会，世界，体育，生活，科技，娱乐，财富，汽车，美食，音乐，拍客}；其中，每个视频的分类对应于该列表的索引，并完成对所有数据得数值化转换；根据所述分类编码定义输入QoE预测模型的所述一维数值型数据,对所述一维数值型数据进行归一化处理，具体步骤如下：S22、定义所述一维数值型数据为Xtrain，则有Xtrain＝{Tvideo，Xframe_watch，Xframe_hight，Xframe_fps，Xvideo_type，Tplayed，Xbuffer，Tbuffer，Xdrag，Tdrag，Xpause，Tpause，Tcurrent_watch}；其中，Tvideo，Xframe_watch，Xframe_hight，Xframe_fps，Xvideo_type，Tplayed，Xbuffer，Tbuffer，Xdrag，Tdrag，Xpause，Tpause，Tcurrent_watch分别所述样本数据中视频总时长、帧宽度、帧高度、帧率、视频类型、视频播放进度、缓冲次数、缓冲总时长、拖动进度条次数、拖动进度条时长、暂停次数、暂定时长和当前观看时长组成的集合向量；所述Xtrain为一个拥有13个向量的矩阵，所述Xtrain对中每个元素取最大值，定义为Xtrain_max，对所述Xtrain每个元素取最小值，定义为Xtrain_min；则归一化的公式为：式中，Xout表示归一化之后的输出数据，X表示样本数据中的一维数值型数据，等式右侧分子部分表示X与Xtrain_min的差值，分母部分表示Xtrain_max与Xtrain_max的差值。进一步地，对所述用户面部表情数据进行预处理步骤如下：所述用户面部表情数据以图片形式存储，采用python的cv2模块将每张图片转换为三维数组，设定每条面部表情样本数据的大小，适当缩放用户面部表情图片大小以降低机器训练模型的压力；通过cv2模块的resize方法将所述用户面部表情图片转换的三维数组缩放至指定的维度；在所述用户面部表情图片缩放之后，对其进行局部均值处理，用于去除噪声污染并对图像边缘像素予以保留，使图像的特征之间可以更加平滑过渡；所述局部均值处理的实现过程为其中，设置α为4，β为-4，γ为128，式中表示对缩放后的所述用户面部表情图片进行高斯滤波后得到的图像，ximg_out为经过均布均值后的面部表情图片；在进行以上处理后，对所述用户面部表情图片进行适当的数据增强处理，主要包括左右随机移动等操作方式；对每张面部表情图片，在通过cv2模块加载转换为三维数组后，将所有的像素值除以255。进一步地，步骤S20中所述QOE预测模型对输入的所述用户面部表情数据中图片特征进行提取，提取步骤如下：将所述用户面部表情数据中的每张用户面部表情图片通过CNN对其进行特征抽取，抽取过程如图2所示；其中，每张用户面部表情图片需要经过5个卷积块处理，最后加入Flatten层进行压平；Convblock1到Convblock5中卷积操作的核个数分别为32、64、128、256、512；在第一次卷积操作中，其核大小设置为宽和高均等于7，之后四个卷积操作的核大小设置为宽和高均等于3，步长统一设置为2，并使用ReLU为激活函数；对于最大池化层，均指定核的宽高为2，步长为2；将预处理后的所述用户面部表情图片通过Flatten压平将所述用户面部表情图片特征图的维度转换为一维。进一步地，所述QOE预测模型中输入的所述一维数值型数据和所述用户面部表情三维数据的输入数据通过所述QOE预测模型中各自网络结构分支进行特征提取和特征学习过程，再对两个网络分支进行特征合并，合并之后与全连接层FClayer相连接，并运用多任务学习完成对四个QoE指标的预测；所述全连接层FClayer激活函数为线性激活函数，每个全连接层的输出对应于各自任务的预测结果；所述线性激活函数为其中，函数f2代表了从输入视频信息、QoS数据、用户行为和用户面部表情的样本数据通过多层网络结构到多任务QoE预测的非线性映射过程；xi表示视频信息、QoS数据和用户行为构成的一维样本数据；imgi表示用户面部表情数据；是拖动进度条次数、暂停次数、用户参与度和主观QoE评分组成的集合；包括四个向量，分别为和其中为拖动进度条次数任务的线性预测结果，为暂停次数任务的线性预测结果，为用户参与度任务的线性预测结果，为主观QoE评分任务的线性预测结果。本专利技术有益效果：本专利技术针对已有无线网络视频体验质量QoE进行预测，明确了更全面的视频体验质量的影响参数和视频体验质量指标，其中影响参数分为视频信息、QoS数据、用户行为和用户面部表情四类参数，用户体验质量的指标分为主观指标和客观指标，并作出如下指定：视频信息包括视频种类、视频总时长、帧宽度、帧高度、帧率和视频播放进度；QoS数据包括缓冲次数和缓冲总时长，用户行为主要包括拖动进度条的次本文档来自技高网...

【技术保护点】
1.融合用户行为和表情数据的用户体验质量预测方法，其特征在于，包括以下步骤：/nS10、基于CNN和GRU构建QOE预测模型；/nS20、对样本数据进行预处理，将预处理后的数据输入所述QOE预测模型进行训练，得到用户体验质量QOE预测数据；所述样本数据包括一维数值型数据和用户面部表情数据；所述一维数值型数据包括视频总时长、帧宽度、帧高度、帧率、视频类型、视频播放进度、拖动进度条次数、拖动进度条总时长、暂定次数、暂定总时长、缓冲次数、缓冲总时长、和当前观看时长；所述用户面部表情数据为图片数据，以三维数组的形式作为所述QOE预测模型输入；所述QOE预测数据包括QoE评分、用户参与度、拖动进度条次数和暂停次数四个指标；/nS30、将用户体验数据输入训练完成的QOE预测模型，得到用户体验质量QOE预测数据；所述用户体验数据与所述样本数据包括范围一致。/n

【技术特征摘要】
1.融合用户行为和表情数据的用户体验质量预测方法，其特征在于，包括以下步骤：
S10、基于CNN和GRU构建QOE预测模型；
S20、对样本数据进行预处理，将预处理后的数据输入所述QOE预测模型进行训练，得到用户体验质量QOE预测数据；所述样本数据包括一维数值型数据和用户面部表情数据；所述一维数值型数据包括视频总时长、帧宽度、帧高度、帧率、视频类型、视频播放进度、拖动进度条次数、拖动进度条总时长、暂定次数、暂定总时长、缓冲次数、缓冲总时长、和当前观看时长；所述用户面部表情数据为图片数据，以三维数组的形式作为所述QOE预测模型输入；所述QOE预测数据包括QoE评分、用户参与度、拖动进度条次数和暂停次数四个指标；
S30、将用户体验数据输入训练完成的QOE预测模型，得到用户体验质量QOE预测数据；所述用户体验数据与所述样本数据包括范围一致。


2.根据权利要求1所述的用户体验质量预测方法，其特征在于，所述QOE预测模型架构如图1所示。


3.根据权利要求2所述的用户体验质量预测方法，其特征在于，对所述一维数值型数据进行预处理步骤如下：
所述一维数值型数据中的视频分类初始为文本数据；对所有视频分类进行分类编码，分类编码步骤如下：
S21、定义所有视频分类的列表为video_type_list，根据QoE采集系统服务器端存储的视频分类，则有video_type_list＝{新知，社会，世界，体育，生活，科技，娱乐，财富，汽车，美食，音乐，拍客}；其中，每个视频的分类对应于该列表的索引，并完成对所有数据得数值化转换；根据所述分类编码定义输入QoE预测模型的所述一维数值型数据,对所述一维数值型数据进行归一化处理，具体步骤如下：
S22、定义所述一维数值型数据为Xtrain，则有
Xtrain＝{Tvideo，Xframe_watch，Xframe_hight，Xframe_fps，Xvideo_type，Tplayed，Xbuffer，Tbuffer，Xdrag，Tdrag，Xpause，Tpause，Tcurrent_watch}；
其中，Tvideo，Xframe_watch，Xframe_hight，Xframe_fps，Xvideo_type，Tplayed，Xbuffer，Tbuffer，Xdrag，Tdrag，Xpause，Tpause，Tcurrent_watch分别所述样本数据中视频总时长、帧宽度、帧高度、帧率、视频类型、视频播放进度、缓冲次数、缓冲总时长、拖动进度条次数、拖动进度条时长、暂停次数、暂定时长和当前观看时长组成的集合向量；所述Xtrain为一个拥有13个向量的矩阵，所述Xtrain对中每个元素取最大值，定义为Xtrain_max，对所述Xtrain每个元素取最小值，定义为Xtrain_min；则归一化的公式为：



式中，Xout表示归一化之后的输出数据，X表示样本数据中的一维数值型数据，等式右侧分子部分表示X与Xtrain_min的差值，分母部分表示Xtrain_max与Xtra...

【专利技术属性】
技术研发人员：荣辉桂，火生旭，奚子为，熊云晖，张斌，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43