本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置，首先通过语义通信解码端解码进行视频重建，生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征，并确定其对应的基准QoE评分。同时，对重建视频流媒体中各个重建视频帧进行前景语义分析，得到对应的前景语义一致性表征，并比较相邻两个视频帧的前景语义一致性表征，得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量，得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑，根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估，使得结果更加真实、有效。有效。有效。
【技术实现步骤摘要】
一种基于语义通信的视频流媒体的QoE评估方法及装置
[0001]本申请涉及移动通信领域，特别是涉及一种基于语义通信的视频流媒体的QoE评估方法及装置。
技术介绍
[0002]语义通信是一种可将用户的需求和信息含义融入通信过程中的全新架构，该架构有望成为未来万物智联网络的新型基础范式。传统通信框架内，通常用计算复杂度换压缩率的编码优化路径，码率下降幅度渐缓，呈现瓶颈趋势；同时，通信信道容量已趋近极限，难以满足快速增长的海量视频数据在传输、存储、分析等方面的需求。而语义通信突破现有理论框架，借鉴人脑超高图像视频压缩性能机理，将人脑视觉感知、认知机理融入通信过程，实现高效语义表征和极低码率下视频的清晰度和流畅度。具体来说，语义通信系统对视频帧进行语义编码，得到视频的语义表征（例如关键点、素描图、轮廓图、颜色信息等）并发送，接收端接收并利用这些语义表征重建视频帧。
[0003]QoE（Quality of Experience，体验质量）是一种用户体验或者用户感知，即终端用户对移动网络提供的业务性能的主观感受，用户感觉到的“质量”或“性能”或“舒适度”。QoE可以通过接近量化的方法来表示终端用户对业务与网络的体验和感受。根据QoE评分，运营商可以将用户对于视频业务质量和性能进行综合评价，优化语义通信系统。
[0004]传统方式中通常基于QoS（Quality of Service，服务质量）评价因素进行QoE评价，但评估效果不够准确，得出的QoE评价结果往往难以真实反映用户的体验感受。
技术实现思路
<br/>[0005]本申请提供一种基于语义通信的视频流媒体的QoE评估方法及装置，通过综合语义通信的QoS因素和视频内容的语义特征两个方面的表现情况，得到更为准确、真实的QoE评价分数。
[0006]本申请实施例第一方面提供一种基于语义通信的视频流媒体的QoE评估方法，上述方法包括：语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果，进行视频重建，生成重建视频流媒体；上述语义通信解码端获取上述重建视频流媒体的QoS表征，并确定上述QoS表征对应的基准QoE评分；上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析，得到上述各个重建视频帧的前景语义一致性表征，上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集；上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征，得到QoE偏移量；上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量，得到上述重建视频
流媒体的QoE评分。
[0007]可选地，上述方法还包括：上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析，得到上述各个重建视频帧的背景语义一致性表征，上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图；上述语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征；在上述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下，上述语义通信解码端确定发生镜头转换。
[0008]可选地，上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析，得到上述各个重建视频帧的前景语义一致性表征，包括：在上述相邻两个视频帧的背景语义一致性表征之间的偏移量不大于上述目标偏移量的情况下，上述语义通信解码端确定未发生镜头转换；上述语义通信解码端在确定未发生镜头转换的情况下，对上述相邻两个重建视频帧进行前景语义分析，得到上述相邻两个重建视频帧的前景语义一致性表征。
[0009]可选地，上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征，得到QoE偏移量，包括：上述语义通信解码端计算上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD；上述语义通信解码端根据计算出的MMD，确定上述QoE偏移量。
[0010]可选地，上述语义通信解码端确定上述QoS表征对应的基准QoE评分，包括：上述语义通信解码端通过预先训练的基准QoE评分预测模型，对上述QoS表征进行处理，得到上述基准QoE评分；其中，上述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签，对目标模型进行训练得到的，上述QoS表征包括以下至少一项视频卡顿信息、视频分辨率信息、视频编码信息。
[0011]可选地，上述多种类型的样本视频流媒体是按照以下步骤得到的：获取上述语义通信解码端的多个已重建视频流媒体，以及上述多个已重建视频流媒体各自的QoS表征；按照上述多个已重建视频流媒体QoS表征之间的匹配度，对上述多个已重建视频流媒体进行分类，得到上述多种类型的样本视频流媒体。
[0012]可选地，上述多种类型的样本视频流媒体的预先标记的QoE评分标签，是按照以下步骤得到的：播放上述多种类型的样本视频流媒体；获取用户输入的QoE评分；为上述多种类型的样本视频流媒体分别标记用户输入的QoE评分。
[0013]可选地，上述方法还包括：在重建视频流媒体的QoE评分低于目标评分的情况下，上述语义通信解码端对进行视频重建所采用的语义解码器的参数进行调整；和/或在重建视频流媒体的QoE评分低于上述目标评分的情况下，上述语义通信编码端
对进行视频编码所采用的语义编码器的参数进行调整。
[0014]本申请实施例第二方面提供一种基于语义通信的视频流媒体的QoE评估装置，上述装置包括：视频重建模块，语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果，进行视频重建，生成重建视频流媒体；基准QoE计算模块，上述语义通信解码端获取上述重建视频流媒体的QoS表征，并确定上述QoS表征对应的基准QoE评分；前景语义表征模块，上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析，得到上述各个重建视频帧的前景语义一致性表征，上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集；偏移量计算模块，上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征，得到QoE偏移量；QoE评分计算模块，上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量，得到上述重建视频流媒体的QoE评分。
[0015]可选地，上述装置还包括：背景语义表征模块，上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析，得到上述各个重建视频帧的背景语义一致性表征，上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图；背景语义比较模块，上述语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征；在上述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下，上述语义通信解码端确定发生镜头转换。
[0016]与现有技术相比，本申请包括以下优点：本申请实施例提供一种基于语义通信的视频流媒体的QoE评估方法及装置，首先通过语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果，进行视频重本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于语义通信的视频流媒体的QoE评估方法，其特征在于，所述方法包括：语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果，进行视频重建，生成重建视频流媒体；所述语义通信解码端获取所述重建视频流媒体的QoS表征，并确定所述QoS表征对应的基准QoE评分；所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析，得到所述各个重建视频帧的前景语义一致性表征，所述前景语义一致性表征是重建视频帧中的前景物体的不变性点集；所述语义通信解码端比较所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征，得到QoE偏移量；所述语义通信解码端根据所述基准QoE评分和所述QoE偏移量，得到所述重建视频流媒体的QoE评分。2.根据权利要求1所述的方法，其特征在于，在所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析，得到所述各个重建视频帧的前景语义一致性表征之前，还包括：所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行背景语义分析，得到所述各个重建视频帧的背景语义一致性表征，所述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图；所述语义通信解码端比较所述相邻两个视频帧的背景语义一致性表征；在所述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下，所述语义通信解码端确定发生镜头转换。3.根据权利要求2所述的方法，其特征在于，所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析，得到所述各个重建视频帧的前景语义一致性表征，包括：在所述相邻两个视频帧的背景语义一致性表征之间的偏移量不大于所述目标偏移量的情况下，所述语义通信解码端确定未发生镜头转换；所述语义通信解码端在确定未发生镜头转换的情况下，对所述相邻两个重建视频帧进行前景语义分析，得到所述相邻两个重建视频帧的前景语义一致性表征。4.根据权利要求1所述的方法，其特征在于，所述语义通信解码端比较所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征，得到QoE偏移量，包括：所述语义通信解码端计算所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD；所述语义通信解码端根据计算出的MMD，确定所述QoE偏移量。5.根据权利要求1所述的方法，其特征在于，所述语义通信解码端确定所述QoS表征对应的基准QoE评分，包括：所述语义通信解码端通过预先训练的基准QoE评分预测模型，对所述QoS表征进行处理，得到所述基准QoE评分；其中，所述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的Qo...
【专利技术属性】
技术研发人员：程宝平，陶晓明，张健，谢小燕，付涛，林嘉铭，徐桦，
申请(专利权)人：中移杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。