【技术实现步骤摘要】
本专利技术涉及多模态码流传输，特别是一种基于qoe的多模态码流模式选择与资源分配方法。
技术介绍
1、目前的多模态码流业务通常涉及音频流、视频流和触觉流的传输。在一般情况下，音频流和视频流需要同时传输，因为它们之间存在一定的相关性和冗余性。通过联合编码和压缩音视频流，可以提高传输效率，减少传输数据量和带宽需求。音视频流所包含的信息量很大，尤其是对于现今人们对图像分辨率的更高要求。因此，在选择传输链路时，需要考虑各个链路的状态，选择具有更大信道容量的链路传输音视频流，以应对大流量的传输需求。触觉信号是通过编码触摸或力反馈得到的信号，它抽象了人类对于压力、摩擦力、温度等感知概念。在虚拟现实、远程操作和人机交互等应用中，触觉信号可以提高用户的体验质量。
2、然而，由于音视频流和触觉流的特殊性，它们在一同传输时会互相影响彼此的传输质量。触觉流会占用音视频流的带宽，导致音视频流的带宽减少。而音视频流的传输会阻塞触觉流的实时发送，使用户无法实时感知触觉信号。因此很难完全兼顾用户对音视频流和触觉流的体验。
技术实现思路
1、鉴于现有的很难完全兼顾用户对音视频流和触觉流的体验所存在的问题，提出了本专利技术。
2、因此，本专利技术所要解决的问题在于如何改善多模态用户的实际体验。
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、第一方面，本专利技术实施例提供了一种基于qoe的多模态码流模式选择与资源分配方法，其包括设计视频qoe、音频qoe和触
5、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：设计视频qoe、音频qoe和触觉qoe三个维度的用户体验量化指标包括以下步骤：基于音视频中与传输速率和丢包率相关的特征设计得到音频qoe指标和视频qoe指标；通过主观和客观方法对触觉qoe进行评估，以获得触觉qoe指标；基于评估结果，通过曲线拟合方法得到qoe-delay模型；视频qoe指标的具体公式如下：
6、
7、其中，a1、a2、a3、a4、a5表示模型中测试和学习得到的用户特征，rn(t)表示传输速率，per表示视频数据丢包率。
8、音频qoe指标的具体公式如下：
9、qaudio(ta,codec,plr)＝94.2-id(ta)-ie(codec,plr)+a
10、其中，id和ie表示失真的参数模型，ta表示在评估间隔内播放的语音数据包的平均单向延迟，plr表示音频数据包丢失率，codec表示使用的语音编码格式，a表示校准参数。
11、触觉qoe计算公式如下：
12、
13、其中，ah、bh、ch、dh表示拟合参数，t(i)表示触觉往返时延。
14、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：针对中近距离和远距离两种典型场景下的多模态码流设计对应的传输模式包括以下步骤：处理多模态码流中的视频流，采用时间可伸缩的svc编码确保视频信号在无线通信网络中多变的信道条件下的稳定传输；将采用svc编码后的视频流与d2d通信技术结合；最终设计多模态码流在中近距离和远距离两种场景下的传输模式与资源分配方法；两种场景包括中近距离的通信场景和远距离的通信场景。
15、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：中近距离的通信场景的设计包括以下步骤：将视频的基本层、第一增强层以及音频和触觉信号通过d2d专用模式进行传输，并为其分配合适的带宽；将视频的第二增强层通过d2d复用模式进行传输；计算中近距离场景下的多模态码流传输速率的具体公式如下：
16、
17、其中，bd2d(i)表示第i对多模态码流业务用户在d2d专用模式下多模态码流传输的信道带宽，pd2d(i)表示信号发射率，gtr(i)表示从发送端到接收端的信道增益，n0表示加性高斯白噪声。
18、计算中近距离场景下的多模态信号的端到端时延的具体公式如下：
19、
20、其中，n(i)表示多模态数据的到达比特率，ld2d(i)表示音、视、触数据包的平均长度，rd2d(i)表示中近距离场景下的多模态码流传输速率。
21、计算视频第二增强层的信道带宽rmul(i)。
22、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：将视频流的第二增强层依然通过d2d复用模式复用普通流媒体业务用户的信道进行传输，且用户间的协作处于半双工模式；确定多模态码流的传输由奇数时隙和偶数时隙构成；在奇数时隙，将音频信号、视频基本层信号和触觉信号叠加起来分别发送给基站和ou作为中继，以实现信号的转发；在偶数时隙，基站和中继设备复用相同的信道发送给多模态码流业务用户接收端；若时隙为奇数时隙，则音视频的传输速率的具体公式如下：
23、
24、其中，bnoma(i)表示用户视频基本层、音频和触觉复用占用的信道带宽，pnoma(i)表示信道上的总功率，γ表示音视频的功率分配系数，gtb(i)表示mu发射端到基站的信道增益，n0表示加性高斯白噪声。
25、若时隙为偶数时隙，则触觉流的传输速率的具体公式如下：
26、
27、其中，bnoma(i)表示用户视频基本层、音频和触觉复用占用的信道带宽，gnr(i)表示从ou到mu接收端的信道增益，pou表示ou的发射功率，n0表示加性高斯白噪声。
28、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：多目标优化问题模型的具体公式如下：
29、
30、其中，α、β表示两种模式的二进制模式选择因子，rd2d(i)表示中近距离场景下的多模态码流传输速率，td2d(i)表示中近距离场景下的多模态信号的端到端时延，n表示d2d蜂窝网络中的mu用户对数量，r表示码流的传输速率，v表示音视频流，h表示触觉流，rnoma(i)表示在远距离场景下的多模态码流传输速率包括奇数时隙和偶数时隙表示在远距离场景下的音视频流的端到端时延，表示在远距离场景下的触觉流的端到端时延，qhaptic()表示触觉qoe指标，qvideo()表示视频qoe指标，qaudio()表示音频qoe指标。
31、作为本专利技术所述基于qoe的多模态码流模式选择与资源分配方法的一种优选方案，其中：采用moea/d遗传算法进行问题模型求解包括以下步骤本文档来自技高网...
【技术保护点】
1.一种基于QoE的多模态码流模式选择与资源分配方法，其特征在于：包括，
2.如权利要求1所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：所述设计视频QoE、音频QoE和触觉QoE三个维度的用户体验量化指标包括以下步骤：
3.如权利要求1所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：针对中近距离和远距离两种典型场景下的多模态码流设计对应的传输模式包括以下步骤：
4.如权利要求3所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：所述中近距离的通信场景的设计包括以下步骤：
5.如权利要求3所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：所述远距离的通信场景的设计包括以下步骤：
6.如权利要求1所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：所述多目标优化问题模型的具体公式如下：
7.如权利要求1所述的基于QoE的多模态码流模式选择与资源分配方法，其特征在于：所述采用MOEA/D遗传算法进行问题模型求解包括以下步骤：
8.一
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于QoE的多模态码流模式选择与资源分配方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于QoE的多模态码流模式选择与资源分配方法的步骤。
...【技术特征摘要】
1.一种基于qoe的多模态码流模式选择与资源分配方法，其特征在于：包括，
2.如权利要求1所述的基于qoe的多模态码流模式选择与资源分配方法，其特征在于：所述设计视频qoe、音频qoe和触觉qoe三个维度的用户体验量化指标包括以下步骤：
3.如权利要求1所述的基于qoe的多模态码流模式选择与资源分配方法，其特征在于：针对中近距离和远距离两种典型场景下的多模态码流设计对应的传输模式包括以下步骤：
4.如权利要求3所述的基于qoe的多模态码流模式选择与资源分配方法，其特征在于：所述中近距离的通信场景的设计包括以下步骤：
5.如权利要求3所述的基于qoe的多模态码流模式选择与资源分配方法，其特征在于：所述远距离的通信场景的设计包括以下步骤：
6.如权利要求1所述的基于qoe的多模态码流模式选择与资源分...
【专利技术属性】
技术研发人员：魏昕，杨镇宇，黄蓉，周亮，索云飞，叶蕾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。