一种基于深度模仿学习的视频通话方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于深度模仿学习的视频通话方法及装置，方法包括：针对视频通话的当前传输时隙，获取上一传输时隙的传输信息；传输信息包括：传输层信息和应用层信息；将传输信息输入码率优化网络模型，得到当前传输时隙的传输码率；码率优化网络模型是根据训练集训练得到的模型，训练集包括：样本视频通话中各个传输时隙的真实传输信息和真实传输码率；基于当前传输时隙的传输码率，向接收端发送视频通话数据。以实现实时确定视频通话中合适的传输码率，提高视频通话质量。

A video call method and device based on deep imitation learning

【技术实现步骤摘要】
一种基于深度模仿学习的视频通话方法及装置
本专利技术实施例涉及通信
，特别是涉及一种基于深度模仿学习的视频通话方法及装置。
技术介绍
随着通信技术的发展，实时视频通话已经成为人们生活中不可缺少的部分。且移动无线网应用，例如众包直播、云视频游戏、机器人技术、车辆远程操作等都不断推动视频通话流量的增长。然而，现有的视频通话质量仍然不足以让人满意，例如在视频通话过程中，可能出现图像模糊，图像帧丢失，卡顿等问题。现有的视频通话质量不高的主要原因是：应用层与传输层之间不协调，导致无法确定数据传输时合适的比特率。具体的，传输层通常以毫秒级粒度来更新网络容量估计，以尽可能动态响应网络变化，而应用层的视频编解码器只能在较大时间间隔上更改视频比特率，导致视频编码器无法实时跟随传输层的数据传输速率来调整传输码率。可见，现有的视频通话技术中由于应用层和传输层之间不协调，无法确定适当的传输特率，从而导致视频通话质量不高。
技术实现思路
本专利技术实施例的目的在于提供一种基于深度模仿学习的视频通话方法及装置，以实现实时确本文档来自技高网...

【技术保护点】
1.一种基于深度模仿学习的视频通话方法，其特征在于，所述方法包括：/n针对视频通话的当前传输时隙，获取上一传输时隙的传输信息；所述传输信息包括：传输层信息和应用层信息；/n将所述传输信息输入码率优化网络模型，得到当前传输时隙的传输码率；所述码率优化网络模型是根据训练集训练得到的模型，所述训练集包括：样本视频通话中各个传输时隙的真实传输信息和真实传输码率；/n基于当前传输时隙的传输码率，向接收端发送视频通话数据。/n

【技术特征摘要】
1.一种基于深度模仿学习的视频通话方法，其特征在于，所述方法包括：
针对视频通话的当前传输时隙，获取上一传输时隙的传输信息；所述传输信息包括：传输层信息和应用层信息；
将所述传输信息输入码率优化网络模型，得到当前传输时隙的传输码率；所述码率优化网络模型是根据训练集训练得到的模型，所述训练集包括：样本视频通话中各个传输时隙的真实传输信息和真实传输码率；
基于当前传输时隙的传输码率，向接收端发送视频通话数据。


2.根据权利要求1所述的方法，其特征在于，所述传输层信息包括丢包率和包间延迟，所述应用层信息包括传输码率和吞吐量。


3.根据权利要求2所述的方法，其特征在于，所述获取上一传输时隙的传输信息，包括：
获取所述码率优化网络模型在上一传输时隙输出的传输码率；
获取所述接收端针对上一传输时隙的反馈信息，基于所述反馈信息确定上一传输时隙的丢包率，包间延迟和吞吐量。


4.根据权利要求1所述的方法，其特征在于，所述码率优化网络模型按照如下方法训练：
获取预设的神经网络模型和所述训练集；
将预设数量个第一传输时隙的传输信息输入所述神经网络模型，得到所述预设数量个第二传输时隙的传输码率；所述第一传输时隙为所述第二传输时隙的上一传输时隙；
根据得到的第二传输时隙的传输码率和所述样本视频通话中各个传输时隙的传输信息中的真实传输码率，以及预设的损失函数，确定针对传输码率的损失值；
根据所述损失值确定所述神经网络模型是否收敛；
若否，则调整所述神经网络模型中的参数值，并返回所述将预设数量个第一传输时隙的传输信息输入所述神经网络模型的步骤；
若是，则将当前的神经网络模型确定为码率优化网络模型。


5.根据权利要求4所述的方法，其特征在于，所述损失函数为：



l(πθ(st),π*(st))＝w(s)×H(πθ(st),π*(st))






其中，表示所述神经网络模型输出的当前传输时隙的传输码率的总损失值，st表示当前传输时隙，πθ(st)表示所述神经...

【专利技术属性】
技术研发人员：周安福，张欢欢，马若暄，苏光远，张新宇，马华东，陈虓将，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11