【技术实现步骤摘要】
一种基于多任务深度学习的视频传输质量评价方法
本专利技术涉及视频质量评价，尤其涉及一种基于多任务深度学习的视频传输质量评价方法。
技术介绍
视频在传输过程中会因网络状况、信道质量、缓存、丢包、视频压缩、传输协议等种种原因产生接收端画面冻结、画面延迟、出现失真等情况，画面冻结会影响用户观看视频的体验，而在特定场景如实时视频通话中，画面延迟也需要尽量避免，而失真会影响用户使用体验和视频内容的可识别性，所以检测与评价视频传输中画面冻结、画面延迟、视频帧失真类型、视频帧质量就显得十分重要。现有的视频传输质量检测很多都只基于对图像质量来评价视频传输质量，而视频传输质量时域检测方面的技术研究多集中在丢包、丢帧与图像失真的联系，以及利用时域图像上下文判断画面冻结。前者无法完全体现视频传输在时域方面的画面冻结与画面延迟性能；而后者难以计算画面冻结时间与画面延迟时间。为此寻找一种能综合、准确、快速地评价视频传输时域质量与空域质量的方法具有重要现实意义。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种基于多任务...
【技术保护点】
1.一种基于多任务深度学习的视频传输质量评价方法，其特征在于，所述方法包括：/nA构建多任务深度学习网络，用于完成目标识别任务、图像分类任务与图像质量评价任务，实现检测视频传输过程中的时延与卡顿时域指标，检测传输画面失真类型、传输画面质量分数空域指标；/nB利用目标识别任务识别发送端、接收端视频帧中的频标并校验，根据频标检测出时延与卡顿指标；/nC利用目标识别任务定位接收端视频帧，并用图像分类任务检测传输画面失真类型，用图像质量评价任务检测传输画面质量分数；/nD完成对网络的训练，得到训练模型，实际部署后检测视频传输时延与卡顿，并在有延迟情况下检测传输画面失真类型与传输画面质量分数。/n
【技术特征摘要】
1.一种基于多任务深度学习的视频传输质量评价方法，其特征在于，所述方法包括：
A构建多任务深度学习网络，用于完成目标识别任务、图像分类任务与图像质量评价任务，实现检测视频传输过程中的时延与卡顿时域指标，检测传输画面失真类型、传输画面质量分数空域指标；
B利用目标识别任务识别发送端、接收端视频帧中的频标并校验，根据频标检测出时延与卡顿指标；
C利用目标识别任务定位接收端视频帧，并用图像分类任务检测传输画面失真类型，用图像质量评价任务检测传输画面质量分数；
D完成对网络的训练，得到训练模型，实际部署后检测视频传输时延与卡顿，并在有延迟情况下检测传输画面失真类型与传输画面质量分数。
2.如权利要求1所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述步骤A中，目标识别任务、图像分类任务与图像质量评价任务为深度学习网络包含的3个任务，，其中图像分类任务与图像质量评价任务使用孪生神经网络；所述3个任务的骨干网络均为ResNet，骨干网络也为3个任务的共享层，图像分类任务与图像质量评价任务共享层采用硬参数共享，目标识别任务与图像分类任务、图像质量评价任务共享层采用软参数共享，正则化项为两者共享层参数差值向量的L1范数。
3.如权利要求2所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述目标识别任务，骨干网络提取浅层特征，输出特征图为F0，通道数为256；后续深层特征提取网络结构由5个单元组成，每个单元先后包含两个卷积层：128个步长为1的1×1×256卷积核、256个步长为2的3×3×128卷积核，每个单元输出特征图为Fi，其中i＝1,2,3,4,5；在Fi上使用FPN，结合anchor机制实现对不同尺度目标的识别。
4.如权利要求2所述的基于多任务深度学习的视频传输质量评价方法，其特征在于，所述图像分类任务与图像质量评价任务，基于视频传输接收端图像与其对应参考图像进行全参考失...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。