视频处理方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了视频处理方法、装置、设备及存储介质。应用于直播用户端的方法包括：获取直播视频的目标原始编码数据，根据上行链路网络状况和/或服务端的超分辨率图像处理能力确定待处理的原始非关键帧的目标帧数，对原始关键帧和待处理非关键帧进行下采样，将包含压缩关键帧、压缩非关键帧和未压缩非关键帧的视频帧序列上传至服务端，由服务端对视频帧序列中的压缩关键帧和压缩非关键帧分别进行超分辨率图像处理，并将得到的目标视频帧序列发送至观众用户端。通过采用上述技术方案，可以更加灵活地对视频进行压缩，从而更好的适应网络的多变性，并且进一步减少端到端的传输耗时，可以保证视频质量和降低直播时延。可以保证视频质量和降低直播时延。可以保证视频质量和降低直播时延。

【技术实现步骤摘要】
视频处理方法、装置、设备及存储介质


[0001]本公开实施例涉及视频处理
，尤其涉及视频处理方法、装置、设备及存储介质。

技术介绍

[0002]随着网络技术以及终端设备的发展，点播和直播等视频业务已经成为互联网的主流应用。视频流量的激增给网络带宽带来了巨大的压力。与此同时，用户对于QoE(Quality of Experience，体验质量)的要求也越来越高，包括视频质量、卡顿、码率切换以及直播时延等，这对视频传输提出了很大的挑战。
[0003]在视频传输网络中上行链路的带宽相比于下行链路往往极不充足的，比如在4G网络中，上行和下行带宽的差别高达10倍，因此网络中的上行链路成为了直播视频传输的主要瓶颈。并且，直播视频质量很大程度上取决于直播期间上传者的上行网络质量。如果上行带宽不足，观看者的视频质量将会显著的降低并且很有可能造成卡顿。因此，如何在有限上行带宽资源的情况下提高直播视频流传输的质量是目前亟需解决的技术问题。

技术实现思路

[0004]本公开实施例提供了视频处理方法、装置、存储介质及设备，可以优化现有的视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，应用于直播系统中的直播用户端，所述直播系统中还包括服务端和观众用户端，所述方法包括：获取直播视频的目标原始编码数据，其中，所述目标原始编码数据中包括目标画面组内的原始关键帧和原始非关键帧集合；根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标帧数；从所述原始非关键帧集合中确定所述目标帧数的原始非关键帧作为待处理非关键帧，对所述原始关键帧和所述待处理非关键帧分别进行下采样，得到压缩关键帧和压缩非关键帧；将视频帧序列上传至所述服务端，用于指示所述服务端对所述视频帧序列中的所述压缩关键帧和所述压缩非关键帧分别进行超分辨率图像处理，得到目标关键帧和目标非关键帧，并将目标视频帧序列发送至所述观众用户端，其中，所述视频帧序列中包括所述压缩关键帧、所述压缩非关键帧和所述原始非关键帧集合中除所述待处理非关键帧之外的剩余原始非关键帧，所述目标视频帧序列中包括所述目标关键帧、所述目标非关键帧和所述剩余原始关键帧。2.根据权利要求1所述的方法，其特征在于，还包括：根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标压缩比例；其中，所述对所述原始关键帧和所述待处理非关键帧分别进行下采样，包括：基于所述目标压缩比例对所述原始关键帧和所述待处理非关键帧分别进行下采样。3.根据权利要求2所述的方法，其特征在于，所述根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标帧数，根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标压缩比例，包括：根据所述直播系统的上行链路网络状况和所述服务端的超分辨率图像处理能力确定目标帧数和目标压缩比例。4.根据权利要求3所述的方法，其特征在于，所述根据所述直播系统的上行链路网络状况和所述服务端的超分辨率图像处理能力确定目标帧数和目标压缩比例，包括：根据所述直播系统的上行链路网络状况确定所述目标画面组对应的目标超分时长阈值；根据所述服务端的超分辨率图像处理能力确定单帧超分时长；根据所述目标超分时长阈值和所述单帧超分时长确定最大处理帧数；在待确定的目标帧数小于所述最大处理帧数的前提下，根据所述直播系统的上行链路网络状况和所述服务端的超分辨率图像处理能力确定目标帧数和目标压缩比例。5.根据权利要求1所述的方法，其特征在于，还包括：向所述服务端发送压缩信息，用于指示所述服务端根据所述压缩信息从所述视频帧序列中提取所述压缩非关键帧，其中，所述压缩信息中包括所述压缩非关键帧的帧标识信息。6.根据权利要求1所述的方法，其特征在于，所述获取直播视频的目标原始编码数据，包括：根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确
定是否压缩直播视频中的当前画面组；若是，则将当前画面组确定为目标画面组，并获取所述目标画面组对应的目标原始编码数据。7.一种视频处理方法，其特征在于，应用于直播系统中的服务端，所述直播系统中还包括直播用户端和观众用户端，所述方法包括：接收所述直播用户端发送的视频帧序列，其中，所述视频帧序列中包括压缩关键帧、压缩非关键帧和原始非关键帧集合中除待处理非关键帧之外的剩余原始非关键帧；所述直播用户端用于获取直播视频的目标原始编码数据，根据所述直播系统的上行链路网络状况和/或所述服务端的超分辨率图像处理能力确定目标帧数，从所述原始非关键帧集合中确定所述目标帧数的原始非关键帧作为待处理非关键帧，对原始关键帧和所述待处理非关键帧分别进行下采样，得到所述压缩关键帧和所述压缩非关键帧，所述目标原始编码数据中包括目标画面组内的所述原始关键帧和所述原始非关键帧集合；对所述视频帧序列中的所述压缩关键帧和所述压缩非关键帧分别进行超分辨率图像处理，得到目标关键帧和目标非关键帧；根据所述目标关键帧、所述目标非关键帧和所述剩余原始非关键帧...

【专利技术属性】
技术研发人员：张傲阳，李清，陈颖，马晓腾，马茜，孟胜彬，邹龙昊，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：