【技术实现步骤摘要】
本专利技术涉及视频增强与传输，更为具体地，涉及一种基于云边协同架构的视频增强传输方法、系统、电子装置及存储介质。
技术介绍
1、随着5g和深度学习的发展与普及，视频增强与传输技术在过去几年有了发展迅速。视频增强算法在提高视频质量、去噪、降低失真方面有了显著的改进。通过深度学习技术，特别是卷积神经网络（cnn），研究人员开发了一些高效且有效的算法，可以对视频进行超分辨率重建、去噪处理、运动补偿等增强操作，从而提供更清晰、更细节丰富的视频内容。视频传输领域的自适应传输技术也得到了加强。通过智能的自适应比特率控制算法，视频传输可以根据网络状况动态调整视频质量，保证在不同网络条件下都能获得较好的观看体验。
2、总的来说，视频增强与传输技术可以提升视频内容的质量和可观性，优化网络传输效率，适应不同网络环境以及推动教育和娱乐产业的发展。随着互联网和数字化技术的不断发展，视频增强与传输技术的创新将继续对我们的日常生活和社会产生积极的影响。但是现在仍然存在一些局限性和挑战。
3、某些视频增强算法需要大量计算资源，尤其是针对高分辨率、高帧率的视频。这可能导致在低端设备或网络环境下处理速度缓慢，或者需要高性能的硬件加速，使得技术在某些情况下难以实现或应用。例如在大型云游戏体验中单个用户建议的下行带宽为每秒3mb/s，对于1080p分辨率、30帧/秒的游戏体验，未压缩情况下需要18.66mb/s带宽。受4g网络100mb带宽限制，最多只能支持5个用户端同时正常使用。同时，使用公共云（如aws）传输未压缩的云游戏视讯流数据需要每
4、由上述背景可知，目前广泛使用的码流传输方法与系统仍有不足亟需提供一种新的视频增强传输方法与系统。
技术实现思路
1、鉴于上述问题，本专利技术的目的是提供一种基于云边协同架构的视频增强传输方法、系统及存储介质，以解决目前的视频增强算法与传输技术需要大量技术资源导致用户体验不好以及成本高等问题。
2、本专利技术提供一种基于云边协同架构的视频增强传输方法，其特征在于，包括：
3、通过roi预测模型对云端服务器的待传输的原始视频进行roi区域的识别，获取roi区域，其中，所述待传输的原始视频包括所述roi区域和非roi区域；
4、通过下采样器对所述待传输的原始视频进行下采样处理，生成压缩帧；
5、对所述压缩帧、所述roi区域进行编码处理，生成实时视频流，并传输至边缘端服务器；
6、对传输至所述边缘端服务器的实时视频流进行解码处理，获取解码后的roi区域和解码后的非roi区域；
7、通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理，以及，
8、通过非roi区域超分辨率模型对所述解码后的非roi区域进行超分辨率处理；
9、将经过超分辨处理后的视频流传输至用户端。
10、此外，优选的方案是，所述通过roi预测模型对云端服务器待传输的原始视频进行roi区域的识别，获取roi区域包括：
11、通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息；
12、通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度。
13、此外，优选的方案是，所述通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息包括：
14、对所述待传输的原始视频进行标注，获取包含有感兴趣区域信息的多帧视频；
15、将包含有感兴趣区域信息的多帧视频输入到二维网络中，获取所述感兴趣区域信息位置信息；
16、其中，所述感兴趣区域信息位置信息包括所述感兴趣区域信息所在图片的x轴信息和y轴信息。
17、此外，优选的方案是，所述通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度，包括：
18、将包含有所述感兴趣区域信息和位置信息的视频帧输入到所述lstm模型中；
19、采用relu全连接层对包含有所述感兴趣区域信息和位置信息的视频帧进行处理，获取所述视频帧的roi区域和所述roi区域相应的置度。
20、此外，优选的方案是，通过h.265编码器对所述压缩帧、所述roi区域进行编码处理，生成实时视频流。
21、此外，优选的方案是，所述通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理，包括：
22、所述多roi并行超分辨率模型采用三区域质量分布，其中，以所述roi区域为中心，
23、将所述解码后的roi区域的数据拼接成特征图， 经过预处理后获取子特征图；
24、将所述子特征图输入resblocks并进行增强处理，形成中等质量特征图；
25、根据所述中等质量特征图，获取所述roi区域的小特征图；
26、将所述小特征图经过若干resblocks，获取高质量的所述roi区域的中心的特征图；
27、重复上述步骤，获取所述roi区域的边缘区域的特征图，以及，所述roi区域的混合区域的特征图；
28、将所述roi区域的中心的特征图、所述roi区域的边缘区域的特征图、所述roi区域的混合区域的特征图相互叠加，形成预测roi区域。
29、本专利技术还提供一种基于云边协同架构的视频增强传输系统，包括：
30、roi区域获取模块，用于通过roi预测模型对云端服务器待传输的原始视频进行roi区域的识别，获取roi区域，其中，所述待传输的原始视频包括所述roi区域和非roi区域；
31、下采样处理模块，用于通过下采样器对所述待传输的原始视频进行下采样处理，生成压缩帧；
32、编码处理模块，用于对所述压缩帧、所述roi区域进行编码处理，生成实时视频流，并传输至边缘端服务器；
33、解码处理模块，用于对传输至所述边缘端服务器的实时视频流进行解码处理，获取解码后的roi区域和解码后的非roi区域；
34、roi区域超分辨率处理模块，用于通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理；
35、非roi区域超分辨率处理模块，用于通过非roi区域超分辨率模型对所述解码后的非roi区域进行超分辨率处理；
36、视频流程传输用户端模块，用于将经过超分辨处理后的视频流传输至用户端。
37、此外，优选的方案是，所述roi区域获取模块包括：
38、yolo模型处理模块，用于通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息；
39、lstm模型处理模块，用于通过lstm模本文档来自技高网...
【技术保护点】
1.一种基于云边协同架构的视频增强传输方法，其特征在于，包括：
2.根据权利要求1所述的基于云边协同架构的视频增强传输方法，其特征在于，所述通过ROI预测模型对云端服务器待传输的原始视频进行ROI区域的识别，获取ROI区域包括：
3.根据权利要求2所述的基于云边协同架构的视频增强传输方法，其特征在于，所述通过YOLO模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息包括：
4.根据权利要求3所述基于云边协同架构的视频增强传输方法，其特征在于，所述通过LSTM模型对所述感兴趣区域信息和位置信息处理，获取ROI区域和所述ROI区域相应的置度，包括：
5.根据权利要求1所述基于云边协同架构的视频增强传输方法，其特征在于，通过H.265编码器对所述压缩帧、所述ROI区域进行编码处理，生成实时视频流。
6.根据权利要求1所述基于云边协同架构的视频增强传输方法，其特征在于，所述通过多ROI并行超分辨率模型对所述解码后的ROI区域进行超分辨率处理，包括：
7.一种基于云边协同架构的视频增强传输系统，
8.根据权利要求7所述基于云边协同架构的视频增强传输系统，其特征在于，所述ROI区域获取模块包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的基于云边协同架构的视频增强传输方法。
...【技术特征摘要】
1.一种基于云边协同架构的视频增强传输方法，其特征在于，包括：
2.根据权利要求1所述的基于云边协同架构的视频增强传输方法，其特征在于，所述通过roi预测模型对云端服务器待传输的原始视频进行roi区域的识别，获取roi区域包括：
3.根据权利要求2所述的基于云边协同架构的视频增强传输方法，其特征在于，所述通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息包括：
4.根据权利要求3所述基于云边协同架构的视频增强传输方法，其特征在于，所述通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度，包括：
5.根据权利要求1所述基于云边协同架构的视频增强传输方...
【专利技术属性】
技术研发人员：汤新坤，徐颖，欧阳峰，姜昊，
申请(专利权)人：国家广播电视总局广播电视科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。