联合超分辨率和视频编码的目标跟踪方法、装置、设备及介质制造方法及图纸

本公开涉及硬件视频编码器设计技术领域，具体提供了联合超分辨率和视频编码的目标跟踪方法、装置、设备及介质，所述方法包括：获取待输入的低分辨率视频，并将所述低分辨率视频经压缩编码重构后得到重构后的中间视频；将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频；对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频。本公开使用精心设计的联合超分辨视频编码模块对低分辨率视频进行分辨率提升，并将增强后的每帧进行目标跟踪，最终得到跟踪视频，这一设计有效的提高了跟踪准确率。相比于直接在低分辨率视频上进行目标跟踪，本方案能平均提高80％的跟踪准确率。能平均提高80％的跟踪准确率。能平均提高80％的跟踪准确率。

【技术实现步骤摘要】
联合超分辨率和视频编码的目标跟踪方法、装置、设备及介质


[0001]本公开涉及硬件视频编码器设计
，更为具体来说，本公开涉及联合超分辨率和视频编码的目标跟踪方法、装置、设备及介质。

技术介绍

[0002]在视频压缩编码的场景中，常常因受到带宽的限制，难以传输高品质图像或视频，这种在低带宽环境下传输的影像多存在着块效应、图像模糊、传输噪声严重的缺点，这不仅影响了人们的主观体验，还对信息提取有着非常严重的影响。典型的案例如在直播过程中，若网络波动较大，会导致录制出来的视频在传输时被迫选择低品质模式进行压缩，最终传递到观众眼前的只有细节模糊、块效应严重以及噪点多的问题，难以获得一个好的观看体验。这一问题不仅影响人们的主观体验，还对目标检测与跟踪这些高级图像处理任务有着相当大的阻碍。因此，视频的超分辨处理是一项非常具有挑战性但又意义重大的课题。目前的主流方案是提升编码效率或是提升带宽，但这些方案虽然获得了高质量视频图像，但其对上述问题并没有本质上的解决效果，在极低的网速下，最终得到的视频图像效果依然不能满足人眼视觉效果，难以承担完成目标检测与跟踪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合超分辨率和视频编码的目标跟踪方法，其特征在于，包括：获取待输入的低分辨率视频，并将所述低分辨率视频经压缩编码重构后得到重构后的中间视频；将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频；对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频。2.根据权利要求1所述的方法，其特征在于，所述将所述低分辨率视频经压缩编码重构后得到重构后的中间视频具体为：将所述低分辨率视频经avs3压缩编码重构后得到重构后的中间视频，其中，所述中间视频的尺寸为360*180。3.根据权利要求1所述的方法，其特征在于，所述将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频具体包括：对所述中间视频逐帧进行图像特征提取，并进行卷积操作得到特征图；对所述特征图进行塌缩操作处理得到塌缩后的卷积层；对所述塌缩后的卷积层进行映射操作得到映射后的图像数据；对所述映射后的图像数据进行反卷积操作得到训练后的高分辨率视频图像。4.根据权利要求3所述的方法，其特征在于，所述对所述映射后的图像数据进行反卷积操作得到训练后的高分辨率视频图像之后，还包括：判断所述训练后的高分辨率视频图像的损失是否超过预设的损失阈值，若超过则计算图像损失，并进行反向传播，重新进行图像特征提取的过程；若不超过则结束超分辨网络深度学习训练的过程。5.根据权利要求1所述的方法，其特征在于，所述对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频具体包括：对所述高分辨率视频的图像数据逐帧进行Fast R
‑
CNN目标检测；根据Fast R
‑
CNN目标检测...

【专利技术属性】
技术研发人员：向国庆，文映博，严韫瑶，张鹏，贾惠柱，
申请(专利权)人：北京博雅慧视智能技术研究院有限公司，
类型：发明
国别省市：