当前位置: 首页 > 专利查询>北京大学专利>正文

分辨率的处理方法及装置制造方法及图纸

技术编号:21309573 阅读:38 留言:0更新日期:2019-06-12 11:10
本申请提供一种分辨率的处理方法及装置,该方法包括:获取待处理的目标低分辨率视频数据,采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。实现了端对端地学习如何对帧内和帧间相关性同时进行建模,采用联合空间‑时间残差学习方式,预测高清视频的时间残差,促进对空间残差和视频帧的预测。通过嵌入时间残差预测,能够对高分辨率视频多帧之间的运动上下文进行隐含建模,同时具有较低的计算复杂度。

Processing Method and Device of Resolution

The application provides a resolution processing method and device, which includes acquiring target low-resolution video data to be processed and converting target low-resolution video data into target high-resolution video data using a trained target spatiotemporal residual convolution network. It realizes end-to-end learning how to model intra-frame and inter-frame correlation simultaneously. It uses joint space-time residual learning method to predict the time residual of HD video, and promotes the prediction of spatial residual and video frame. By embedding time residuals prediction, the motion context between high resolution video frames can be implicitly modeled with low computational complexity.

【技术实现步骤摘要】
分辨率的处理方法及装置
本申请涉及图像处理
,尤其涉及一种分辨率的处理方法及装置。
技术介绍
近些年来,随着大量高清播放设备的涌现,将低分辨率视频转换为更适宜播放的高分辨率视频,即视频超分辨率技术,逐渐成为计算机视觉领域的研究热点。视频超分辨率方法可以被分为两类:基于重建的方法和基于学习的方法。其中,基于重建的方法无法在所有场景上使用,基于学习的方法可以通过从大量的视频中学习先验来解决这一问题。但是,现有的基于学习的方法通常只考虑帧间相关性,而没有同时考虑帧内和帧间的相关性;学习到的先验通常无法捕捉到大幅运动、镜头转换等变换情况。
技术实现思路
本申请提供一种分辨率的处理方法及装置,以解决现有技术通常只考虑帧间相关性,而没有同时考虑帧内和帧间的相关性;学习到的先验通常无法捕捉到大幅运动、镜头转换等变换情况等缺陷。本申请第一个方面提供一种分辨率的处理方法,包括:获取待处理的目标低分辨率视频数据;采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。根据如上所述的方法,可选地,在获取待处理的目标低分辨率视频数据之前,所述方法还包括:获取预设高分辨率视本文档来自技高网...

【技术保护点】
1.一种分辨率的处理方法,其特征在于,包括:获取待处理的目标低分辨率视频数据;采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。

【技术特征摘要】
1.一种分辨率的处理方法,其特征在于,包括:获取待处理的目标低分辨率视频数据;采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据。2.根据权利要求1所述的方法,其特征在于,在获取待处理的目标低分辨率视频数据之前,所述方法还包括:获取预设高分辨率视频数据;采用高斯滤波器将所述预设高分辨率视频数据转换成对应的低分辨率视频数据,并将所述低分辨率视频数据放大到与所述预设高分辨率视频数据相同的尺度;获取待训练时空循环残差卷积网络;采用所述预设高分辨率视频数据及对应的低分辨率视频数据训练所述待训练时空循环残差卷积网络,获得所述目标时空循环残差卷积网络。3.根据权利要求2所述的方法,其特征在于,所述获取预设高分辨率视频数据,包括:从第一预设数量的高分辨率视频序列中采集第二预设数量的视频片段;将所述视频片段剪切成第三预设数量的重叠的视频组块,每个所述视频组块包含第四预设数量的在时间域上相邻、在空间域上相同的视频块。4.根据权利要求2所述的方法,其特征在于,所述获取待训练时空循环残差卷积网络,包括:建立时空循环残差卷积网络,包括9个序列层,其中,每个序列层包括多个状态,每个状态对应不同时刻的视频帧;采用三种卷积操作、时间残差嵌入操作、特征支路操作、低分辨率支路操作和向前反馈操作来连接这些状态,获得所述待训练时空循环残差卷积网络,所述三种卷积操作包括向前卷积操作、循环卷积操作和上下文卷积操作。5.根据权利要求1所述的方法,其特征在于,在采用训练好的目标时空循环残差卷积网络将所述目标低分辨率视频数据转换成目标高分辨率视频数据之后,所述方法还包括:采用峰值信噪比PSNR和结构相似性SSIM评估标准对所述目...

【专利技术属性】
技术研发人员:杨文瀚汪文靖刘家瑛郭宗明
申请(专利权)人:北京大学北大方正集团有限公司北京北大方正电子有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1