一种实时图像超分辨率IP核及系统技术方案

本发明专利技术公开了一种实时图像超分辨率IP核及系统，包括：图像行缓存器、Bicubic运算流水线和像素重对齐模块；图像行缓存器，用于对输入的图像进行图像行缓存并发送至所述Bicubic运算流水线，还用于对输入图像的顶部和底部的边缘进行填充以维持图像放大后的大小；Bicubic运算流水线，用于对图像行进行原始像素块缓存和垂直翻转，并采用分离式乘法器和多输入加法器执行Bicubic图像超分辨算法获得超分辨像素；像素重对齐模块，用于将超分辨像素进行重新对齐并输出，使乘法器的资源消耗减半，减少布线长度，提高IP性能；该系统在边缘低功耗节点上使用FPGA或ASIC，嵌入本发明专利技术的实时图像超分辨率IP核，可实现实时图像超分辨率，功耗低、资源占用少。资源占用少。资源占用少。

【技术实现步骤摘要】
一种实时图像超分辨率IP核及系统


[0001]本专利技术涉及图像超分辨率
，更具体的说是涉及一种实时图像超分辨率IP核及系统。

技术介绍

[0002]目前，显示设备的分辨率越来越高，输出高分辨率HR图形已成为各种图像处理系统的一般能力之一；然而，直接处理HR图形使处理或渲染系统在资源、带宽和存储方面面临更大的挑战。
[0003]如果图形可以在低分辨率(LR)下处理或渲染，系统的资源消耗可以减少。然后，一个规模子系统可以使用超级分辨率算法将图形放大到HR。Nvidia的深度学习超级采样(DLSS)、AMD的FideltiyFX超级分辨率(FSR)和英特尔的Xe超级采样(XeSS)都是使用超级分辨率技术在LR渲染下获得HR图形的成熟方法，而将图像超分辨率技术应用于各种设备，需要有专用的图像超分辨率加速芯片和IP核。
[0004]但是，现有的图像超分辨率算法主要依托于通用计算硬件，如CPU和GPU，这些硬件为通用计算而设计，功耗、面积和成本都很高，在有一定要求的边缘节点，如监控摄像头、内窥探头等上进行部署相当困难。
[0005]因此，如何提供一种功耗低且占用资源少的实时图像超分辨率IP核及系统是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种实时图像超分辨率IP核及系统已解决
技术介绍
中提到的问题。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种实时图像超分辨率IP核，包括：图像行缓存器、Bicubic运算流水线和像素重对齐模块；所述图像行缓存器、所述Bicubic运算流水线和所述像素重对齐模块依次相连；
[0009]所述图像行缓存器，用于对输入的图像进行图像行缓存并发送至所述Bicubic运算流水线，还用于对输入图像的顶部和底部的边缘进行填充以维持图像放大后的大小；
[0010]所述Bicubic运算流水线，用于对所述图像行进行原始像素块缓存和垂直翻转，并采用分离式乘法器和多输入加法器执行Bicubic图像超分辨算法获得超分辨像素；
[0011]所述像素重对齐模块，用于将所述超分辨像素进行重新对齐并输出。
[0012]优选的，所述的一种实时图像超分辨率IP核，还包括控制器，所述控制器分别与所述图像行缓存器和所述Bicubic运算流水线相连，用于对所述图像行缓存器和所述Bicubic运算流水线发送控制信号进行工作和复位。
[0013]优选的，所述Bicubic运算流水线包括超分辨率像素块缓存器、对称多路复用器、乘加单元和多输入加法单元；
[0014]所述超分辨率像素块缓存器与所述图像行缓存器相连，所述超分辨率像素块缓存
器、所述对称多路复用器、所述乘加单元和所述多输入加法单元依次相连；
[0015]所述超分辨率像素块缓存器，用于对超分辨率像素所需的原始像素块进行缓存并发送至所述对称多路复用器，还用于对图像左侧和右侧边缘的填充以维持图像放大后的大小；
[0016]所述对称多路复用器，用于对超分辨率像素块缓存器输出的像素矩阵进行垂直翻转并发送至所述乘加单元；
[0017]所述乘加单元，用于采用分离式乘法器对原始像素进行乘加获得超分辨率像素部分积；
[0018]所述多输入加法单元，用于汇总所述超分辨率像素部分积获得最终的超分辨像素。
[0019]优选的，所述Bicubic运算流水线还包括Bicubic系数查找表，所述Bicubic系数查找表与所述乘加单元相连，用于存储和调出与原始像素相乘的Bicubic系数并发送至所述乘加单元。
[0020]优选的，所述Bicubic运算流水线还包括舍入单元，所述舍入单元与所述多输入加法单元相连，用于将Bicubic流水线中使用较高定点量化位宽的数据进行舍入，使位于标准8位量化像素范围之内。
[0021]优选的，所述Bicubic运算流水线还包括像素门限单元，所述像素门限单元分别与所述舍入单元和所述像素重对齐模块相连，用于对超出标准8位量化像素范围的超分辨率像素进行修正并发送至所述像素重对齐模块。
[0022]优选的，所述分离式乘法器的满足关系式：
[0023]M＝C
·
(B
·2n
+A)＝C
·
A+C
·
B
·2n
；
[0024]所述乘加单元包括两个所述分离式乘法器，分别为第1级分离式乘法器和第2级分离式乘法器，满足关系式：
[0025]M＝C1·
(A1+B1·218
)+C2·
(A2+B2·218
)
[0026]M1＝M
[17：0]＝C1·
A1+C2·
A2[0027]M2＝M
[35：18]‑
M
[17]＝C1·
B1+C2·
B2‑
M
[17]；
[0028]其中，A、B、C、A1、B1、A2和B2为原始像素，A1和B1互相对称，A2和B2互相对称，C、C1和C2分别为Bicubic系数。
[0029]优选的，所述Bicubic流水线包括16个所述乘加单元。
[0030]优选的，所述图像行缓存器数量为5,4个所述图像行缓存器用于缓存并输出用于所述Bicubic流水线计算的图像行，1个所述图像行缓存器用于缓冲准备。
[0031]一种实时图像超分辨率系统，包括总线转换器IP、直接内存存取控制器、AXI总线桥、PS端处理器、视频处理流水线和DP控制器；
[0032]所述视频处理流水线包括RGB
‑
YUV转换IP、所述实时图像超分辨率IP核和YUV
‑
RGB转换IP；所述实时图像超分辨率IP核的数量为3；各个所述实时图像超分辨率IP核，用于并行同步处理YUV的一个通道。
[0033]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种实时图像超分辨率IP核及系统，利用独特的分割乘法器结构，使乘法器的资源消耗减半，减少布线长度，提高IP性能；在边缘低功耗节点上使用FPGA或ASIC，嵌入本专利技术的实时图像超分辨率IP
核，可轻松实现实时的(60FPS以上)4K级别的图像超分辨率，功耗低、资源占用少。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0035]图1附图为本专利技术提供的一种实时图像超分辨率IP核的结构示意图；
[0036]图2附图为本专利技术提供的Bicubic运算流水线的结构示意图；
[0037]图3附图本专利技术提供的超分辨率像素块缓存器的结构示意图；
[0038]图4附图为本文档来自技高网...

【技术保护点】

【技术特征摘要】
M2＝M
「35：18]
‑
M
[17]
＝C1·
B1+C2·
B2‑
M
[17]
；其中，A、B、C、A1、B1、A2和B2为原始像素，A1和B1互相对称，A2和B2互相对称，C、C1和C2分别为Bicubic系数。8.根据权利要求3所述的一种实时图像超分辨率IP核，其特征在于，所述Bicubic流水线包括16个所述乘加单元。9.根据权利要求1所述的一种实时图像超分辨率IP核，其特征在于，所述图像行缓存器数量为5,4个所述图像行缓存器用于缓存并输...

【专利技术属性】
技术研发人员：黄金源，邓立唯，梁培，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：