一种基于FPGA实现图片超分辨率重建的装置制造方法及图纸

本发明专利技术涉及一种基于FPGA实现图片超分辨率重建的装置，包括：相互连接通信的FPGA和第一片外缓存；第一片外缓存用于存储待处理源图像以及目的图像的数据；FPGA内部寄存器存储有双三次插值权重；根据源图像和目的图像的尺寸大小计算得到源图像与目的图像中各个点的位置对应关系，根据位置对应关系计算得到双三次插值权重；上采样模块根据双三次插值权重对源图像的数据进行双三次插值上采样后，将图像上采样结果数据输出给锐化模块；锐化模块对图像上采样结果数据进行拉普拉斯锐化运算后，将图像锐化结果数据输出到数据缓存模块；将数据缓存模块的图像锐化结果数据写入第一片外缓存中得到目的图像；以解决图像分辨率不足和图像质量不高的问题。质量不高的问题。质量不高的问题。

【技术实现步骤摘要】
一种基于FPGA实现图片超分辨率重建的装置


[0001]本专利技术涉及图片超分辨率重建领域，尤其涉及一种基于FPGA实现图片超分辨率重建的装置。

技术介绍

[0002]图像是人类获取外界信息的重要来源之一，其承载着许多重要的信息。随着时代的不断发展，人们生活水平的不断提高，对图像质量的要求也在不断提高。但是，由于受到图像采集设备精度过低、图像信号传输过程中存在噪声等问题的影响，使得摄像头捕捉到的图像与预期有偏差，存在着分辨率下降、存在噪点等问题，使得难以满足日常生活的正常需求。随着科学技术的不断发展，人们对数字图像进行处理的技术也在不断提高，可以通过对单幅低分辨率图像进行一定的数字信号处理从而得到一幅高分辨率图像，即超分辨率重建。这种方式可以在不改变图像捕捉设备的基础上得到一幅高分辨率图像，突破现有成像技术的限制。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题，提供一种基于FPGA实现图片超分辨率重建的装置，以解决图像分辨率不足和图像质量不高的问题。
[0004]根据本专利技术的第一方面，提供了一种基于FPGA实现图片超分辨率重建的装置，包括：相互连接通信的FPGA和第一片外缓存；所述第一片外缓存用于存储待处理源图像以及目的图像的数据；所述FPGA包括：FPGA内部寄存器、上采样模块、锐化模块和数据缓存模块；所述FPGA内部寄存器存储有双三次插值权重；根据所述源图像和目的图像的尺寸大小计算得到所述源图像与目的图像中各个点的位置对应关系，根据所述位置对应关系计算得到所述双三次插值权重；所述上采样模块根据所述双三次插值权重对所述源图像的数据进行双三次插值上采样后，将图像上采样结果数据输出给所述锐化模块；所述锐化模块对所述图像上采样结果数据进行拉普拉斯锐化运算后，将图像锐化结果数据输出到所述数据缓存模块；将所述数据缓存模块的所述图像锐化结果数据写入所述第一片外缓存中得到所述目的图像。
[0005]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0006]可选的，所述装置还包括：与所述FPGA连接通信的第二片外缓存；所述第二片外缓存用于存储配置参数数据；所述FPGA还包括：配置模块、数据搬运模块和数据缓存控制模块；所述配置模块从所述第二片外缓存读取配置参数数据，基于所述配置参数配置所述数据搬运模块的内部寄存器的参数；
所述数据缓存控制模块根据所述图像锐化结果数据的时序对所述配置模块进行反馈，控制所述数据搬运模块从所述数据缓存模块中读出所述图像锐化结果数据并写入所述第一片外缓存中；所述数据搬运模块基于其内部寄存器的参数，从所述第一片外缓存读取所述源图像的数据给所述上采样模块，以及将所述数据缓存模块的所述图像锐化结果数据写入所述第一片外缓存中。
[0007]可选的，所述所述数据搬运模块的内部寄存器的参数包括：INPUT_SIGNAL、DST_ADDR、SRC_ADDR、RD_SIZE和WR_SIZE；所述INPUT_SIGNAL用于指示所述数据搬运模块从所述第一片外缓存中读取数据或者向所述第一片外缓存中写入数据；所述DST_ADDR用于指示所述数据搬运模块在所述第一片外缓存中的写数据地址；所述SRC_ADDR用于指示所述数据搬运模块在所述第一片外缓存中的读数据地址；所述RD_SIZE用于指示所述数据搬运模块从所述第一片外缓存中读取数据长度；所述WR_SIZE用于指示所述数据搬运模块向所述第一片外缓存中写入数据长度。
[0008]可选的，所述源图像与所述目的图像中各个点的位置对应关系的公式为：；；其中，所述源图像中点A与所述目的图像中点B是对应点，是源图像中点A的横坐标，是源图像中点A的纵坐标，是目的图像中点B的横坐标，是目的图像中点B的纵坐标，a是目的图像与源图像的横坐标方向的长度之比，b是目的图像与源图像的纵坐标方向的长度之比。
[0009]可选的，所述源图像与所述目的图像中各个点的位置对应关系的公式为：；；其中，所述源图像中点A与所述目的图像中点B是对应点，是源图像中点A的横坐标，是源图像中点A的纵坐标，是目的图像中点B的横坐标，是目的图像中点B的纵坐标，a是目的图像与源图像的横坐标方向的长度之比，b是目的图像与源图像的纵坐标方向的长度之比。
[0010]可选的，所述FPGA内部寄存器存储的双三次插值权重的计算公式为：；其中，为采样点在一个维度上的插值权重，z为采样点与目的图像中点在源图像中对应点的坐标差值；为经验参数值。
[0011]可选的，所述上采样模块对所述源图像进行双三次插值上采样的采样点包括：在一个维度上，所述采样点有4个点，其坐标分别为：，，和；在二维平面上，所述采样点有16个点，其坐标分别为：。
[0012]可选的，所述源图像的数据为所述源图像中所有点的像素值，各个点的像素格式为RGB888。
[0013]可选的，所述上采样模块包括：RAM、第二数据重排模块和计算模块；所述RAM用于存储所述数据搬运模块输出的所述源图像的数据，所述RAM使用四个RAM组分别缓存所述源图像四行点的像素值；一个RAM组的24个片上RAM分别存储所述源图
像中同一行8个点的24个通道的像素值；所述第二数据重排模块用于根据当前计算点的位置，分别从4个RAM组中各取出4个点的像素值后进行重新排列，输出至所述计算模块；所述计算模块通过乘加阵列将输入的点的像素值与权重进行乘加计算，得到所述图像上采样结果数据。
[0014]可选的，所述锐化模块对所述图像上采样结果数据进行拉普拉斯锐化运算模板为：；所述图像锐化结果数据为目的图像点的像素值。
[0015]本专利技术提供的一种基于FPGA实现图片超分辨率重建的装置，可以将图像捕捉设备捕捉的存储在外部缓存中的一幅低分辨率图像放大为一幅高分辨率图像，可以在不改变图像捕捉设备的前提下突破现有图像成像技术的限制。区别于现有技术，不需要大量的矩阵乘法运算和矩阵求逆运算等复杂运算，具有更高的帧率和更低的功耗。
附图说明
[0016]图1是本专利技术实施例提供的一种基于FPGA实现图片超分辨率重建的装置的硬件实现架构图；图2是本专利技术实施例提供的一种量化后权重存储结构图；图3是本专利技术实施例提供的一种上采样模块计算双三次插值的原理架构图；图4是本专利技术实施例提供的一种上采样模块中计算模块的电路设计原理架构图；图5是本专利技术实施例提供的一种锐化模块计算拉普拉斯锐化的原理架构图。
具体实施方式
[0017]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0018]图1为本专利技术提供的一种基于FPGA实现图片超分辨率重建的装置的图，如图1所示，该装置包括：相互连接通信的FPGA和第一片外缓存；第一片外缓存用于存储待处理源图像以及目的图像的数据。
[0019]FPGA包括：FPGA内部寄存器、上采样模块、锐化模块和数据缓存模块。
[0020]FPGA内部寄存器存储有双三次插值权重；根据源图像和目的图像的尺寸大小计算得到源图像与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA实现图片超分辨率重建的装置，其特征在于，所述装置包括：相互连接通信的FPGA和第一片外缓存；所述第一片外缓存用于存储待处理源图像以及目的图像的数据；所述FPGA包括：FPGA内部寄存器、上采样模块、锐化模块和数据缓存模块；所述FPGA内部寄存器存储有双三次插值权重；根据所述源图像和目的图像的尺寸大小计算得到所述源图像与目的图像中各个点的位置对应关系，根据所述位置对应关系计算得到所述双三次插值权重；所述上采样模块根据所述双三次插值权重对所述源图像的数据进行双三次插值上采样后，将图像上采样结果数据输出给所述锐化模块；所述锐化模块对所述图像上采样结果数据进行拉普拉斯锐化运算后，将图像锐化结果数据输出到所述数据缓存模块；将所述数据缓存模块的所述图像锐化结果数据写入所述第一片外缓存中得到所述目的图像。2.根据权利要求1所述的装置，其特征在于，所述装置还包括：与所述FPGA连接通信的第二片外缓存；所述第二片外缓存用于存储配置参数数据；所述FPGA还包括：配置模块、数据搬运模块和数据缓存控制模块；所述配置模块从所述第二片外缓存读取配置参数数据，基于所述配置参数配置所述数据搬运模块的内部寄存器的参数；所述数据缓存控制模块根据所述图像锐化结果数据的时序对所述配置模块进行反馈，控制所述数据搬运模块从所述数据缓存模块中读出所述图像锐化结果数据并写入所述第一片外缓存中；所述数据搬运模块基于其内部寄存器的参数，从所述第一片外缓存读取所述源图像的数据给所述上采样模块，以及将所述数据缓存模块的所述图像锐化结果数据写入所述第一片外缓存中。3.根据权利要求2所述的装置，其特征在于，所述所述数据搬运模块的内部寄存器的参数包括：INPUT_SIGNAL、DST_ADDR、SRC_ADDR、RD_SIZE和WR_SIZE；所述INPUT_SIGNAL用于指示所述数据搬运模块从所述第一片外缓存中读取数据或者向所述第一片外缓存中写入数据；所述DST_ADDR用于指示所述数据搬运模块在所述第一片外缓存中的写数据地址；所述SRC_ADDR用于指示所述数据搬运模块在所述第一片外缓存中的读数据地址；所述RD_SIZE用于指示所述数据搬运模块从所述第一片外缓存中读取数据长度；所述WR_SIZE用于指示所述数据搬运模块向所述第一片外缓存中...

【专利技术属性】
技术研发人员：江先阳，吕子寒，欧阳甜，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：