一种基于Canny算法的图像上采样的硬件计算系统及方法技术方案

本发明专利技术公开了一种基于Canny算法的图像上采样的硬件计算系统及方法，涉及图像处理领域。当前对图像进行4倍或以上倍数上采样操作时硬件资源消耗大、计算慢、无法简单通过集成电路设计实现。本发明专利技术提出的上采样系统和方法，对图像的上、下边界进行一般插值计算，对图像核心部分采用核心插值计算。核心插值算法重复多次调用图像核心插值模块，可以逐行进行插值计算，系统每次只需存储图片的一部分，能以低硬件资源消耗为代价保证上采样过程中图像边缘和细节的改善，通过多路并行计算以提高运算速度，实现对图像的实时处理，能够通过集成电路完成由低分辨率到超高分辨率RGB图像的上采样。采样。采样。

【技术实现步骤摘要】
一种基于Canny算法的图像上采样的硬件计算系统及方法


[0001]本专利技术涉及图像处理领域，特别是涉及一种基于Canny算法的图像上采样的硬件计算系统及方法。

技术介绍

[0002]随着各类图像技术发展，当今显示分辨率需求越来越高，逐步向超高清分辨率4K或8K发展。然而GPU价格高昂，性能普遍不足以在此分辨率上流畅渲染图片。因此图像上采样技术在图像处理系统中的需求越来越高。
[0003]图像上采样技术用于将图像由低分辨率图像上采样为高分辨率图像，对于高倍数上采样，目前的传统插值方法，如双线性插值，双三次插值等，由于算法自身特性会获得较为平滑模糊的插值图像，对于4倍或以上的放大更是高频信息丢失严重，容易在图像的边缘出现锯齿，失真等现象。目前的基于神经网络的上采样方法，如基于SRGAN的上采样方法，对图像边缘的锯齿现象改善效果好，细节远高于传统插值方法，但是神经网络在硬件上资源消耗大，计算时间慢而无法达到实时性要求。
[0004]随着图像尺寸的增加，一般的基于边缘替代的上采样算法由于需要复杂的类似于图卷积的中间计算和较多的运算资源，常常无法通过集成电路设计实现。
[0005]中国专利申请，申请号CN201310412603.8，公开日2016年6月8号，公开了一种边缘导向的自适应图像插值方法及其VLSI实现装置，该专利计算源图像像素点梯度幅值和梯度方向，通过比较梯度幅值与局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；将边缘方向分类，利用边缘信息进行滤波，将图像分为规则边缘和非边缘区域。规则边缘区域沿边缘方向插值，且根据边缘信息的分类分别采用基于局部梯度信息的改进双三次插值方法、斜向双三次插值方法、斜向双线性插值方法进行图像插值；非边缘区域采用基于局部梯度信息的改进双三次插值方法进行图像插值；该专利技术的装置包括边缘信息提取模块，自适应插值模块、输入行场以及缩放后行场同步控制模块。该专利技术能显著提高高倍率缩放下的图像插值效果，有利于集成电路架构实现。但是，该专利提出的VLSI实现装置由于计算时存储了整张图片的数据和对应中间结果，因而在处理大尺寸图像时，存储资源消耗很大，导致生产成本高。

技术实现思路

[0006]1.要解决的技术问题
[0007]针对现有技术中存在的4倍或以上图像上采样操作对硬件资源消耗大、计算时间慢、无法简单通过集成电路设计实现的问题，本专利技术提供了基于Canny算法的图像上采样的硬件计算系统和方法，它能以低硬件资源消耗为代价保证图像边缘和细节的改善，充分利用存储资源实现多路并行计算以提高运算速度实现对图像的实时处理，能够通过集成电路实现。
[0008]2.技术方案
[0009]本专利技术提出了一种基于Canny算法的图像上采样的硬件计算系统，该系统包括IP控制单元，SRAM存储模块，图像边界插值控制模块，线性插值计算单元，图像核心插值控制模块，双三次插值单元，合成梯度计算单元，边缘判断单元，边缘替换单元，共三个控制模块，一个存储模块和五个计算单元。
[0010]IP控制单元：负责对算法流程的整体控制。
[0011]SRAM存储模块：存储计算过程中的中间结果。
[0012]图像边界插值控制模块：负责进行图像上边界和下边界情况的计算流程控制，通过读取SRAM存储模块中的数据，调用线性插值计算单元进行计算并将结果数据存入SRAM的结果区。
[0013]线性插值计算单元：负责对输入的源数据进行双线性插值并输出插值结果。
[0014]图像核心插值控制模块：负责进行图像的核心部分的图像插值计算流程控制，控制SRAM存储模块读写并调用各类计算模块进行计算。
[0015]双三次插值单元：负责进行双三次插值并输出插值结果。
[0016]合成梯度计算单元：负责将SRAM存储模块的中间结果区的数据进行水平与垂直的梯度计算并且计算出合成梯度的模长与相角。
[0017]边缘判断单元：负责判断输入数据是强边缘，弱边缘还是非边缘。
[0018]边缘替换单元：负责对每个像素点根据对应边缘标签执行相应替换操作。
[0019]基于以上图像上采样的硬件计算系统，本专利技术提出了一种基于Canny算法的图像上采样的硬件计算方法，步骤如下：
[0020]IP控制单元调用图像边界插值控制模块对图像的上边界进行一般插值计算；
[0021]IP控制单元调用图像核心插值控制模块，依次使能双三次插值单元、合成梯度单元、边缘判断单元、边缘替换单元和双三次插值单元，对图像核心部分采用核心插值算法完成核心插值计算；在一次上采样过程中重复多次调用图像核心插值模块；
[0022]IP控制单元调用图像边界插值控制模块对图像的下边界进行一般插值计算；
[0023]所述一般插值计算及核心插值计算过程中，计算源数据从SRAM存储模块中读取，结果数据和计算的中间结果存储入SRAM存储模块中。
[0024]在进一步的实施例中，上采样方法为，对整张LR图像以逐行计算的形式进行，对图像核心部分采用核心算法插值；对图像上边界和下边界进行一般插值，以保证图像尺寸完整。
[0025]在进一步的实施例中，所述的一般插值算法为双线性插值算法；所述的核心插值算法是基于Canny边缘检测与修正算法逐行进行计算的，图像核心插值模块为每次输入9行LR像素值并输出4行HR上采样结果，核心插值算法重复多次调用图像核心插值模块以得到完整高分辨率图像HR。图像核心插值模块的插值方式为对输入像素值先进行一次双三次插值将所述图像的长和宽同时放大到原有图像的两倍，再利用Canny算法检测边缘并在此基础上进行边缘优化，最后再进行一次双三次插值将得到的图像长和宽同时放大到两倍以得到最终HR图像。
[0026]在进一步的实施例中，所述的图像核心插值模块中的Canny算法检测边缘并优化的过程具体为：
[0027]Sobel滤波：合成梯度计算单元先采用Sobel算子对图像进行滤波，计算出每个像
素点水平方向梯度和垂直方向梯度；然后计算出每个像素点的合成梯度，包括其模长G和相角sita；
[0028]边缘判断：边缘判断单元先对合成梯度进行非极大值抑制操作，然后进行双阈值判断，输出每个像素点的边缘标签，所述边缘标签包括强边缘标签、弱边缘标签和非边缘标签；
[0029]边缘替换：边缘替换单元根据每个像素点对应的边缘标签执行相应替换操作。
[0030]在进一步的实施例中，所述的图像核心插值模块中的Canny算法检测边缘并优化的过程中Sobel滤波步骤中包括：合成梯度计算单元的输入为待计算像素点与周围8个点对应的LR像素值，输出为待计算像素点的合成梯度模长G和合成相角sita。合成梯度计算单元内部包含了CORDIC计算单元，采用计算模式为在圆周系统下的向量模式，并添加了负向迭代以满足收敛域要求，设置CORDIC计算单元的输入x0为水平梯度G_0，y0为垂直梯度G_90，z0为0，得到输出xn为合成梯度的模长yn为相角
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Canny算法的图像上采样硬件计算系统，其特征在于，包括：IP控制单元，负责对算法流程的整体控制，调用图像边界插值控制模块进行图像的上边界线性插值计算，调用图像核心插值控制模块完成图像核心部分插值计算；SRAM存储模块，包括源数据区、中间结果区和结果区，负责存储图像边界插值计算及图像核心部分插值计算源数据、结果数据和计算的中间结果；图像边界插值控制模块，负责进行图像上边界和下边界插值计算流程控制，通过读取SRAM存储模块中的源数据，调用计算单元进行计算，并将结果数据存入SRAM存储模块中的结果区；图像核心插值控制模块，负责进行图像的核心部分的图像插值计算流程控制，控制SRAM存储模块读写并调用计算模块进行计算，并将结果数据存入SRAM存储模块中的结果区。2.根据权利要求1所述的一种基于Canny算法的图像上采样硬件计算系统，其特征在于，图像核心插值控制模块调用的计算模块包括：双三次插值单元，负责对图像进行双三次插值计算，将所述图像的长和宽分别放大到原有长和宽的两倍；合成梯度计算单元，负责将SRAM存储模块中中间结果区的数据进行水平与垂直的梯度计算并且计算出合成梯度的模长与相角；边缘判断单元，负责判断输入数据是强边缘、弱边缘还是非边缘；边缘替换单元，负责对每个像素点根据对应边缘标签执行相应替换操作。3.一种基于权利要求1或2所述基于Canny算法的图像上采样硬件计算系统的基于Canny算法的图像上采样的硬件计算方法，步骤如下：IP控制单元调用图像边界插值控制模块对图像的上边界进行一般插值计算；IP控制单元调用图像核心插值控制模块，依次使能双三次插值单元、合成梯度单元、边缘判断单元、边缘替换单元和双三次插值单元，对图像核心部分采用核心插值算法完成核心插值计算；在一次上采样过程中重复多次调用图像核心插值模块；IP控制单元调用图像边界插值控制模块对图像的下边界进行一般插值计算；所述一般插值计算及核心插值计算过程中，计算源数据从SRAM存储模块中读取，结果数据和计算的中间结果存储入SRAM存储模块中。4.根据权利要求3所述的一种基于Canny算法的图像上采样的硬件计算方法，其特征在于，所述的一般插值算法为双线性插值算法；所述的核心插值算法是基于Canny边缘检测与修正算法的插值算法。5.根据权利要求4所述的一种基于Canny算法的图像上采样的硬件计算方法，其特征在于，所述基于Canny边缘检测与修正算法的插值算法...

【专利技术属性】
技术研发人员：武瑞琪，李丽，傅玉祥，孙浩瀚，荆浩，
申请(专利权)人：南京宁麒智能计算芯片研究院有限公司，
类型：发明
国别省市：