一种基于FPGA的超细电子内镜高清插值模块与方法技术

本发明专利技术提供一种基于FPGA的超细电子内镜高清插值模块与方法。本模块包括由FPGA芯片和片外存储器RAM集成的FPGA系统，FPGA芯片连接超细电子内窥镜和高清医用监视器。本方法包括，将超细电子内窥镜采集到的低质视频图像传输存储在FPGA系统的缓存中，然后利用高清插值方法包括色彩插值和缩放插值，恢复视频图像的色彩并提高视频图像的分辨率，针对绿色分量的色彩恢复，在梯度插值的基础上加上待插值点周边像素点的色差差异，根据梯度和色差差异选择插值的梯度方向；最后将处理过的视频图像输出到医用高清监视器上。

【技术实现步骤摘要】
一种基于FPGA的超细电子内镜高清插值模块与方法
本专利技术涉及一种基于FPGA的超细电子内镜高清插值模块与方法。能够满足超细电子内镜的应用需求。
技术介绍
医用电子内镜是一种能够直接窥视人体内部器官和组织的医疗仪器，经由人体的天然孔道或者是手术形成的小切口进入人体体内。由于其创口微小、感染风险低、术后恢复速度快等优点，医用电子内镜的使用范围和需求越来越大。随着微创手术的发展，人们希望手术创口更小使得术后恢复速度更快，所以医用电子内镜也朝着超细化的方向发展。为了获得更小的尺寸，通常的做法是缩小电子内镜中采用的传感器尺寸以及采用单一的CCD/CMOS传感器进行图像采集。但在尺寸缩减的同时也导致获得的图像质量也受到了影响，主要包括色彩失真、图像分辨率低等问题。由于医用电子内窥镜使用场景的限制，从内窥镜图像采集到医用监视器显示必须是实时的，因此一般效果较好的色彩恢复以及超分辨率的方法难以满足要求，所以采用色彩插值以及缩放插值的方法来实现色彩恢复和视频缩放。FPGA由于其高速的运算能力以及可并行的运算优势，常用于图像处理领域。本专利技术采用FPGA对超细电子内镜采集得到的视频图像进行实时的高清插值处理，使得医生能够在高清医用监视器上观察到清晰、色彩真实的图像，帮助医生进行更好的诊断、治疗。
技术实现思路
本专利技术的目的在于针对已有技术存在的缺陷，提供一种基于FPGA的超细电子内窥镜的超清插值模块和方法，本专利技术算法比一般的双线性方法有着更好的效果，并且时间复杂度低，能够实时处理显示超细电子内镜采集到的视频图像。为达到上述目的，本专利技术采用下述技术方案：一种基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片和片外存储RAM集成的FPGA系统，其特征在于：所述FPGA芯片连接一个超细电子内镜和一个高清医用监视器，实时处理和输出：将FPGA系统中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备读入第一帧图像并缓存到片外存储RAM中；第二个周期对片外存储RAM缓存的图像进行高清超值，并继续从输入设备读入第二帧图像并缓存到片外RAM中，第三个周期向高清医用监视器输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM。根据此流程循环往复直到停止视频输入并完成全部输出。一种高清插值方法，包括基于色差的色彩插值和线性近似双三次插值，具体步骤如下：一种色彩插值方法，包括以下具体步骤：步骤1，根据超细电子内窥镜获得Bayer格式视频图像，获得待插值区域的5×5像素模板，该模板包括待插值像素点及其5×5领域内的其他像素点；步骤2，若待插值像素点的行列地址奇偶性相同，则采用线性插值恢复待插值点缺失的RGB颜色分量；若待插值像素点的行列地址奇偶性不同，则进入步骤3；步骤3，针对缺失的红/蓝分量，计算对角线的梯度值得到待插值点的红/蓝分量；步骤4，针对缺失的绿色分量，计算待插值点的水平梯度和垂直梯度以及左、右对角线四个点的色差值，根据左、右对角线四个点的色差值计算得到待插值点5×5领域内的水平和垂直方向的色差；步骤5，计算步骤4所得的色差值和梯度值之和，得到修正后的水平、垂直方向的梯度值，根据步骤四所得修正后的梯度值判断插值，如果水平方向梯度值大于垂直方向梯度值，则根据水平方向的已知像素点计算待插值点缺失的RGB分量，如果水平方向梯度值小于垂直方向，则根据垂直方向的已知像素点计算待插值点缺失的RGB分量，如果两者相同，则根据水平和垂直方向的已知像素点计算待插值点缺失的RGB分量。优选的，步骤1中获得待插值区域的5×5像素模板的方法为：从FPGA片外RAM中依次读取缓存的当前帧图像数据，用5个行缓存器存储当前所需的5行图像数据，并用5×5个移位寄存器组成窗口读取当前所需的5×5像素模板。优选的，步骤4、5中针对缺失的绿色分量的计算方法，具体为：若待插值点为奇数行偶数列，则待插值点缺失的颜色分量为蓝、绿分量，其中蓝色分量计算方法如下，首先计算待插值点的水平、垂直梯度：式中(R,G,B)为待插值点的RGB三通道值，数字则分别代表该像素点在5×5模板中的行列地址。计算待插值点周围的色差差异：其中，为水平方向色差差异值，为垂直方向色差差异值，P为待插值点对角线上的四个像素点，为该点3×3邻域水平方向上的色差值，为该点3×3领域垂直方向上的色差值。计算梯度与色差差异的和，得到新的梯度值：根据梯度方向判断边缘方向并进行插值，当时，待插值点处于水平边缘：当时，待插值点处于垂直边缘：当时，待插值点处于水平边缘：若待插值点为偶数行奇数，则待插值点缺失的颜色分量为红、绿分量，其中绿色分量计算方法和上述相同，将式中的蓝色分量更换为红色分量。一种色彩插值的高效FPGA实现，具体步骤包括：色差差异计算模块，用于计算当前像素点与周边像素点的色差值；梯度算子计算模块，用于计算当前像素点与周围像素点在不同方向上的梯度值；绿色分量生成模块，用于利用上述色差差异计算模块和梯度算子计算模块得到的结果，计算当前像素点缺失的绿色分量；红/蓝分量生成模块，用于.利用上述计算当前像素点缺失的红/蓝分量。一种线性近似的双三次插值，包括以下具体步骤：步骤1，根据色彩恢复后的视频图像，获取4×4的像素模板，该模板包括待插值点周围4×4个像素点；步骤2，根据待插值点与周围像素点的垂直距离，计算垂直方向插值系数；步骤3，根据垂直方向插值系数计算垂直方向的四个虚拟像素点；步骤4，根据待插值点与四个虚拟像素点的水平距离，计算水平方向插值系数；步骤5，根据水平方向的插值系数计算得到待插值点的像素值。一种线性近似双三次插值的高效FPGA实现，包括：插值系数生成模块，用于计算当前待插值像素点与周围像素点的插值系数；垂直插值模块，用于根据插值系数生成模块的结果计算垂直方向上的插值结果；水平插值模块，用于根据插值系数生活曾模块以及垂直插值模块的结果计算水平方向上的插值结果。本专利技术与现有技术相比，具有以下优点：提供了一种对超细电子内窥镜的高清图像处理方案和模块，能够为医生实时提供高清的视频图像，辅助医生提高诊疗水平；相对于传统的双线性等插值方法有着更好的图像质量，并且算法复杂度较低、易于实现；在色彩插值过程中加入色差值，能够得到色彩更加真实的视频图像，帮助医生更好的判断观察位置的情况等。附图说明附图1是基于FPGA的超细电子内镜高清插值硬件系统框架图。附图2是Bayer格式5×5像素模板示意图。附图3是本专利技术中色彩插值的方法流程图。附图4是本专利技术中色彩插值的FPGA实现结构框图。附图5是本专利技术中缩放插值的FPGA实现结构框图。具体实施方式下面结合附图对本专利技术的优选实施例作详细说明：实施例一：参见图1，本基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片（2）和片外存储RAM（3）集成的FPGA系统（1），其特征在于：所述FPGA芯片（2）连接一个超细电子内镜（4）和一个高清医用监视器（5），实时处理和输出：将FPGA系统（1）中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备（4）读入第一帧图像并缓存到片外存储RAM（3）中；第二个周期对片外存储RAM（3）缓存的图像进行高清超值，并继续从输入设备（4）读入第二帧图像并缓存到片外RAM（3）中，第三个周期向高本文档来自技高网...

【技术保护点】
1.一种基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片（2）和片外存储RAM（3）集成的FPGA系统（1），其特征在于：所述FPGA芯片（2）连接一个超细电子内镜（4）和一个高清医用监视器（5），实时处理和输出：将FPGA系统（1）中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备（4）读入第一帧图像并缓存到片外存储RAM（3）中；第二个周期对片外存储RAM（3）缓存的图像进行高清超值，并继续从输入设备（4）读入第二帧图像并缓存到片外RAM（3）中，第三个周期向高清医用监视器（5）输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM（3）。根据此流程循环往复直到停止视频输入并完成全部输出。

【技术特征摘要】
1.一种基于FPGA的超细电子内镜高清插值模块，其包括由FPGA芯片（2）和片外存储RAM（3）集成的FPGA系统（1），其特征在于：所述FPGA芯片（2）连接一个超细电子内镜（4）和一个高清医用监视器（5），实时处理和输出：将FPGA系统（1）中的处理过程分为三个步骤的流水线操作：第一个周期从输入设备（4）读入第一帧图像并缓存到片外存储RAM（3）中；第二个周期对片外存储RAM（3）缓存的图像进行高清超值，并继续从输入设备（4）读入第二帧图像并缓存到片外RAM（3）中，第三个周期向高清医用监视器（5）输出处理后的图像，插值处理第二帧图像，同时读取第三帧图像并缓存到片外RAM（3）。根据此流程循环往复直到停止视频输入并完成全部输出。2.一种基于FPGA的超细电子内镜高清插值方法，采用根据权利1所述的超细电子内镜高清插值模块进行操作，其特征在于：包括以下操作步骤：步骤1，对输入的视频图像进行色彩插值，恢复视频图像原有的色彩；步骤2，根据步骤1中得到的色彩插值后的视频图像，用线性近似的双三次插值提升分辨率。3.根据权利2所述的基于FPGA的超细电子内镜高清插值方法，其特征在于：所述步骤1，采用色彩插值恢复图像色彩包括以下具体步骤：步骤1-1，根据超细电子内窥镜获得Bayer格式视频图像，获得待插值区域的5×5像素模板，该模板包括待插值像素点及其5×5领域内的其他像素点；步骤1-2，若待插值像素点的行列地址奇偶性相同，则采用线性插值恢复待插值点缺失的RGB颜色分量；若待插值像素点的行列地址奇偶性不同，则进入步骤1-3；步骤1-3，针对缺失的红/蓝分量，计算对角线的梯度值得到待插值点的红/蓝分量；步骤1-4，针对缺失的绿色分量，计算待插值点的水平梯度和垂直梯度以及左、右对角线四个点的色差值，根据左、右对角线四个点的色差值计算得到待插值点5×5领域内的水平和垂直方向的色差；步骤1-5，计算步骤1-4所得的色差值和梯度值之和，得到修正后的水平、垂直方向的梯度值，根据步骤1-4所得修正后的梯度值判断插值，如果水平方向梯度值大于垂直方向梯度值，则根据水平方向的已知像素点计算待插值点缺失的绿色...

【专利技术属性】
技术研发人员：曹雷，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31