一种基于制造技术

本发明专利技术一种基于

【技术实现步骤摘要】
一种基于FPGA的CLAHE图像增强实时处理方法及系统


[0001]本专利技术涉及图像处理
，尤其是涉及一种基于
FPGA
的
CLAHE
图像增强实时处理方法及系统
。

技术介绍

[0002]CLAHE(Contrast Limited Adaptive Hitogram Equalization)
限制对比度自适应直方图均衡化，是一种图像增强算法
。
[0003]CLAHE
算法是在全局直方图均衡化
HE
（
Hitogram Equalization
）的基础上改进而来，具有更佳的局部对比度增强效果，可显著抑制噪声
、
丰富图像细节
。
[0004]CLAHE
算法在
PC
上已得到广泛实现，但在
FPGA
可编程逻辑器件上并行处理还鲜有研究，尤其是当前帧计算出来的所有区域直方图仅对当前画面有效，实现真正意义上的视频实时处理，难度较大，因此需要进一步的研究和探索基于
FPGA
的
CLAHE
图像增强实时处理方法
。

技术实现思路

[0005]本专利技术主要是解决了
CLAHE
算法缺乏在
FPGA
上的应用，无法实现视频实时处理的问题，提供了一种基于
FPGA
的
CLAHE
图像增强实时处理方法及系统
。
本专利技术将图像的行以窗口高度为大小乒乓缓存在
DDR
中，待逻辑完成区域化直方图统计
、
阈值裁剪
、
分布积分后，读取
DDR
中缓存的图像行像素，结合直方图
SRAM
实时获得四个映射灰度值，最后通过双线性插值的组合逻辑运算完成对每个像素点的增强处理
。
[0006]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种基于
FPGA
的
CLAHE
图像增强实时处理方法，包括以下步骤：
S1.
采集视频流进行
YUV
色彩空间转换；
S2.
根据设定窗口对视频流图像进行直方图区域划分；
S3.
至少建立三个基于乒乓操作的顶层例化，对三个顶层例化循环输入第一图像行进行直方图
CDF
曲线计算，并结合输入第二图像行进行像素点邻域直方图灰度映射计算，输出像素点四个邻域直方图映射灰度；第一图像行为基于直方图区域划分的窗口高度图像行，第二图像行为两个顶层例化对应的第一图像行上半部和下半部结合的图像行；
S4.
根据像素点所在图像坐标计算对应四个邻域直方图映射灰度权重，对四个邻域直方图映射灰度进行双线性插值计算，获得增强像素点灰度；
S5.
基于增强像素点灰度的图像数据，进行
RGB
色彩空间转换，进行视频流输出
。
[0007]本专利技术提出了基于
FPGA
的
CLAHE
图像实时处理方法，对视频流图像进行直方图区域划分，将图像行以窗口高度为大小乒乓缓存在外部
DDR
中，通过建立三个顶层例化，顶层例化采用乒乓操作进行缓存，对顶层例化循环输入第一图像行完成区域化直方图统计
、
阈值剪裁
、
分布积分，并读取外部
DDR
中缓存的第二图像行像素，结合直方图
CDF
曲线
、
裁剪累
计值实时获得像素点邻域映射灰度，并根据三个顶层例化输出数据最终获得像素点四个邻域映射灰度，最后通过双线性插值的组合逻辑运算完成对每个像素点的增强处理
。
本专利技术实现了在
FPGA
上进行
CLAHE
图像增强处理，对图像进行实时处理，实现了真正意义上的视频实时处理
。
[0008]本方案中
FPGA
采集到的视频流均从
RGB
转到
YUV
的色彩空间，图像的增强是对于亮度分量
Y
进行的处理，
RGB
到
YUV
的色彩空间采用转换公式进行转换
。
通过预设窗口大小，由窗口对视频流的图像进行直方图区域划分，窗口大小设置以像素点为单位，根据视频的分辨率进行划分
。
视频像素流以窗口高度为大小的行数乒乓存储在外部
DDR
中，同时以第一图像行方式输入顶层例化进行直方图统计，第一图像行为基于直方图区域划分的窗口高度图像行，输入进行直方图统计，依次对每个直方图进行统计，统计数据缓存在相应的
SRAM
地址空间，在统计过程中对像素点灰度进行裁剪并将超出的像素点个数在寄存器中进行累加，采用的
SRAM
地址空间大小可以根据每次处理的图像行大小进行相应设置
。
在对图像行进行直方图统计后，启动对每个直方图
SRAM
的积分运算即统计数据的积分运算，计算得到一排直方图
CDF
曲线（
Cumulative Distribution Function
，累计分布），对应第一图像行的所有直方图，
CDF
曲线以离散的方式存储在
SRAM
中
。CDF
曲线计算在顶层例化中进行，本方案至少建立三个顶层例化，其中两两顶层例化确保
SRAM
能够缓存两排直方图
CDF
数据，为后续像素点灰度映射计算能够同时获取上下邻域直方图的映射灰度，灰度映射过程需要从外部
DDR
中读取相应行数的图像即第二图像行，第二图像行为两个顶层例化对应的第一图像行上半部和下半部结合的图像行，保证了第二图像行像素点四个邻域直方图的完整性
。
三个顶层例化为乒乓操作，循环缓存逐行输入的第一图像行直方图
CDF
曲线数据，结合输入相应的第二图像行计算该第二图像行像素点相应的邻域直方图映射灰度，最后结合三个顶层例化的结果最终输出像素点四个邻域直方图映射灰度
。
然后根据像素点所在图像坐标计算权重，对四个映射灰度进行双线性插值运算得到最终增强像素点灰度
。
增强后的像素灰度，结合原有的
UV
分量，还原到
RGB
色彩空间，进行视频流输出
。
[0009]作为一种优选方案，所述的直方图区域划分，具体包括：根据设定窗口的大小，对图像进行直方图区域划分；若图像横向或纵向像素点个数无法被窗口大小整除，则获取相邻的部分行数或列数，结合余数的行或列拼接成完整的直方图区域
。
[0010]以像素点为单位设定窗口本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征在于：包括以下步骤：
S1.
采集视频流进行
YUV
色彩空间转换；
S2.
根据设定窗口对视频流图像进行直方图区域划分；
S3.
至少建立三个基于乒乓操作的顶层例化，对三个顶层例化循环输入第一图像行进行直方图
CDF
曲线计算，并结合输入第二图像行进行像素点邻域直方图灰度映射计算，输出像素点四个邻域直方图映射灰度；第一图像行为基于直方图区域划分的窗口高度图像行，第二图像行为两个顶层例化对应的第一图像行上半部和下半部结合的图像行；
S4.
根据像素点所在图像坐标计算对应四个邻域直方图映射灰度权重，对四个邻域直方图映射灰度进行双线性插值计算，获得增强像素点灰度；
S5.
基于增强像素点灰度的图像数据，进行
RGB
色彩空间转换，进行视频流输出
。2.
根据权利要求1所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是所述的直方图区域划分，具体包括：根据设定窗口的大小，对图像进行直方图区域划分；若图像横向或纵向像素点个数无法被窗口大小整除，则获取相邻的部分行数或列数，结合余数的行或列拼接成完整的直方图区域
。3.
根据权利要求1所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是所述直方图
CDF
曲线计算包括直方图统计和直方图积分运算，直方图统计包括，根据输入的窗口高度图像行数据，统计直方图各灰度的像素点个数，累计各灰度下超过设定裁剪阈值的像素点个数，得到裁剪累计值；获得裁剪累计值包括，设定裁剪阈值，检测各灰度像素点个数，若像素点个数超过裁剪阈值，将裁剪阈值作为该灰度像素点个数，超过裁剪阈值的像素点个数进行累加，得到裁剪累计值；直方图积分运算包括，设定灰度累计值，遍历当前直方图灰度统计数据，将当前灰度累计值与当前灰度像素点个数相加作为新的灰度累计值，并将新的灰度累计值作为当前灰度的数值，遍历完毕获得直方图所有灰度累计值
。4.
根据权利要求1所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是步骤
S3
中顶层例化计算像素点四个邻域直方图映射灰度，具体包括：
a.
根据第一图像行排列逐行输入对应顶层例化，进行直方图
CDF
曲线计算，读取第二图像行分别输入各顶层例化；
b.
各顶层例化判断像素点邻域直方图分布位置与其当前第一图像行是否对应重合匹配，若存在匹配，则计算相匹配的邻域直方图映射灰度，获取所有顶层例化的邻域直方图映射灰度，输出像素点对应四个邻域直方图映射灰度；
c.
读取下一行第二图像行分别输入各顶层例化，同时对应当前最上行第一图像行的顶层例化输入下一行第一图像行；
d.
重复步骤
b
和
c
，直至输入最末行第二图像行
。5.
根据权利要求4所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是计算像素点在邻域直方图的映射灰度，具体包括：根据当前像素点灰度获取邻域直方图对应灰度的灰度累计值，并获取邻域直方图裁剪
累计值；灰度值累计值与
256
的乘积值和裁剪累计值相加，相加后的值与窗口面积值相除，相除的值为像素点在邻域直方图的映射灰度；分别在四个邻域直方图进行灰度映射计算，获得四个邻域直方图的映射灰度
。6.
根据权利要求1或5所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是将直方图进行四个象限划分，根据像素点所在象限获取与该象限相邻的三个直方图，以及获取像素点所在直方图，获取的直方图为像素点四个邻域直方图
。7.
根据权利要求6所述的一种基于
FPGA
的
CLAHE
图像增强实时处理方法，其特征是，当像素点所在直方图位于图像四角位置，且像素点所在象限位于图像四角位置，则将像素点所在邻域直方图的映射灰度作为另外三个邻域直方图的映射灰度；当像素点所在直方图位于图像边框顶部或底部位置，且像素点所在象限相邻图像边框顶部或底部位置，则...

【专利技术属性】
技术研发人员：王化锋，周繁，洪徐健，徐峰，陈月霞，
申请(专利权)人：上海三思电子工程有限公司上海三思科技发展有限公司嘉善三思光电技术有限公司浙江浦照光电技术有限公司，
类型：发明
国别省市：