一种基于SoC的图像显著性区域检测方法技术

本发明专利技术提供一种基于嵌入式SoC的图像显著性区域检测方法，其特征是：在嵌入式平台Xilinx Zynq-7000 SoC上对彩色图像先进行R、G、B三通道的中值滤波，利用RGB、CIE LAB颜色特征与显著区域边缘特征的结合，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换(sign DCT/IDCT)处理，得到LAB颜色特征显著图和RGB颜色特征与边缘特征的合成显著图，再利用相关归一化方法融合而得到最终的显著图；针对算法中各部分可实现方式，利用软硬件协同设计技术进行软硬件划分和并行优化，并将FPGA可实现部分固化为IP，PL和PS部分通过内部总线AXI4进行数据的高速交互和传递，使得整个检测算法以串并行的方式实现，该系统可以保证RGB图像中的显著性区域准确快速地检测出来，并可应用于具体的工业检测中。

【技术实现步骤摘要】

本专利技术涉及一种基于嵌入式机器视觉的图像显著性区域实时检测方法，具体是指基于Zynq-7000SoC实现实时图像处理，通过处理算法的IP设计实现整个图像显著性区域检测算法的模块化，利用丰富的硬件资源和并行优化提高图像处理的速度和实时性。
技术介绍
近年来机器视觉技术发展迅猛，图像显著性区域检测在不同应用背景下研究越来越广泛。如基于感兴趣区域的自适应图像压缩、图像分割、目标跟踪、工业视觉检测等。目前，显著性检测主要有IT、RC、AC、FT、MZ等十多种经典方法，主要可分为三大类：第一类，视觉注意机制方法，该方法由Itti提出，且许多方法是基于此进行改进；第二类，基于全局和局部对比度的方法；第三类，基于对比度计算的单元规模的方法。在诸多方法中，都存在一些不足，如低分辨率、边界信息丢失、计算量大等。在显著性检测中，关键在于图像特征点的提取与计算合成，主要特征信息有颜色、亮度、方向、纹理、对比度、边缘等。IT模型主要是基于中央-周围环绕原理，只能提取若干显著点，而不是全部的显著目标；FT方法主要通过可调谐频率来抑制低频信息而增强高频信息实现检测，但是只考虑一阶平均颜色，难以适应于背景复杂的图像；RC模型基于全局区域对比度分析方法，难以准确地得到颜色对比度，并在复杂纹理背景图像中存在局限性。不少检测方法利用不同特征分别得到的显著图进行融合实现检测，如RGB与CIELAB颜色特征的结合、CIELAB颜色特征与Gabor滤波器的结合、融合对比度和分布性、颜色特征与小波变换结合等，该类方法取得效果往往较好，但仍有计算量大、速度慢，在一些对处理速度和实时性要求较高的场合难以满足要求。鉴于此，嵌入式平台越来越多地应用到图像处理中，基于FPGA的预处理和特征提取在速度方面有较大优势，且实现方式灵活。针对传统基于PC的显著性检测方法存在的不足，提出一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速提取图像显著性区域方法。利用FPGA的灵活设计和并行处理结构可以大幅度地缩短高斯差分、颜色空间转换、DCT/IDCT等计算时间，提高实时性，根据不同算法进行IP核设计，可大大缩短开发周期并易于扩展和升级。
技术实现思路
本专利技术目的是针对传统基于PC的显著性检测方法存在的不足，提出一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速提取图像显著性区域方法。通过软硬件协同设计技术在嵌入式Zynq-7000SoC平台上实现显著性检测算法，利用丰富的硬件资源对算法进行优化提速，以增强检测的实时性和准确性。为达到此目的，本专利技术通过如下技术方案实现：基于FPGA的图像处理：(1)对测试的RGB图像进行R、G、B三通道3×3快速中值滤波预处理；(2)对预处理后的图像进行高斯差分(DoG)处理，凸显待测图像的显著性区域，计算RGB特征像素向量Irgb和像素平均特征向量Iμ；(3)对(2)中处理的图像进行颜色空间的转换，由初始的RGB格式转到CIELAB格式，得到图像像素向量Ilab；(4)对(2)中图像分别进行R、G、B三通道离散余弦变换(DCT)，并取每通道DCT系数的sign值，再对signDCT处理后的单通道图像分别进行反离散余弦变换(IDCT)，得到重构后三单通道图像向量；基于ARM部分进一步处理：(5)计算(2)中RGB颜色特征显著图Srgb(x，y)＝||Iμ(x，y)-Irgb(x，y)||，利用均值作差平方求和合成(4)中三通道图像得到显著区域边缘Sedge(x，y)，再合成Srgb(x，y)，Sedge(x，y)得到显著图S1(x，y)；(6)计算(3)中颜色格式转换后待测图像中对称包围子图像的像素平均值，得平均像素向量Im；计算基于LAB颜色特征的显著性区域：S2(x，y)＝||Im(x，y)-Ilab(x，y)||；(7)利用相关归一化方法融合(5)和(6)中两显著图S1(x，y)，S2(x，y)，得到最终的显著图S(x，y)。本专利技术的有益效果是：本专利技术提供了一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速显著性区域检测方法，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换处理，从而得到不同特征的显著图，利用相关归一化方法融合显著图。在Zynq-7000SoC平台上，利用软硬件协同设计的方法将检测算法进行合理的软硬件划分，从而充分利用其硬件资源和并行优化设计对算法进行较大地提速。通过检测算法的IP设计，实现FPGA和ARM的无缝结合，能够快速地进行实时处理，可以大大提高检测速度和效率。附图说明图1本专利技术的系统结构框图图2本专利技术算法整体流程图图3流水线式快速中值滤波算法IP结构图图4可分离高斯滤波并行实现DoG滤波器IP结构图图5图像RGB格式转换CIELab格式IP结构图图6离散余弦变换DCT运算模块IP结构图；(a)为采用并行乘法器的8个点DCT运算结构图，(b)为块二维DCT结构图具体实施方式为使本专利技术的目的、技术方案和优点等更加清楚明白，以下结合具体实例，并参照附图，对本专利技术进一步详细说明。本专利技术的基本目的是检测RGB图像的显著性区域，在Zynq-7000SoC平台上利用RGB、CIELAB颜色特征和显著区域边缘特征实现快速图像处理，并显示检测结果。进一步的，具体实现步骤为：系统硬件框图如图1，其中Zynq主要由基于AXI4总线连接的PL和PS组成，Zynq是以ARM为核心，运行时第一个启动，然后找到可执行代码进入FSBL(第一引导阶段)，再找到检测系统硬件设计IPLogicBlock的Bit文件，使得PL按照Bit中设计方式运行，ARM通过使用总线AXI_GP设计的AXI4-Lite接口控制图像输入，图像数据经过AXI4-Stream总线进入PL，并进行实时预处理和显著性检测处理，处理后的数据需要传输到ARM控制的DDR3SDRAM中进一步处理。最后处理的结果可以通过AXI4-Stream总线传输到HDMI显示端口，直接在显示器上显示检测结果。在Zynq中，PS与PL之间的接口只支持AXI4-Lite和AXI4两种总线，AXI4-Stream只能在PL中实现，不能直接和PS相连，必须通过AXI4-Lite或AXI4转接。在图像数据传输中，数据传输部分使用AXI_HP总线设计AXI4_Stream接口，提供快速的数据传输功能，而在控制部分使用AXI_GP总线设计的AXI4_Lite接口。图像数据输入到PL部分并且实现图像处理IP之间的数据传输只能通过AXI4_Stream接口，当PL与PS要进行数据交互时则要通过AXIVDMA的转换来实现。为实现PL部分的图像处理，需要自定义AXI4_Stream类型IP，与处理前后其他IP的AXI4_Stream接口连接，实现数据的输入输出，自定义图像处理IP主要是针对基于FPGA实现的图像处理算法。(1)FPGA(PL)部分图像处理(1.1)对测试的本文档来自技高网...

【技术保护点】
本专利技术的目的在于提供一种基于嵌入式SoC的图像显著性区域检测方法，其特征是：在嵌入式平台Xilinx Zynq‑7000SoC上通过RGB、CIE LAB颜色特征与显著区域边缘特征的结合，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换(sign DCT/IDCT)处理，得到LAB颜色特征显著图和RGB颜色特征与边缘特征的合成显著图，利用相关归一化方法融合而得到最终的显著图；针对算法中各部分可实现方式，利用软硬件协同设计技术进行软硬件划分和并行优化，PL和PS部分通过内部总线AXI4进行数据的高速交互和传递，使得整个检测算法以串并行的方式实现，该系统可以保证RGB图像中的显著性区域准确快速地检测出来；具体包括以下几个步骤：(1)利用FPGA部分对待测图像进行处理第一步：进行快速中值滤波预处理，以抑制噪声去除干扰；第二步：利用高斯差分(DoG)处理滤波后图像，以凸显显著性区域，并得到RGB特征像素向量Irgb和像素平均特征向量Iμ；第三步：对DoG处理后的图像进行颜色空间转换，RGB格式转成CIEL*a*b*格式，得到相应的图像像素向量Ilab；第四步：对DoG处理后的图像分别进行R、G、B三通道离散余弦变换，并取每通道DCT系数的sign值，再对sign DCT处理后的单通道图像分别进行反离散余弦变换(IDCT)，得到三单通道图像向量；(2)利用PS部分对(1)进一步处理提取显著性区域第一步：计算DoG处理后的图像基于RGB颜色特征的显著图Srgb(x，y)＝||Iμ(x，y)‑Irgb(x，y)||，|| ||为2范数，表示欧氏距离；利用均值作差平方求和合成IDCT重构后的三通道图像得到显著区域边缘Sedge(x，y)，再合成Srgb(x，y)，Sedge(x，y)得到显著图S1(x，y)；第二步：计算LAB图像的对称包围子图像的像素平均值，得到算术平均像素向量Im，提取基于LAB颜色特征的显著图S2(x，y)＝||Im‑Ilab(x，y)||；第三步：利用相关归一化方法融合S1(x，y)，S2(x，y)得到最终的显著图S(x，y)。...

【技术特征摘要】
1.本发明的目的在于提供一种基于嵌入式SoC的图像显著性区域检测方
法，其特征是：在嵌入式平台XilinxZynq-7000SoC上通过RGB、CIELAB颜
色特征与显著区域边缘特征的结合，对高斯差分处理后的图像分别进行颜色空
间转换和离散余弦变换、反变换(signDCT/IDCT)处理，得到LAB颜色特征
显著图和RGB颜色特征与边缘特征的合成显著图，利用相关归一化方法融合而
得到最终的显著图；针对算法中各部分可实现方式，利用软硬件协同设计技术
进行软硬件划分和并行优化，PL和PS部分通过内部总线AXI4进行数据的高
速交互和传递，使得整个检测算法以串并行的方式实现，该系统可以保证RGB
图像中的显著性区域准确快速地检测出来；具体包括以下几个步骤：
(1)利用FPGA部分对待测图像进行处理
第一步：进行快速中值滤波预处理，以抑制噪声去除干扰；
第二步：利用高斯差分(DoG)处理滤波后图像，以凸显显著性区域，并
得到RGB特征像素向量Irgb和像素平均特征向量Iμ；
第三步：对DoG处理后的图像进行颜色空间转换，RGB格式转成CIEL*a*b*格式，得到相应的图像像素向量Ilab；
第四步：对DoG处理后的图像分别进行R、G、B三通道离散余弦变换，
并取每通道DCT系数的sign值，再对signDCT处理后的单通道图像分别进行
反离散余弦变换(IDCT)，得到三单通道图像向量；
(2)利用PS部分对(1)进一步处理提取显著性区域
第一步：计算DoG处理后的图像基于RGB颜色特征的显著图
Srgb(x，y)＝||Iμ(x，y)-Irgb(x，y)||，||||为2范数，表示欧氏距离；利用均值作差平方求
和合成IDCT重构后的三通道图像得到显著区域边缘Sedge(x，y)，再合成
Srgb(x，y)，Sedge(x，y)得到显著图S1(x，y)；<...

【专利技术属性】
技术研发人员：白瑞林，黄张祥，邹骏宇，
申请(专利权)人：江南大学，无锡信捷电气股份有限公司，
类型：发明
国别省市：江苏;32