一种结构光焊缝图像特征点快速提取装置制造方法及图纸

本实用新型专利技术公开一种结构光焊缝图像特征点快速提取装置。包括：图像获取模块：通过相机传感器获取包含结构光条纹的图像，输出至片上可编程系统；片上可编程系统包括：滤波模块：接收图像获取模块获取的图像；图像增强模块：输入信号为滤波模块中值滤波信息；数学形态学运算模块：输入接图像增强模块，输出图像膨胀和腐蚀处理信号；边缘提取模块：输入接数学形态学运算模块，输出单像素的结构光条纹边缘信息；中心线提取模块：接收边缘提取模块的输出信号，输出中心线提取信息，送入软核处理系统，进行特征点提取。采用本实用新型专利技术能提高图像处理的速度，满足焊缝跟踪的实时性要求，可广泛应用于激光自动焊接领域。（*该技术在2018年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术属于机器视觉领域，涉及了结构光视觉检测技术；具体地 说是一种基于片上可编程系统(SOPC)的结构光焊缝图像特征点快速提取 装置。
技术介绍
结构光视觉检测技术可以实现智能化、快速和低成本的图像采集和特 征识别。这一方法主要是将结构光投射于工件表面，通过视觉传感器采集 结构光条纹图像，并经过图像处理提取出焊缝条纹特征信息，从而实现焊 缝位置识别和质量检测。但是由于结构光焊缝图像处理的复杂性，导致焊缝识别和检测应用在 焊缝跟踪和质量检测的实时性很差，跟踪滞后很严重，检测也很难完成在 线实时的质量检测。因此寻找一种快速而又准确的进行焊缝位置识别和质 量检测的方法是亟待解决的问题。
技术实现思路
为了克服目前结构光焊缝图像处理速度不能满足实时处理的不足，本 技术提出了一种能实现跟踪实时性好且快速、准确之目的的基于片上 可编程系统的结构光焊缝图像特征点快速提取装置。为实现上述目的，本技术的技术方案包括图像获取模块通过相机传感器获取包含结构光条纹的图像，并送入 片上可编程系统；片上可编程系统包括滤波模块接收图像获取模块获取的图像，进行中值滤波； 图像增强模块输入信号为滤波模块中值滤波信息，根据焊缝结 构光图像特征选择阈值进行二值化，将结构光条纹从图像背景中提取出来.数学形态学运算模块输入端接图像增强模块，选择结构光条纹 竖直方向的结构元素，来对图像进行膨胀和腐蚀处理；边缘提取模块输入数学形态学运算模块图像进行膨胀和腐蚀处 理后的信号，通过模板运算提取单像素的结构光条纹边缘，同时滤除 小于模板大小的噪声；中心线提取模块接收边缘提取模块的输出信号，逐行扫描边缘 图像，分别记录两个边缘像素位置的列坐标，经相加后除以2，结果 为中心线列坐标，同吋记录行坐标，输出信号送入软核处理系统，进行特征点提取；软核处理系统，输入接中心线提取模块，输出特征点提取信号。 其中所述片上可编程系统采用支持嵌入式软核处理系统的现场可编程门阵列系列产品；所述软核处理系统为MicroBlaze。 本技术具有如下优点1. 本技术构建一个片上可编程系统，通过软硬件协同处理，可以 快速而又准确的提取出结构光焊缝条纹的特征点。由于包括滤波、图像增 强、膨胀和腐蚀的数学形态学处理、边缘提取以及中心线提取在内的图像 预处理过程算法简单、功耗低，因此采用硬件现场可编程门阵列FPGA实 现；而各种情况的特征点提取过程，特征点选取原则依算法而定，具有一 定的特定性，实现过程属于小批量处理，因此本技术采用嵌入式软核 处理系统MicroBlaze实现；依据上述硬件和软核处理系统并用以提高处理 速度和降低功耗的原则对完成的任务进行软硬件的划分，从而完成软硬件 协同操作完成特征点的提取功能。2. 本技术基于片上可编程系统的结构光焊缝图像特征点快速提取 装置，能满足焊缝跟踪系统对实时性的要求，结构简单，具有可重构性。附图说明图1是实现本技术的片上可编程系统的结构组成图。 图2是本技术装置技术方案原理图。图3是本技术基于片上可编程系统实现结构光焊缝图像特征点快 速提取方法的实现过程。图4是3x3模板中值滤波在现场可编程门阵列硬件上的实现原理。具体实施方式为了更好的理解本技术，以下结合附图和实施例来进行更进一步 的说明。本技术结构包括图像获取模块通过相机传感器获取包含结构光条纹的图像，输出至 片上可编程系统SOPC;片上可编程系统SOPC包括滤波模块接收图像获取模块获取的图像；图像增强模块输入信号为滤波模块中值滤波信息，输出从图像 背景中提取出来的结构光条纹信息；数学形态学运算模块输入端接图像增强模块，输出图像膨胀和 腐蚀处理信号；边缘提取模块输入接数学形态学运算模块，输出单像素的结构 光条纹边缘信息；中心线提取模块接收边缘提取模块的输出信号，输出信号为中 心线提取信息，送入软核处理系统；软核处理系统，输入接中心线提取模块，输出特征点提取信号。 工作原理本技术是将片上可编程系统SOPC与图像采集的相机传感器相连， 并对相机传感器采集的图像进行后续图像处理实现的。相机传感器与片上 可编程系统SOPC通过"时钟信号"、"行有效信号"、"帧有效信号"、"数据输入信号"相连。其中本技术中涉及的片上可编程系统SOPC主要 由现场可编程门阵列FPGA硬件及嵌入式运行的32位MicroBlaze软核处理 系统构成，图1为片上可编程系统结构组成图；图2为本技术装置实 现的技术方案原理图，从而实现软硬件协同处理，提高图像处理的速度。图3为基于片上可编程系统SOPC实现的结构光焊缝图像特征点快速 提取装置的实现过程，本技术构建一个片上可编程系统(SOPC)，通 过现场可编程门阵列(FPGA)，对相机传感器获取的包含结构光条纹的图 像进行滤波、图像增强、膨胀和腐蚀的数学形态学处理、边缘提取以及中 心线提取的图像预处理过程；再通过软核处理系统进行特征点提取。具体 实现步骤如下-1) 图像获取相机传感器(本实施例采用CMOS，还可以采用CCD) 获取包含结构光条纹的图像，当相机传感器"帧有效信号"输出有效，那 么现场可编程门阵列FPGA按照"时钟信号"，读取"数据输入"，放入先 入先出缓存FIFO中，然后进行后续的数据处理。2) 滤波对步骤1)获取的图像进行中值滤波。在图像生成、采集和 传输过程中，不可避免的会引入各种噪声使图像质量变差。因此需要对图 像进行平滑滤波来抑制噪声，以利于后续处理。这里本技术通过对所 截取窗口中像素进行排序，用排序所得的中值来代替窗口中心像素的值。 一般是选择NxN的模板，通过N个先入先出缓存FIFO缓存N行数据，然 后并行进入现场可编程门阵列FPGA的中值滤波功能模块完成平滑处理。本实施例选择3x3的模板，通过三个先进先出缓存FIFO (先进先出缓存1024x8bits)缓存3行数据,如"大 6屮<formula>formula see original document page 5</formula>，然后每行数据分别经过J个8位寄存器，送入中值滤波功能模块，即并行进入中值滤波的排序模块 完成图像的平滑处理。其中三层三值排序模块处理流程如下其中第一层排序模块001、 002、 003对输入的三行数据值进行排序，并分别将比较得 到的a大、a中、a小(或b大、b中、b小或c大、c中、c小)按照各自 的大小关系分别送到第二层三值排序模块，其中最大值比较模块010中给 出三者排序的最小值，中间值比较模块020中给出三者排序的中间值，最 小值比较模块030中给出三者排序的最大值，最后经过第三层三值排序模 块100得到中间值的输出结果，送给后续处理模块进行处理。图3表示3x3模板中值滤波在FGPA硬件上的实现原理。3) 图像增强根据焊缝结构光图像特征选择阈值进行二值化，将结构 光条纹从图像背景中提取出来。具体指:对一幅图像进行加工，突出图像中 的某些信息，削弱或除去某些不需要的信息，以得到对具体应用来说视觉 效果更好、更有用的图像。由于结构光条纹图像与背景图像对比较明显， 因此采用二值化来对图像进行处理，可以突出结构光条纹，以利于后续处 理。4) 数学形态学运算由于噪声本文档来自技高网...

【技术保护点】
一种结构光焊缝图像特征点快速提取装置，其特征在于包括：　图像获取模块：通过相机传感器获取包含结构光条纹的图像，输出至片上可编程系统ＳＯＰＣ；　片上可编程系统ＳＯＰＣ包括：　滤波模块：接收图像获取模块获取的图像；　图像 增强模块：输入信号为滤波模块中值滤波信息，输出从图像背景中提取出来的结构光条纹信息；　数学形态学运算模块：输入端接图像增强模块，输出图像膨胀和腐蚀处理信号；　边缘提取模块：输入接数学形态学运算模块，输出单像素的结构光条纹边缘信息 ；　中心线提取模块：接收边缘提取模块的输出信号，输出信号为中心线提取信息，送入软核处理系统；　软核处理系统，输入接中心线提取模块，输出特征点提取信号。

【技术特征摘要】

【专利技术属性】
技术研发人员：姜春英，郭奇，邹媛媛，康永军，柳连柱，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：实用新型
国别省市：89[中国|沈阳]