用于高速视觉测量的基于合作目标的实时全局搜索方法技术

用于高速视觉测量的基于合作目标的实时全局搜索方法，涉及标记点搜索方法。它为了解决高速视觉测量中，全局搜索过程耗时过长、对相机分辨率敏感、系统更新率受制于目标的运动速度的问题。本发明专利技术的数据预处理模块中并行化的数据同时输出到数据缓冲控制模块和标记点实时检测模块。标记点实时检测模块检测到标记点像素后，将标记点后续相关数据发送到运算模块，运算模块为多流水线结构，当一帧图像传输结束后，即可输出所有标记点的坐标，经计算得出标记点质心数据并存入对应缓存。本发明专利技术具有全局搜索过程耗时短、鲁棒性好、对相机分辨率不敏感、对目标的运动速度不敏感的优点。本发明专利技术适用于图像处理领域及视觉测量领域。

【技术实现步骤摘要】

本专利技术涉及一种标记点实时搜索方法，属于图像处理领域及视觉测量领域。
技术介绍
在视觉测量中，合作目标的实现方式通常采用红外主动或被动光源结合滤光片的方法，将被测目标与背景进行良好的分离，进而简化后端处理算法，在保证精度的前提下提高系统的实时性。在图像处理过程中，需对合作目标的标记点进行搜索，以确定其质心，而后进行空间坐标解算。其搜索方式主要分为全局搜索和邻域搜索两种。全局搜索即在图像中，将所有像素与阈值逐点比较，搜索到大于阈值的点后，在其周围完成所属合作目标的像素遍历，而后得出该标记点的质心特征。然而全局搜索的耗时随着视觉传感器分辨率的增加而增加。在分辨率为2048X2048的嵌入式双目视觉测量系统中，采用工作频率为IGHz的DSP对来自两台相机的图像进行标记点全局搜索时，耗时约为100?200ms，严重影响了视觉测量系统的数据更新率。为解决这一问题，基于邻域的搜索方式得到了广泛的应用，即仅在系统初始化时执打全局搜索，确定标记点在当如巾贞中的位直；在后续巾贞中，以上一巾贞标记点质心为中心，设定邻域范围，仅搜索邻域范围中的像素。通过这种方式，使标记点的搜索耗时减少95%以上。然而采用邻域搜索方式时还需要解决以下问题:第一，系统的数据更新率要与目标的运动速度相匹配。当帧频保持不变、目标在与像面平行的平面中运动时，目标的运动速度决定了图像中，同一标记点在相邻帧间的移动距离。随着目标速度的增加，简单的邻域设定已经不再适合，为了避免邻域范围设置过大带来的种种问题，需加入对目标运动轨迹的估计。此时，邻域的范围取决与估计的偏差。当目标进行高速复杂运动时，较大的估计偏差会造成多点邻域重合等情况，对标记点的识别造成干扰。同时，较大的邻域增加了像素读取数量，使更新率进一步降低。这种情况在高速运动目标的测量领域中尤为明显，如航空航天、交通安全、军事侦察、靶场测试、运动分析等。第二，当被测目标存在俯仰、偏航、滚转等运动或测量过程中受到其他物体遮挡时，置于其上的标记点在图像中会有消失和重现的现象发生。当标记点消失时，视觉测量系统需将搜索方式重新从邻域搜索切换到全局搜索进行初始化。此时，受到搜索耗时的影响，系统的数据更新率会产生一定的波动，从而影响了系统的实时性。当标记点重现时，帧间的邻域搜索方式并不能及时的发现重现的标记点，直到下一次切换到全局搜索时，该标记点才被搜索到，在一定程度上影响了目标的位姿解算过程。综上所述，视觉测量中，在串行结构体系的计算机、DSP等处理器上执行全局、邻域搜索都有各自的局限性，在高速运动目标的测量中尤为明显。若能找到一种高速的全局搜索方法或逻辑结构，解决全局搜索中实时性差的缺点，并将其应用在视觉测量系统中，则会大大扩展测量系统的应用领域，使对高速运动目标的测量成为可能。
技术实现思路
本专利技术目的是为了解决高速视觉测量中，全局搜索过程耗时过长、对相机分辨率敏感、系统更新率受制于目标的运动速度的问题，提供一种在FPGA中实现的。本专利技术所述的中的FPGA内部嵌入有相机数据传输与控制模块、数据预处理模块、数据缓存控制模块、标记点实时检测模块和运算模块，所述运算模块通过DSP EMIF数据通信接口与外部的DSP芯片相连；相机数据传输与控制模块:用于完成相机通讯接口控制，并将高速相机的像素数据并行输入到数据预处理模块，同时输出相机的同步时钟信号给数据预处理模块；数据预处理模块:用于保证后续的时钟频率在50MHz以下，该时钟频率来自于相机数据传输与控制模块输出的同步时钟信号；若该同步时钟信号在50MHz以上，则通过将数据位宽倍增的方式将该信号二分频；在本方法应用的嵌入式系统中，输入时钟为85MHz，数据预处理模块将二分频后并行的16像素数据同时输出到数据缓存控制模块和标记点实时检测模块；数据缓存控制模块:用于对h行像素进行缓冲，为t时刻高阈值搜索到的标记点像素提供t时刻之前h行的像素数据；标记点实时检测模块:采用双阈值法对合作目标的标记点进行搜索；运算模块:用于通过多级流水线实时计算出标记点的质心坐标，所述质心坐标(1$)的计算公式为:本文档来自技高网...

【技术保护点】
用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于：FPGA内部嵌入有相机数据传输与控制模块、数据预处理模块、数据缓存控制模块、标记点实时检测模块和运算模块，所述运算模块通过DSP?EMIF数据通信接口与外部的DSP芯片相连；相机数据传输与控制模块：用于完成相机通讯接口控制，并将高速相机的像素数据并行输入到数据预处理模块，同时输出相机的同步时钟信号给数据预处理模块；数据预处理模块：用于保证后续的时钟频率在50MHz以下，该时钟频率来自于相机数据传输与控制模块输出的同步时钟信号；若该同步时钟信号在50MHz以上，则通过将数据位宽倍增的方式将该信号二分频；所述的实时全局搜索方法所应用的嵌入式系统，输入时钟为85MHz，数据预处理模块将二分频后并行的16像素数据同时输出到数据缓存控制模块和标记点实时检测模块；数据缓存控制模块：用于对h行像素进行缓冲，为t时刻高阈值搜索到的标记点像素提供t时刻之前h行的像素数据；标记点实时检测模块：采用双阈值法对合作目标的标记点进行搜索；运算模块：用于通过多级流水线实时计算出标记点的质心坐标，所述质心坐标的计算公式为：x‾=(Σi=t-mt-1xipi2+Σi=tnxipi2)/(Σi=t-mt-1pi2+Σi=tnpi2)y‾=(Σi=t-mt-1yipi2+Σi=tnyipi2)/(Σi=t-mt-1pi2+Σi=tnpi2)---(1)其中，m是指t时刻之前，属于相同标记点且灰度值大于低阈值的像素的个数，pi是指第i个像素点的灰度值；所述运算模块包括目标识别与集中运算单元、n个目标像素积分模块、多目标参数存储模块和帧间除法与存储模块，n为大于1的整数；其中，标记点实时检测模块对标记点进行检测基于如下四点假设：假设一：假设安放在同一目标上的多个标记点在同一帧图像中具有相同尺寸的外切矩形，且其长宽分别为Dx和Dy；假设二：假设当相邻两帧图像之间，同一标记点的外切矩形面积的差异小于5%，此时两帧图像中，运动目标上标记点的外切矩形满足公式（2）：|Dx(t)?Dx(t?1)|12pixels；所述的a和b的取值通过如下方法确定：标记点区域的长和宽在第t帧图像的取值a(t)和b(t)为：a(t)=α1Dx(t?1)/2+β1????（4）b(t)=α2Dy(t?1)/2+β2当外切矩形为正方形时，则有Dx(t-1)=Dy(t-1)=Afλzt-1×10-3+c---(5)其中，α1与α2为比例系数，A为标记点物理尺寸，f为标定后的镜头焦距，λ为图像传感器的像元尺寸，Zt?1为上一帧的空间坐标定位中，深度方向计算结果，β1和β2为标记点外切矩形到标记点区域范围补偿值，c为补偿值；当DSP处理完一帧图像，根据式公式(4)和公式(5)计算后出a(t)和b(t)，将a(t)和b(t)的取值写回FPGA作为公式（6）和公式（7）的判定依据。FDA0000437042770000011.jpg,FDA0000437042770000023.jpg...

【技术特征摘要】
1.用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于=FPGA内部嵌入有相机数据传输与控制模块、数据预处理模块、数据缓存控制模块、标记点实时检测模块和运算模块，所述运算模块通过DSP EMIF数据通信接口与外部的DSP芯片相连； 相机数据传输与控制模块:用于完成相机通讯接口控制，并将高速相机的像素数据并行输入到数据预处理模块，同时输出相机的同步时钟信号给数据预处理模块； 数据预处理模块:用于保证后续的时钟频率在50MHz以下，该时钟频率来自于相机数据传输与控制模块输出的同步时钟信号；若该同步时钟信号在50MHz以上，则通过将数据位宽倍增的方式将该信号二分频；所述的实时全局搜索方法所应用的嵌入式系统，输入时钟为85MHz，数据预处理模块将二分频后并行的16像素数据同时输出到数据缓存控制模块和标记点实时检测模块； 数据缓存控制模块:用于对h行像素进行缓冲，为t时刻高阈值搜索到的标记点像素提供t时刻之前h行的像素数据； 标记点实时检测模块:采用双阈值法对合作目标的标记点进行搜索； 运算模块:用于通过多级流水线实时计算出标记点的质心坐标，所述质心坐标(X.y)的计算公式为:2.根据权利要求1所述的用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于:所述的标记点实时检测模块对标记点进行检测的方法为: 每个时钟周期内，进入标记点实时检测模块的并行的16像素数据经过两级D触发器缓冲后，以高阈值Th_H进行判断: 相邻的三个像素定义为一个像素段，16个像素段的首像素分别分第1至第16像素，第15个像素段的三个像素为第15像素、第16像素和下一时钟周期的第1像素，第16个像素段的三个像素为第16像素和下一时钟周期的前两个像素，下一时钟周期的像素数据可从上一级D触发器的缓存中读取，并将标记点判定条件定义为同一像素段中的三个像素的灰度值同时大于高阈值Th_H，在同一周期内完成该时钟周期内所有像素段的判别，当在检测中发现某一像素段满足标记点判定条件后，将该像素段中首像素Pth在当前16像素中的偏移量Λ X输出给状态机与地址生成模块，所述偏移量Λ X为所述该像素段中...

【专利技术属性】
技术研发人员：叶东，于潇宇，郭玉波，陈刚，赵振庆，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：