基于数字电路和稀疏点配准的零延迟电子稳像方法技术

本发明专利技术公开了一种基于数字电路和稀疏点配准的零延迟电子稳像方法,属于图像处理领域。为了解决电子稳像的实时计算问题，本发明专利技术实施例设计了一种适合用数字电路实现且基于并行计算的稀疏点配准算法，并在此基础上设计了完整的实时电子稳像方案，开发了以FPGA为计算主体的原型系统，将包括图像抖动补偿在内的99％以上的计算量都实现在了数字电路流水线上。无论图像分辨率多高，本发明专利技术实施例所实现的电子稳像方法都没有任何帧延迟，所有计算都在采集图像的同时完成，实现了最佳的实时性能。该方法能够在摄像头发生大幅度旋转抖动和平移抖动的情况下最大限度地维持视频的稳定，而且不针对任何特定场景，摄像头可随意运动，转向任意场景。

【技术实现步骤摘要】

本专利技术实施例涉及图像处理领域，尤其是涉及一种基于数字电路和稀疏点配准的零延迟电子稳像方法。
技术介绍
无论是手持摄像头，还是汽车、飞机上的摄像设备，都不可避免地存在摄像头的抖动，从而造成视频图像的抖动，这给观测和后续处理带来不便。为了消除或减弱图像的抖动，稳像技术应运而生。传统的机械稳像、光学稳像技术通常需要陀螺、伺服系统等昂贵的设备。相比之下，电子稳像技术完全依靠图像处理来消除视频的抖动，不仅能够降低成本，而且能够减小系统的体积和重量。虽然电子稳像技术已经有将近30年的发展历史，但是由于图像处理涉及到巨大的运算量，计算的实时性仍然是制约电子稳像技术发展的主要瓶颈。电子稳像算法通常包括图像预处理、帧间特征配准、低通滤波(分离高频抖动)、抖动补偿四个步骤。其中，图像预处理和帧间特征配准占据了90％以上的计算量，而图像预处理、帧间特征配准、抖动补偿这三个步骤则占据了99％以上的计算量。因此，只有彻底解决这三个步骤的计算实时性问题，才能从根本上解决电子稳像的瓶颈问题，使实时电子稳像技术得到广泛应用。在以CPU为核心的传统计算平台上，人们设计了各种电子稳像算法，力求降低计算量，提高实时性。对于帧间特征配准，代表性的算法有灰度投影法、块匹配法、相位法、光流场法、位平面法、特征点匹配法等等。当摄像头发生大幅度旋转抖动时，以灰度投影法为代表的许多方法都会失效。光流场法计算量巨大，难以实时计算。虽然特征点匹配法能够在大幅度旋转和平移下实现准确的帧间特征配准，但是其计算实时性仍然有待提高。从这些年的发展来看，无论CPU的性能如何提高，如果仅仅依靠CPU的串行指令计算来处理图像和视频数据，实现高性能的实时电子稳像仍然是一件非常困难的事情。特别是对于高分辨率的图像和视频，CPU的局限性就更加明显。为此，人们将目光转向并行计算。GPU(GraphicsProcessingUnit，图形处理单元)和FPGA(FieldProgrammableGateArray，在线可编程逻辑阵列)是两类具有并行计算能力的器件。其中，GPU是由许多小计算单元构成的阵列，而FPGA则直接用逻辑门、触发器等底层元件构成的数字电路来实现计算功能。由于FPGA是一种完全彻底的硬件计算，其功耗低于GPU，而计算的并行性高于GPU。如果采用FPGA进行开发，有望通过低功耗的硬件并行计算实现高速的实时图像处理。因此，尽管FPGA的开发难度很大，人们仍然坚持不懈地进行了基于FPGA的图像处理和电子稳像研究，参见《基于FPGA的嵌入式图像处理系统设计》，DonaldG.Bailey著，原魁、何文浩、肖晗译，电子工业出版社，2013，ISBN:9787121195976.一些研究者已将位平面法或其改进版本实现在了FPGA上，能够补偿图像的平移抖动，而对于图像的旋转抖动仍然无能为力。要检测和补偿图像的旋转抖动，最有效的方法还是特征点匹配法。但由于特征点的检测、描述符向量的提取、匹配搜索都需要很大的计算量，并且步骤复杂，不易在FPGA上实现，一些研究者采用了FPGA加多个DSP的系统方案，将图像预处理放在FPGA上，而将其余的计算都交给DSP们去完成。这种方案本质上还是一种多CPU的计算方案，对FPGA的计算能力开发得还是很不充分。对于如何用FPGA检测特征点，一些学者进行了专门的研究，参见HanXiao,WenhaoHe,KuiYuan,etal.,\Real-timeSceneRecognitiononEmbeddedSystemwithSIFTKeypointsandaNewDescriptor,\in2013IEEEInternationalConferenceonMechatronicsandAutomation,2013,pp.1317-1324.肖晗,\基于FPGA与DSP的SIFT特征点检测与匹配方法研究,\博士学位论文,北京:中国科学院自动化研究所,中国科学院研究生院,2011.然而，现有的方法仅能用FPGA进行特征点的位置检测，或者用FPGA辅助CPU进行描述符向量的提取计算，对于匹配搜索的任务，则只能交由CPU来完成。如果能将图像预处理、特征点的检测、特征描述符的提取、匹配特征点的搜索这一系列计算任务都实现在FPGA上，用一条硬件流水线完成计算，那么势必极大地提高计算的并行性。然而，这一设想确实难以实现。其根本原因在于特征点的数量随场景内容而变化，有的场景特征点太多，有的场景则太少，而且很多特征点的位置都不够稳定。另一方面，如图1所示，传统的电子稳像系统都是在采集完一帧图像之后才对其进行处理，这样每一帧图像所占用的时间都由三个部分组成：图像采集时间、处理时间、存储结果时间。由于处理图像和存储结果都至少要将图像中的所有像素扫描一遍，因此传统电子稳像系统的延迟都在2帧以上。有鉴于此，特提出本专利技术。
技术实现思路
本专利技术实施例的主要目的在于提供一种基于数字电路和稀疏点配准的零延迟电子稳像方法，以解决如何提高电子稳像实时性的问题。为了实现上述目的，采用如下技术方案：根据一个方面，提供一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其中，以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤：步骤1：基于所述数字电路进行图像预处理；其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图像，然后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑图像二值化，得到由粗线条勾勒出来的二值图像；步骤2：基于所述数字电路提取描述符向量；其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用一个比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局部二值图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的一个个输入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个个局部图像描述符向量；步骤3：基于所述数字电路选取基准点；其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内不同像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量所对应的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所述滑动窗口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐标及对应的描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一条流水线；步骤4：基于所述数字本文档来自技高网...

【技术保护点】
一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征在于：以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤：步骤1：基于所述数字电路进行图像预处理；其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图像，然后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑图像二值化，得到由粗线条勾勒出来的二值图像；步骤2：基于所述数字电路提取描述符向量；其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用一个比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局部二值图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的一个个输入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个个局部图像描述符向量；步骤3：基于所述数字电路选取基准点；其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内不同像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量所对应的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所述滑动窗口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐标及对应的描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一条流水线；步骤4：基于所述数字电路搜索匹配点；其中，将处理上一帧时存储下来的所述所有基准点坐标和对应的描述符向量从所在寄存器的输出端引出，然后在当前帧中寻找所述基准点的匹配点；以所述每个基准点为中心，在一定的半径范围内寻找所述匹配点，以描述符向量的距离作为匹配标准，在所述一定的半径范围内寻找与所述基准点描述符向量距离最小的那个描述符向量，其所对应的像素位置就是该基准点的匹配点；本步骤的计算流水线接在所述步骤2后面，与所述步骤3并行，也就是说所述数字电路的计算流水线经过所述步骤1、所述步骤2之后就产生了分叉，分别流向所述步骤3、所述步骤4两个并行的计算分支，其中所述步骤3得到供下一帧使用的所有基准点，所述步骤4得到上一帧的每个基准点在当前帧的匹配点；步骤5：基于所述通用处理器进行低通滤波；其中，所述数字电路在处理完每一帧二值图像之前，将所述上一帧中的基准点坐标及所述当前帧中所对应的匹配点坐标都传给所述通用处理器，所述通用处理器在此基础上通过求解方程组得到帧间变换参数，然后结合历史记录完成低通滤波计算，分离出高频抖动，并将下一帧的抖动补偿参数传给所述数字电路；步骤6：基于所述数字电路进行抖动补偿；其中，所述数字电路根据所述通用处理器传来的所述抖动补偿参数，对输入的每个像素进行实时变换，将所述输入的每个像素变换到新位置，而像素的数值保持不变；本步骤与前述所有步骤并行，也就是说，每一帧所述数字化图像输入所述数字电路后都由两个并行的流水线分支进行处理，一个分支完成所述步骤1到所述步骤4的计算，另一个分支则完成本步骤的计算。...

【技术特征摘要】
1.一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征在于：
以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤：
步骤1：基于所述数字电路进行图像预处理；
其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图像，
然后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑图
像二值化，得到由粗线条勾勒出来的二值图像；
步骤2：基于所述数字电路提取描述符向量；
其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用
一个比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局
部二值图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的
一个个输入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个
个局部图像描述符向量；
步骤3：基于所述数字电路选取基准点；
其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内
不同像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量
所对应的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所
述滑动窗口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐
标及对应的描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一
条流水线；
步骤4：基于所述数字电路搜索匹配点；
其中，将处理上一帧时存储下来的所述所有基准点坐标和对应的描述符向量从所在
寄存器的输出端引出，然后在当前帧中寻找所述基准点的匹配点；以所述每个基准点为
中心，在一定的半径范围内寻找所述匹配点，以描述符向量的距离作为匹配标准，在所
述一定的半径范围内寻找与所述基准点描述符向量距离最小的那个描述符向量，其所对
应的像素位置就是该基准点的匹配点；...

【专利技术属性】
技术研发人员：肖晗，何文浩，宋海涛，原魁，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11