一种多视角匹配和跟踪的自动安检方法技术

本发明专利技术公开了一种多视角匹配和跟踪的自动安检方法，该方法由结构估计和目标检测组成，在结构估计部分，首先提取SIFT特征，并采用主成分分析方法对特征进行降维；然后构建视觉词汇树对无序图像进行排序；然后匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；最后使用光束法平差最小化所有重投影误差。在目标检测部分，首先对图像序列进行单视角检测；然后使用匹配和跟踪算法在两个视角、三个视角和个视角的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；最后对合并的轨迹进行多视角分析，得到图像序列的最终检测结果。本发明专利技术有效降低了计算量，提高了危险品检测的精度。

An Automatic Security Inspection Method Based on Multi-view Matching and Tracking

【技术实现步骤摘要】
一种多视角匹配和跟踪的自动安检方法
本专利技术涉及安全检查技术、图像处理和计算机视觉
，尤其涉及一种多视角匹配和跟踪的自动安检方法。
技术介绍
X光安检对维护火车站、机场等公共场所的安全至关重要。安检图像中物品的外观会受到重叠、遮挡等外界因素的影响，而且由于单视角安检设备成像原理的差异和安检员观察角度的限制，也会造成安检图像的复杂多样化。这样，安检员在浏览X光图像时，很容易造成疲劳，从而大大增加了安检设备的误检率，降低了检测精度。目前多视角安检设备已经在世界各国广泛使用，一般地，在设备内部布置多套“射线源-探测器组”装置，包括左侧底照源探测模块、正侧侧照源探测模块和右侧底照源探测模块，且分别构成第一视角、第二视角和第三视角，随着包裹沿着传送带移动，各视角逐一形成同一包裹在不同视角上的图像，这样简化了多视角成像方式，各视角互不干扰，降低了复杂性。虽然多视角安检设备能够在一定程度上减少重叠、遮挡带来的干扰，但是安检员需要同时观察几幅不同视角的图像，更容易造成视觉疲劳。另外，多视角安检设备并不廉价，不利于各个交通出行场所的普及。综上所述，单视角安检设备只能从一个视角观察图像，受重叠、遮挡等因素的干扰较大，并且依靠安检员的观察，很大程度上会对危险品检测的准确率产生影响。多视角安检设备会产生多个视角的图像，凭借安检员同时观察几幅图像，会造成视觉疲劳，而且多视角设备成本较高，不利于被大规模应用。
技术实现思路
本专利技术要解决的技术问题是：为了克服现有技术之不足，本专利技术提供一种采用软、硬件相结合，通过多视角安检设备获取X光图像序列，实现危险品检测的一种多视角匹配和跟踪的自动安检方法。本专利技术解决其技术问题所采用的技术方案是：一种多视角匹配和跟踪的自动安检方法，使用多视角安检设备，包括结构估计和目标检测两个步骤。所述的结构估计包括如下操作步骤：通过多视角安检设备获取不同视角的X光图像序列；对X光图像序列进行提取SIFT特征，并采用主成分分析方法对SIFT特征进行降维；构建视觉词汇树，最大化总的相似度，对无序图像进行排序；匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；使用光束法平差最小化所有重投影误差；所述的目标检测包括如下操作步骤：对X光图像序列进行单视角检测；使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；对合并的轨迹进行多视角分析，得到X光图像序列的最终检测结果。进一步的，对X光图像序列进行提取SIFT特征，并采用主成分分析方法(PCA)对SIFT特征进行降维，包括如下操作过程：确定图像J(x,y)的关键点(假设为n个)，针对每个关键点提取SIFT特征，共128维，将其组成特征矩阵X＝(x1,x2,...,xn)，维数为n×128；计算特征向量的均值，计算特征向量的协方差矩阵，求取协方差矩阵的特征值和特征向量，将最大的k个特征值对应的特征向量ek组成变换矩阵A，其维数为128×k，所述的k的取值决定最终特征向量的维数。本方法选择k＝36，即SIFT特征降为36维的PCA-SIFT特征向量。更进一步的，所述的匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点，具有如下操作过程：PCA-SIFT特征被匹配之后，使用基于采样优化的随机抽样一致算法估计两个视角i和i+1的基础矩阵Fi,i+1以消除误匹配点。再进一步的，所述的使用光束法平差最小化所有重投影误差，包括光束法平差估计3D点和相机矩阵Pi，最小化重投影误差的和进一步的，所述的对X光图像序列进行单视角检测，包括对X光图像序列进行分割、特征提取和分类。不同的危险品选择适用的单视角检测方法。所述的使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹，包括如下操作过程：两个视角的匹配区域(r1,r2)满足相似度约束和位置约束，其中相似性约束满足||yr1-yr2||＜ε1，位置约束满足两个条件：和||Xr1-Xr2||＜ρ(j-i)；三个视角的匹配区域(r1,r2,r3)满足三焦距约束：l个视角的匹配条件使用k-d树评估；最后用矩阵Tl表示l个视角的所有合并的轨迹。本专利技术的有益效果是，本专利技术提供的一种多视角匹配和跟踪的自动安检方法，采用软硬件结合的方式，从硬件设备获取X光图像序列，从软件方法实现自动检测，有效减轻人工工作量，使用主成分分析方法对SIFT特征进行降维，有效降低计算量，并采用基于采样优化的随机抽样一致算法消除误匹配点，提高了匹配的精度。该方法有效提高了检测的精度和速度，很好地保证了实时性，可有效适用于自动安检。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是多视角匹配和跟踪的自动安检方法的流程图。图2是本专利技术实施例中多视角匹配和跟踪的自动安检方法的具体流程图。图3为X光图像序列中不同角度的测试图像。图4为专利技术实施例中采用的多视角安检结构图。图5为含有剃刀刀片的笔袋的X光图像序列。图中1、铅室隔离系统2、传送带3、X射线发射器4、X射线探测器平面5、ABB-Flexpicker机械手旋转系统6、包裹。具体实施方式现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。如图1所示，本专利技术提供的一种多视角匹配和跟踪的自动安检方法，具有如下步骤：步骤101：通过多视角安检设备获取不同视角的X光图像序列；步骤102：对X光图像序列进行提取SIFT特征，并采用主成分分析方法对SIFT特征进行降维；步骤103：构建视觉词汇树，最大化总的相似度，对无序图像进行排序；步骤104：匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；步骤105：使用光束法平差最小化所有重投影误差；步骤106：对X光图像序列进行单视角检测；步骤107：使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；步骤108：对合并的轨迹进行多视角分析，得到X光图像序列的最终检测结果。为使本专利技术的实施例的目的、技术方案和优点更加清楚，下面结合本专利技术的附图2，对本专利技术实施例中的技术方案进行完整清晰的描述：步骤201:剃刀刀片的测试图像如图3所示，每一行的图像是绕Y轴旋转0°～90°而得，每一列的图像是绕X轴旋转0°～80°而得，每次均旋转10°，得到90幅测试图像，从中挑选m个视角的多个图像序列。根据测试，取4～6个视角的不同的图像序列分别对剃刀刀片和手枪进行实验。步骤202：使用主成分分析(PCA)方法对128维SIFT特征进行降维，确定图像J(x,y)的关键点(假设为n个)，针对每个关键点提取SIFT特征，共128维，将其组成特征矩阵X＝(x1,x2,...,xn)，维数为n×128，将最大的k个特征值对应的特征向量ek组成变换矩阵A，其维数为128×k，k的取值大小决定最终特征向量的维数，根据Y＝AX，X为128维的SIFT特征向量，本方法选择k＝36，因此Y为36维的PCA-SIFT特征向量。步骤203：判断图像是否有序，如果有序，则转至步骤205；如果本文档来自技高网...

【技术保护点】
1.一种多视角匹配和跟踪的自动安检方法，使用多视角安检设备，其特征在于：包括结构估计和目标检测两个步骤；所述的结构估计包括如下操作步骤：通过多视角安检设备获取不同视角的X光图像序列；对X光图像序列进行提取SIFT特征，并采用主成分分析方法对SIFT特征进行降维；构建视觉词汇树对无序图像进行排序；匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；使用光束法平差最小化所有重投影误差；所述的目标检测包括如下操作步骤：对X光图像序列进行单视角检测；使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；对合并的轨迹进行多视角分析，得到X光图像序列的最终检测结果。

【技术特征摘要】
1.一种多视角匹配和跟踪的自动安检方法，使用多视角安检设备，其特征在于：包括结构估计和目标检测两个步骤；所述的结构估计包括如下操作步骤：通过多视角安检设备获取不同视角的X光图像序列；对X光图像序列进行提取SIFT特征，并采用主成分分析方法对SIFT特征进行降维；构建视觉词汇树对无序图像进行排序；匹配两幅连续图像的关键点，并采用基于采样优化的随机抽样一致算法消除误匹配点；使用光束法平差最小化所有重投影误差；所述的目标检测包括如下操作步骤：对X光图像序列进行单视角检测；使用匹配和跟踪算法在两个视角、三个视角和l个视角的的匹配后合并所有区域以生成m个图像序列中的感兴趣物品的一致轨迹；对合并的轨迹进行多视角分析，得到X光图像序列的最终检测结果。2.如权利要求1所述的一种多视角匹配和跟踪的自动安检方法，其特征在于：所述的对X光图像序列进行提取SIFT特征，并采用主成分分析方法对SIFT特征进行降维，包括如下操作过程：确定图像J(x,y)的关键点(假设为n个)，针对每个关键点提取SIFT特征，共128维，将其组成特征矩阵X＝(x1,x2,...,xn)，维数为n×128；计算特征向量的均值，计算特征向量的协方差矩阵，求取协方差矩阵的特征值和特征向量，将最大的k个特征值对应的特征向量ek组成变换矩阵A，其维数为128×k，所述的k的取值决定最终特征向量的维数。3.如权利要求2所述的一种多视角匹配和跟踪的自动安检方法，其特征在...

【专利技术属性】
技术研发人员：陈树越，丁静文，
申请(专利权)人：常州大学，
类型：发明
国别省市：江苏,32