一种用于安检CT智能识别的目标物匹配与空间位置估计方法技术

本发明专利技术公开了一种用于安检CT智能识别的目标物匹配与空间位置估计方法，包括目标物匹配和目标物空间位置估计两个部分。本发明专利技术方法可对投影产生的二维CT多个视角图像的识别结果进行目标物的匹配和目标物的空间位置估计，目的是对基于二维投影数据的智能识别结果计算其在真实三维空间的位置，在设备屏幕或者系统中各个工作站点可以辅助安检员判读，提高安检效果和效率。检效果和效率。检效果和效率。

【技术实现步骤摘要】
一种用于安检CT智能识别的目标物匹配与空间位置估计方法


[0001]本专利技术涉及安检及图像处理
，具体涉及一种用于安检CT智能识别的目标物匹配与空间位置估计方法。

技术介绍

[0002]在机场、铁路、重要集会等安全等级要求较高的公共场合，利用X射线安检设备对人员携带的行李物品进行安全检查已经成为各国的惯例行为。CT型安全检查设备以三维视觉效果和可以得到更加准确的物质物理属性等优势成为安检领域下一代主流检查设备。近些年深度学习在计算机视觉领域的发展，人工智能赋能安检是大势所趋。为解决由于各领域安检员判图技术水平差异和长时间作业等因素导致公共交通安全依然面临威胁的问题，CT型安全检查系统应具有智能探测能力，应用于真实业务场景，全面提升用户体验和智能探测效果展示。
[0003]以深度学习为技术基础的安检智能探测技术在二维图像上的应用已经很成熟，但CT设备的图像是三维的，如何将卷积神经网络在安检CT密集体素图像上运用是比较新的
原始的CT三维图像具有高纬度高分辨率的特点，直接使用三维卷积对其处理，计算量大，耗时长，无法满足安检实时处理的需求。而使用二维图像做识别，虽然时效性上可以满足需要，但无法直接得到待识别目标物的三维位置信息，结果无法很好的呈现在CT设备屏幕上。
[0004]中国专利申请CN113792623A公开了一种安检CT目标物识别方法和装置，首先对三维CT数据进行降维来生成多个二维降维视图，然后针对多个二维视图进行目标物识别，获得目标物的二维语义描述集合，最后对二维语义描述集合进行升维，获得目标物的三维识别结果。
[0005]中国专利申请CN110133741A公开了一种多视角匹配和跟踪的自动安检方法，首先是获取不同视角的X光图形序列，然后提取SIFT特征，并采用主成分分析方法对特征进行降维。再此构建视觉词汇树对无序图像进行排序，采用采样优化的随机抽样一致算法及光束法平差减少误匹配点。最后经过匹配生成所有视角图像序列中感兴趣物品的一致轨迹。
[0006]中国专利申请CN109975335A公开了一种CT检测方法及装置，该技术方案有两个分支，一个分支是采集单个、两个或多个视角的透视图像，在其上进行智能违禁品判读，综合多个视角的透视图像判读结果。另一个分支是在三维断层数据上进行燃爆物识别判读。最后将两个分支的探测结果合并给出综合判读结果。
[0007]CN113792623A的技术方案在升维后还要对三维概率结果进一步分析并进行复杂计算， CN110133741A的技术方案对视角数量是有限制的（小于等于6个），而CN109975335A没有对得到二维投影探测结果进行升维的技术过程描述。

技术实现思路

[0008]针对现有技术的不足，本专利技术旨在提供一种用于安检CT智能识别的目标物匹配与
空间位置估计方法。
[0009]为了实现上述目的，本专利技术采用如下技术方案：一种用于安检CT智能识别的目标物匹配与空间位置估计方法，具体过程为：S1、目标物匹配：S11、确定不同视角之间的位置映射关系，即不同视角图像中不同区域对应关系；S12、对即将匹配的两个视角确定主视角和副视角；S13、根据步骤S11和S12确定的映射关系，对副视角进行翻转、镜像和仿射变换，使副视角经过变换后与主视角接近于同一空间方位；S14、对每个视角的图像进行网格化操作，图像的宽、高分别被划分为设定数量的网格，网格的间隔设置为n个像素，同时记录每个探测框中心点的网格位置；S15、判断主视角和副视角的探测框是否符合相似度计算要求：相似度计算要求包括两个因素；第一个因素是类别，匹配的探测框需要属于相同类别；第二个因素是位置差距，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距和，若两者都同时小于阈值，则满足位置匹配要求；S16、针对满足相似度计算要求的探测框进行相似度计算，相似度计算公式为：；位置相似度分数表示两个视角的探测框中心点所在网格点之间的欧式距离；α和β分别为两种位置相似度和图像相似度的数值调节因子；图像相似度分数的计算过程为：对主视角和副视角的探测框内容进行截图，通过SURF提取图像特征，设置Hessian关键点检测器的阈值，匹配同一空间中同一类别探测框不同视角的特征点，对相匹配的特征点计算欧式距离并求和，将该值作为图像相似度分数；S17、重复步骤S16，直至当前主视角的探测框在符合相似度计算的副视角的探测框中找到相似度分数最低的匹配对象；S18、重复步骤S13至步骤S17，将其余类别的探测框找到相似度分数最低的匹配对象；S19、重复上述步骤S12至步骤S18，直至将所有视角两两匹配；S2、目标物空间位置估计：S21、根据相机透视投影原理，将世界坐标系三维点与图像坐标系投影点的投影关系表示为,其中为3
×
4的投影矩阵；因此给定6组对应点建立方程组，使用直接线性变换求解得到出世界坐标系到相机坐标系的投影矩阵，为视角数量；分解矩阵得到内参矩阵、旋转矩阵和平移向量；给定6组对应的安检图像三维坐标与投影图像二维坐标，建立几何模型，构建方程组，即可求解得到世界坐标系到相机坐标系的投影矩阵参数；
S22、根据步骤S1获取的各个视角图像探测目标特征匹配关键点，每次选择其中连续的两幅图像，相当于相机i与相机j；设空间中一点，其在相机i的图像投影点为,在相机j的图像投影点为,分别对应的投影矩阵为和；根据步骤S21位姿参数和对应的图像点坐标已知，依托投影矩阵关系，可得到，化简得到所匹配的特征关键点的真实三维坐标；每两张图像可得到一个三维特征点集合，直至每幅图像均被选中两次，共k个特征点集合；S23、对步骤S22得到的k个三维特征点坐标集合去除离群点得到特征关键点；每个特征关键点集合的均值进行误差校正得到特征匹配点的三维点坐标，作为该特征点的真实三维坐标；S24、计算该特征点的最小值与最大值，即该类别目标物体的外接长方体包围框顶点坐标，最终得到所有类别的三维位置信息。
[0010]进一步地，步骤S12中，主视角和副视角的判断依据是探测框的数量，对于同时存在于两个视角的某类别探测框而言，主视角的探测框数量不多于副视角的探测框数量，即。
[0011]进一步地，步骤S15中，水平x方向和竖直y方向的差距的阈值分别设置为图像的宽、高被划分的网格数量的倍数，该倍数小于1。
[0012]进一步地，步骤S15中，探测框中心点落在网格线的竖线的，以左侧网格为准，落在网格线的横线的，以上侧网格为准。
[0013]本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
[0014]本专利技术提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。
[0015]本专利技术的有益效果在于：本专利技术方法可对投影产生的二维CT多个视角图像的识别结果进行目标物的匹配和目标物的空间位置估计，目的是对基于二维投影数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于安检CT智能识别的目标物匹配与空间位置估计方法，其特征在于，具体过程为：S1、目标物匹配：S11、确定不同视角之间的位置映射关系，即不同视角图像中不同区域对应关系；S12、对即将匹配的两个视角确定主视角和副视角；S13、根据步骤S11和S12确定的映射关系，对副视角进行翻转、镜像和仿射变换，使副视角经过变换后与主视角接近于同一空间方位；S14、对每个视角的图像进行网格化操作，图像的宽、高分别被划分为设定数量的网格，网格的间隔设置为n个像素，同时记录每个探测框中心点的网格位置；S15、判断主视角和副视角的探测框是否符合相似度计算要求：相似度计算要求包括两个因素；第一个因素是类别，匹配的探测框需要属于相同类别；第二个因素是位置差距，先找到在同一空间方位下两个视角的探测框中心点在各自视角中的网格坐标，分别计算水平x方向和竖直y方向的差距和，若两者都同时小于阈值，则满足位置匹配要求；S16、针对满足相似度计算要求的探测框进行相似度计算，相似度计算公式为：；位置相似度分数表示两个视角的探测框中心点所在网格点之间的欧式距离；α和β分别为两种位置相似度和图像相似度的数值调节因子；图像相似度分数的计算过程为：对主视角和副视角的探测框内容进行截图，通过SURF提取图像特征，设置Hessian关键点检测器的阈值，匹配同一空间中同一类别探测框不同视角的特征点，对相匹配的特征点计算欧式距离并求和，将该值作为图像相似度分数；S17、重复步骤S16，直至当前主视角的探测框在符合相似度计算的副视角的探测框中找到相似度分数最低的匹配对象；S18、重复步骤S13至步骤S17，将其余类别的探测框找到相似度分数最低的匹配对象；S19、重复上述步骤S12至步骤S18，直至将所有视角两两匹配；S2、目标物空间位置估计：S21、根据相机透视投影原理，将世界坐标系三维点与图像坐标系投影点的投影关系表示为,其中是尺度因子,为3
×
4的投影矩阵；因此给定6组对应点建立方程组，使用直接线性变换求解得到出世界坐标系到...

【专利技术属性】
技术研发人员：查艳丽，冯玮，曾光，
申请(专利权)人：北京中盾安民分析技术有限公司，
类型：发明
国别省市：