图像关联方法、装置、设备和介质制造方法及图纸

本申请公开了图像关联方法、装置、设备和介质，该方法包括：获取目标X光图像以及与目标X光图像相关的多个自然光图像；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像。采用本申请的方法，可以基于违禁包裹X光图像（即目标X光图像）确定违禁包裹自然光图像（目标自然光图像），使得安检人员可以通过人眼确定违禁包裹与乘客的关联关系，避免了安检人员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像，大大提高了安检效率。大大提高了安检效率。大大提高了安检效率。

【技术实现步骤摘要】
图像关联方法、装置、设备和介质


[0001]本公开一般涉及计算机视觉
，具体涉及目标检测
，尤其涉及一种图像关联方法、装置、设备和介质。

技术介绍

[0002]X光安检仪可以应用于机场、火车站或者地铁安检。例如，当乘客选择搭乘地铁出行时，在刷卡进站前要将随身包裹进行安检。
[0003]现有技术中，当乘客搭乘地铁出行时，可以将随身包裹放置在X光安检仪传送带上，传送带可以将包裹传送至安检仪X光通道，由于包裹内的物品对X光的吸收程度不同，使得物品在与安检仪关联的液晶显示屏上显示出不同的颜色。当物品显示出不同颜色时，安检人员可以通过人眼捕捉到到违禁物品对应的颜色（例如，刀具显示为蓝色）。同时，位于安检机顶部的声光报警器会发出警报声，并且闪烁灯光。此时，安检人员可以根据违禁包裹，现场询问或者通过回看监控视频，确定携带该违禁包裹的乘客人脸信息后，找到该乘客并与其沟通后，对违禁包裹进行开包查验。
[0004]然而，当声光报警器报警后，携带该违禁包裹的乘客可能会弃包而逃，直接刷卡进站，或者，乘客不主动承认，安检人员花费大量的时间根据监控中的人脸信息查找该乘客，使得安检效率较低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种图像关联方法、装置、设备和介质，可以基于违禁包裹X光图像（即目标X光图像）确定违禁包裹自然光图像（目标自然光图像），实现违禁包裹与乘客的关联，安检人员可以基于违禁包裹自然光图像快速识别出携带该包裹的乘客，大大提高了安检效率。
[0006]第一方面，提供一种图像关联方法，该方法包括：获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
[0007]第二方面，提供了一种图像关联装置，该装置包括：获取单元，获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；提取单元，对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；预测单元，将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个
自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。
[0008]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储不在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
[0009]第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
[0010]第五方面，提供一种计算机程序产品，计算机程序产品包括指令，当指令被运行时，实现上述第一方面以及第一方面任意一种可能的实现方式的方法的步骤。
[0011]采用本申请的图像关联方法，可以基于违禁包裹X光图像确定违禁包裹自然光图像，使得安检人员可以通过人眼从违禁包裹自然光图像中捕捉出携带该包裹的乘客人脸信息，大大提高了安检效率。具体地，通过获取目标X光图像以及与目标X光图像相关的多个自然光图像；目标X光图像包括目标监控对象；对目标X光图像进行特征提取，获得第一全局特征图；对多个自然光图像进行特征提取，获得多个自然光图像对应的多个第二全局特征图；将第一全局特征图以及多个第二全局特征图输入预测模型，获得多个自然光图像中与目标X光图像匹配的目标自然光图像；目标自然光图像包含目标监控对象。采用本申请的方法，当X光安检机识别出违禁包裹（即目标监控对象）时，可以获取X光安检机记录的违禁包裹X光图像（即目标X光图像），以及摄像机拍摄的多张包裹自然光图像。通过对X光图像和多张自然光图像进行预处理，并分别将处理后的X光图像和多张自然光图像输入预测模型，通过模型确定违禁包裹自然光图像（即目标自然光图像），自然光图像中包括违禁包裹外形信息（即目标监控对象）以及乘客的人脸信息，以便安检人员基于违禁包裹自然光图像快速识别出携带该包裹的乘客。现有技术中当X光安检机识别出违禁包裹时，安检人员需要回看监控，花费大量的时间和精力才能确定出携带违禁包裹的乘客。相比而言，采用本申请的方法，避免了现有技术需要耗费安检人员大量的时间和精力查找违禁包裹的自然光图像，借助机器学习模型输出包含违禁包裹的自然图像，使得安检人员可以通过人眼确定违禁包裹与乘客的关联关系，避免了安检人员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像，大大提高了安检效率。另外，借助机器学习模型替代人工查找违禁包裹自然光图像，在避免人为查找受主观因素影响的同时，还能够提高查找效率，即缩短查找时长，提高查找准确率。
附图说明
[0012]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为本申请实施例提供的图像关联系统的示意图；图2为本申请实施例提供的图像关联方法的流程示意图；图3为本申请实施例提供的图像关联方法的另一流程示意图；图4为本申请实施例提供的图像关联方法的另一流程示意图；图5为本申请实施例提供的图像关联方法的另一流程示意图；图6为本申请实施例提供的图像关联方法的另一流程示意图；图7为本申请实施例提供的模型训练的流程示意图；
图8为本申请实施例提供的模型结构的示意图；图9为本申请实施例提供的图像关联装置的结构示意图；图10为本申请实施例提供的计算机设备的结构框图。
具体实施方式
[0013]下面结合实施例和附图对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。
[0014]需要说明的是，在不冲突的情况下，本申请中的实施例即实施例的特征可以互相结合。下面将参考附图并结合实施例来详细说明本申请。
[0015]目前，当X光安检机识别出违禁包裹时，需要安检人员通过回看监控视频，从而确定上述违禁包裹的自然光图像，安检人员可以通过人眼辨别出上述违禁包裹自然光图像中的人脸信息，从而完成查找携带违禁包裹乘客。当人流量较大时，安检人员需要耗费大量的时间和精力确定携带违禁包裹的具体乘客，使得安检效率较低。
[0016]基于此，本申请提出一种图像关联方法、装置、设备和存储介质，能够通过模型预测与违禁包裹X光图像关联的自然光图像，基于上述自然光图像确定携带违禁包裹的具体乘客，大大提高安检效率。
[0017]本申请提供的图像关联方法，可以应用于如图1所示的图像关联系统中。参考图1，该图像关联系统可以包括X光安检机10、摄像机20以及计算机设备3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像关联方法，其特征在于，所述方法包括：获取目标X光图像以及与所述目标X光图像相关的多个自然光图像；所述目标X光图像包括目标监控对象；对所述目标X光图像进行特征提取，获得第一全局特征图；对所述多个自然光图像进行特征提取，获得所述多个自然光图像对应的多个第二全局特征图；将所述第一全局特征图以及所述多个第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像；所述目标自然光图像包含所述目标监控对象。2.根据权利要求1所述的方法，其特征在于，所述获取与所述目标X光图像相关的多个自然光图像，包括：获取与所述X光图像属于同一场景的多个候选自然光图像；确定每一所述候选自然光图像的拍摄时间与所述目标X光图像的拍摄时间的时间间隔；将所述多个候选自然光图像中时间间隔小于阈值的候选自然光图像，确定为与所述目标X光图像相关的多个自然光图像。3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一全局特征图以及所述第二全局特征图输入预测模型，获得所述多个自然光图像中与所述目标X光图像匹配的目标自然光图像，包括：将所述第一全局特征图以及所述多个第二全局特征图输入所述预测模型进行特征提取，获得所述第一全局特征图的多个局部特征图，以及每一所述第二全局特征图的多个局部特征图；根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图；所述第一稳定特征图为所述目标X光图像对应的特征图中与拍摄模态无关的特征图，所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征图；根据所述第一稳定特征图以及所述第二稳定特征图，获得多个重建特征图，根据所述多个重建特征图确定所述目标X光图像与所述自然光图像之间的相似度；将所述多个自然光图像中相似度最大的图像确定为所述目标自然光图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一全局特征图、所述第一全局特征图的多个局部特征图、所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图，确定第一稳定特征图以及第二稳定特征图，包括：对特征图F
VIS
和特征图F
X
进行乘运算，获得运算结果P；若P满足：P∈R
HW
×
HW
，则确定所述特征图F
X
为所述第一稳定特征图，所述特征图F
VIS
为所述第二稳定特征图；其中，所述特征图F
X
为所述第一全局特征图以及所述第一全局特征图的多个局部特征图中的任意一个，所述特征图F
VIS
所述多个第二全局特征图以及每一所述第二全局特征图的多个局部特征图中的任意一个，P∈R
HW
×
HW
为所述特征图F
VIS
和所述特征图F
X
乘运算的运算结果P，与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算
...

【专利技术属性】
技术研发人员：吴勇敢，王红强，产思贤，陈旭，
申请(专利权)人：安徽启新明智科技有限公司，
类型：发明
国别省市：