一种基于传送带标识的可见光和X光图像匹配方法及装置制造方法及图纸

本发明专利技术为了解决安检机场景可见光拍摄物品图像和X光扫描物品图像匹配问题，提出了一种基于传送带标识的可见光和X光图像匹配方法及装置。在X光安检机入口上方安装网络高清摄像机模组，在传送带两侧安装金属材质的数字标识条。用深度聚焦卷积残差网络对可见光抓拍图像和X光扫描图像进行物品检测，用以残差网络为模型的卷积神经网络对图像上的数字进行自动识别。利用检测出的可见光抓拍图像和X光扫描图像上物品坐标，通过投影计算出物品相对应的标识条上的数字。接着通过可见光抓拍图像上的数字和X光扫描图像上的数字匹配来实现可见光和X光物品图像的匹配，从而让安检员能更便捷得确认X光物品图像对应的可见光物品图像，提高安检效率。提高安检效率。提高安检效率。

【技术实现步骤摘要】
一种基于传送带标识的可见光和X光图像匹配方法及装置


[0001]本专利技术属于安防中的安检领域，涉及可见光成像、X光成像、图形图像处理、计算机视觉等技术，在传送带上设置标识，使可见光采集的物品图像和X光采集的物品图像能够匹配，提高安检效率。

技术介绍

[0002]安检在日常生活中已经很常见，比如在地铁口、机场和重要场馆等场景，都会配备安检机。安检机通常利用主动X光技术，通过传送带将被检测的物品(通常是包裹)送入扫描区，接着通过X光对物品进行扫描得到X光图像(透视图像)，进而对物品里是否包含禁限带品进行判别，如果有疑似禁限带品，则需要对物品进行人工复核，此时则需要通过X光图像去搜索对应的物品(包裹)。安检员通常是根据物品的特征，比如物品的大小、拉链或者装饰物的形状等去判断，这种方法取决于安检员的辨识能力，效率很低。因此，需要图像自动匹配的方法，最基本的想法就是在X光扫描物品时，抓拍一张可见光的图像，然而，由于X光有辐射，安检机扫描模块在机器内部，在里面安装可见光摄像机有难度，而且很难补光，X光对摄像机也有干扰导致成像不佳。所以，通常在安检机的传送带物品入口处上方安装可见光摄像机，在物品被放置到传送带上或者物品即将经过安检机铅帘时，对物品进行抓拍，这就存在一个问题：物品的可见光图片先被抓拍，过了一段时间才是X光机扫描出物品的X光图像，这两张图像如何进行对应匹配呢？有厂家基于传送带是匀速运行的假设，所以物品可见光抓拍时刻和X光扫描时刻之间是固定的时间差，通过时间差来进行搜索匹配，这种方法无法解决传送带调速的场景，而且传送带有时需要暂停用于复查物品，这会导致可见光抓拍时刻和X光扫描时刻的时间差不确定；还有厂家通过轮廓匹配的方法，事实上，由于X光扫描是透视，会导致很多情况下物品的轮廓线非常模糊，如图1和图2所示，图1是摄像机抓拍的可见光图像，显示一个塑料购物袋，图2是图1物品对应的X光扫描图像，里面装着鞭炮，塑料袋的边缘在X光扫描下已经非常模糊，这种情况下通过轮廓匹配已不可行。

技术实现思路

[0003]本专利技术为了解决安检机场景可见光拍摄物品图像和X光扫描物品图像匹配问题，提出了一种基于传送带标识的可见光和X光图像匹配方法及装置。如图3所示，在已有安检机主体301，基座302和传送带308基础上，本专利技术装置包括顶部箱体支撑板303、两侧支撑板304、网络高清摄像机模组305、可见光采集补光灯板306、传送带标识条307。物品通过传送带往前运动，物品和传送带保持相对静止。网络高清摄像机模组对传送带上的物品进行拍摄，输出的视频流通过网络传输到图像匹配服务模块，图像匹配服务模块对视频流进行解码输出一帧帧可见光图像，然后在可见光图像上检测是否有物品，检测到物品存在，则启动抓拍，抓拍的可见光图像放入可见光图像队列中，同时记录可见光图像的抓拍时间和物品在可见光抓拍图像上的图像坐标。安检机X光扫描模块对传送带上的物品进行扫描，扫描出的X光图像通过网络传输到图像匹配服务模块，图像匹配服务模块在X光图像上检测是否有
物品，检测到物品存在，则把该X光图像放入X光图像队列，同时记录X光图像的扫描时间和物品在X光图像上的图像坐标。从X光图像队列中取出一张X光图像，以此X光图像抓拍时间为起始点，向前推移一段时间dt得到时刻t，dt通常是物品由可见光摄像机位置通过传送带移动到X光扫描点的时间，以时刻t为基准，从可见光图像队列中取出t前后一段时间内的可见光图像。将取出的X光图像和可见光图像，通过事先标定标识条检测区域，对传送带标识条检测区域内图像，利用以残差网络为模型的卷积神经网络进行数字识别，识别出每个数字，同时可以得到每个数字的图像坐标。把X光图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即X光图像上物品左侧坐标对应的标识条上数字NUM
XL
、物品右侧坐标对应的标识条上数字NUM
XR
和物品中心坐标对应的标识条上数字NUM
XC
。把从可见光图像队列中取出的图像上物品根据坐标在传送带前进方向(标识条数字前进方向)上进行垂直投影，计算出投影左侧离得最近的数字、投影右侧离得最近的数字、投影中心离得最近的数字，即可见光图像上物品左侧坐标对应的标识条上数字NUM
CL
、物品右侧坐标对应的标识条上数字NUM
CR
和物品中心坐标对应的标识条上数字NUM
CC
。计算NUM
XL
和NUM
CL
的距离D
L
，NUM
XR
和NUM
CR
的距离D
R
，NUM
XC
和的NUM
CC
距离D
c
，如果D
L
、D
R
、D
c
之和小于设定的阈值，则认为X光图像中物品和可见光图像中物品匹配。
[0004]X光图像和可见光图像上物品检测算法都采用基于深度聚焦卷积残差网络，如图8所示。输入图像通过聚焦结构把图像各颜色通道子图分成切片(Slice)，然后经过张量拼接(Concat)和卷积模块(Conv)生成特征图，经过BN(Batch Normalization)和Leaky ReLU激活函数等之后输出给跨阶段局部网络，此跨阶段局部网络由Conv、BN、Leaky ReLU、ResNet(残差网络模块)、Concat、合并后BN、合并后LeakyReLU等模块组成，包括两个路径的特征图生成过程。紧接着通过空间金字塔池化模块(SPP:Spatial Pyramid Pooling)，最终输入到FPN(feature pyramid networks)和PAN(Path Aggregation Network)相结合的结构中，采用自顶向下和自底向上的特征金字塔，通过PAN结构从不同的特征层进行特征信息传输和聚合。最终通过预测层(Prediction)进行物品检测。X光图像和可见光图像在成像原理上有很大的不同，这就导致同样类别的物品在X光图像和可见光图像上的特征表现有很大的区别，因此，本专利技术用X光图像的样本训练X光物品检测模型，用可见光图像的样本训练可见光物品检测模型。
[0005]传送带检测区域内图像上数字识别算法采用以残差网络为模型的卷积神经网络，如图9所示。该卷积神经网络以残差网络模块为核心，将卷积层(Conv)、激活层(ReLU)、池化层(Pooling)、残差网络模块(Res Net)和全连接层(Full Connection)等组合起来，最终识别出数字。
[0006]顶部箱体支撑板303为透明亚格力材质，位于可见光装置顶层，与X光机机身固定，补光灯板发出的光可透过支撑板303照射到传送带物品上。
[0007]支撑板304，与顶部箱体支撑板303和X光机底部固定连接，保证可见光采集装置稳固。
[0008]网络高清摄像机模组305位于顶部箱体支本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于传送带标识的可见光和X光图像匹配方法及装置，其特征在于：包括顶部箱体支撑板(303)、两侧支撑板(304)、网络高清摄像机模组(305)、可见光采集补光灯板(306)、传送带标识条(307)；网络高清摄像机模组对传送带上的物品进行拍摄，输出的视频流通过网络传输到图像匹配服务模块，图像匹配服务模块在可见光图像上检测到物品存在后进行抓拍，放入可见光图像队列，同时记录可见光图像的抓拍时间和物品在可见光抓拍图像上的图像坐标；安检机X光扫描模块对传送带上的物品进行扫描，扫描出的X光图像通过网络传输到图像匹配服务模块，图像匹配服务模块在X光图像上检测到物品存在，则把该X光图像放入X光图像队列，同时记录X光图像的扫描时间和物品在X光图像上的图像坐标；X光图像和可见光图像上物品检测算法采用基于深度聚焦卷积残差网络；从X光图像队列中取出一张X光图像，以此X光图像抓拍时间为起始点，向前推移一段时间得到时刻t，以时刻t为基准，从可见光图像队列中取出t前后一段时间内的可见光图像；取出的X光图像和可见光图像，通过事先标定标识条检测区域，对传送带标识条检测区域内图像，利用以残差网络为模型的卷积神经网络进行数字识别，识别出每个数字，同时得到每个数字的图像坐标；把X光图像上物品根据坐标在传送带前进方向上进行垂直投影，计算出X光图像上物品左侧坐标对应的标识条上数字NUM
XL
、物品右侧坐标对应的标识条上数字NUM
XR
和物品中心坐标对应的标识条上数字NUM
XC
；从可见光图像队列中取出的图像上物品根据坐标在传送带前进方向上进行垂直投影，计算出可见光图像上物品左侧坐标对应的标识条上数字NUM
CL
、物品右侧坐标对应的标识条上数字NUM
CR
和物品中心坐标对应的标识条上数字NUM
CC
；计算NUM
XL
和NUM
CL
的距离D
L
，NUM
XR
和NUM
CR
的距离D
R
，NUM
XC
和的NUM
CC
距离D
c
，如果D
L
、D
R
、D
c
之和小于设定的阈值，则认为X光图像中物品和可见光图像中物品匹配。2.根据权利要求1所述的一种基于传送带标识的可见光和X光图像匹配方法及装置，其特征在于，X光图像和可见光图像上物品检测算法采用基于深度聚焦卷积残差网络，输入图像通过聚焦结构把图像各颜色通道子图分成切片Slice，然后经过张量...

【专利技术属性】
技术研发人员：张恩伟，
申请(专利权)人：北京博睿视科技有限责任公司，
类型：发明
国别省市：