检查方法和检查设备技术

公开了一种检查设备和检查方法。对待检查的集装箱进行X射线扫描，得到透射图像，然后利用卷积神经网络从透射图像产生描述局部透射图像的第一向量，并且利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量。整合第一向量和第二向量，得到表述透射图像和文字描述的第三向量。基于第三向量判别集装箱中的货物所属的类别。根据本公开的实施例，可以初步判断目标货物的大致类别，方便判图员的进一步判断。

Inspection methods and inspection equipment

A checking device and a checking method are disclosed. The containers are scanned by X-ray to get the transmission image. Then the convolution neural network is used to generate the first vector describing the local transmission image from the transmission image, and the cyclic neural network is used to generate the word vector from the text description of the container cargo as the second vector. Integrating the first vector and the second vector, we get the third vector representing the transmission image and the text description. Identify the categories of goods in containers based on third vectors. According to the embodiment of the present disclosure, the approximate category of the target goods can be preliminarily judged for the convenience of further judgement by the plotter.

【技术实现步骤摘要】
检查方法和检查设备
本公开的实施例涉及安全检查，具体涉及一种基于图像信息和文本信息的检查集装箱之类货物的方法和设备。
技术介绍
当前，辐射安检查验系统主要集中在对货物X射线图像的分析上。例如，利用图像理解的相关知识完成货物分类和识别任务。但是对于较难区分的货物，目前还主要基于人的认知进行区分判断，而人机辅助并没有达到“互助”的程度。
技术实现思路
鉴于现有技术中的一个或多个问题，提出了一种检查例如集装箱之类的货物的方法和设备。在本公开的一个方面，提出了一种检查集装箱的方法，包括步骤：对待检查的集装箱进行X射线扫描，得到透射图像；利用卷积神经网络从透射图像产生描述局部透射图像的第一向量；利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量；整合所述第一向量和所述第二向量，得到表述所述透射图像和所述文字描述的第三向量；以及基于所述第三向量判别所述集装箱中的货物所属的类别。根据本公开的实施例，基于所述第三向量判别所述集装箱中的货物所属的类别的步骤还包括：基于概率函数从所述第三向量产生表示集装箱中的货物属于某个类别的概率值；将具有最大概率值的类别作为所述货物所属的类别。根据本公开的实施例，所述的方法还包括：根据所判别的类别向用户呈现与所述类别相关联的典型透射图像。根据本公开的实施例，产生词向量的步骤包括：对所述集装箱货物的文字描述进行分词操作；将分词操作后的文字描述向量化，得到词向量。根据本公开的实施例，所述的方法还包括步骤：基于所述词向量从典型透射图像库中检索相应的典型透射图像；向用户呈现所检索的典型透射图像。根据本公开的实施例，所述的方法还包括步骤：基于所述第一向量从典型透射图像库中检索相应的典型透射图像；向用户呈现所检索的典型透射图像。在本公开的另一个方面，提出了一种检查设备，包括：X射线检查系统，对待检查的集装箱进行X射线扫描，得到透射图像；存储器，存储所述透射图像；处理器，配置为：利用卷积神经网络从透射图像产生描述局部透射图像的第一向量；利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量；整合所述第一向量和所述第二向量，得到表述所述透射图像和所述文字描述的第三向量；以及基于所述第三向量判别所述集装箱中的货物所属的类别。根据本公开的实施例，所述处理器配置为：基于概率函数从所述第三向量产生表示集装箱中的货物属于某个类别的概率值；将具有最大概率值的类别作为所述货物所属的类别。根据本公开的实施例，所述处理器还被配置为：根据所判别的类别向用户呈现与所述类别相关联的典型透射图像。根据本公开的实施例，所述处理器被配置为：对所述集装箱货物的文字描述进行分词操作；将分词操作后的文字描述向量化，得到词向量。根据本公开的实施例，所述处理器还被配置为：基于所述词向量从典型透射图像库中检索相应的典型透射图像；向用户呈现所检索的典型透射图像。利用上述实施例的方案，能够初步判断目标货物的大致类别，方便判图员的进一步判断。附图说明为了更好地理解本专利技术，将根据以下附图对本专利技术进行详细描述：图1示出了根据本公开实施例的检查设备的结构示意图；图2是描述如图1所述的检查设备中包括的计算设备的结构的示意图；图3示出了根据本公开的实施例的检查设备的示意性模块结构图；图4示出了根据本公开的实施例的检查方法的示意性流程图；图5示出了根据本公开实施例的货物图像与类别信息匹配的示意图；图6示出了根据本公开的实施例，利用卷积神经网络来判断货物的类别的示意图；图7示出了根据本公开的另一实施例，根据类别信息检索典型透视图像的示意图；图8示出了根据本公开的实施例的方法中使用的词语向量空间关系图；图9示出了根据本公开的实施例的方法中使用的循环神经网络的单元结构图；以及图10示出了根据本公开的实施例根据图像向量和词向量生成类别信息的示意图。具体实施方式下面将详细描述本专利技术的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本专利技术。在以下描述中，为了提供对本专利技术的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本专利技术。在其他实例中，为了避免混淆本专利技术，未具体描述公知的结构、材料或方法。在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本专利技术至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。鉴于现有技术中的问题，本公开的实施例提出了一种基于x射线图像和文本描述的人机辅助查验技术，完成对特定区域(重点关注区域)货物分类和查验的智能分析工具。在实际货物查验过程中，查验人员更多地是对图像局部区域的判断，这也是人机“互助”最为密切与必要的环节。该技术利用计算机的数据分析和图像理解能力，初步判断目标货物的大致类别。此外还引入人类感知信息，特别对局部突出区域的综合认知，给出更加准确的分类结果，从而提高查验建议的有效性。图1示出了根据本公开实施例的检查设备的结构示意图。如图1所示，根据本公开实施例的检查设备100包括X射线源110、探测器130、数据采集装置150、控制器140、和计算设备160，对诸如集装箱卡车之类的被检查物体120进行安全检查，例如判断其中是否包含了诸如枪支/毒品之类的危险品和/或可疑物品。虽然在该实施例中，将探测器130和数据采集装置150分开描述，但是本领域的技术人员应该理解也可以将它们集成在一起称为X射线探测和数据采集设备。根据一些实施例，上述的X射线源110可以是同位素，也可以是X光机或加速器等。X射线源110可以是单能，也可以是双能。这样，通过X射线源110和探测器150以及控制器140和计算设备160对被检查物体120进行透射扫描，得到探测数据。例如在被检查物体120行进过程中，操作人员借助于计算设备160的人机交互界面，通过控制器140发出指令，命令X射线源110发出射线，穿过被检查物体120后被探测器130和数据采集设备150接收，并且通过计算设备160对数据进行处理，可以获得透射图像，并且进一步利用训练的卷积神经网络从透射图像产生描述局部透射图像的图像向量(第一向量)，利用训练的循环神经网络从集装箱货物的文字描述产生词向量(第二向量)。然后计算设备160基于图像向量和词向量判断集装箱中的货物的所属类别。例如计算设备160整合第一向量和第二向量，得到表述透射图像和文字描述的第三向量，基于第三向量判别所述集装箱中的货物所属的类别。图2示出了如图1所示的计算设备的结构示意图。如图2所示，探测器130探测的信号通过数据采集器采集，数据通过接口单元167和总线163存储在存储器161中。只读存储器(ROM)162中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)163用于在处理器165工作过程中暂存各种数据。另外，存储器161中还存储有用于进行数据处理的计算机程序，例如物本文档来自技高网...

【技术保护点】
1.一种检查集装箱的方法，包括步骤：对待检查的集装箱进行X射线扫描，得到透射图像；利用卷积神经网络从透射图像产生描述局部透射图像的第一向量；利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量；整合所述第一向量和所述第二向量，得到表述所述透射图像和所述文字描述的第三向量；以及基于所述第三向量判别所述集装箱中的货物所属的类别。

【技术特征摘要】
1.一种检查集装箱的方法，包括步骤：对待检查的集装箱进行X射线扫描，得到透射图像；利用卷积神经网络从透射图像产生描述局部透射图像的第一向量；利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量；整合所述第一向量和所述第二向量，得到表述所述透射图像和所述文字描述的第三向量；以及基于所述第三向量判别所述集装箱中的货物所属的类别。2.如权利要求1所述的方法，其中基于所述第三向量判别所述集装箱中的货物所属的类别的步骤还包括：基于概率函数从所述第三向量产生表示集装箱中的货物属于某个类别的概率值；将具有最大概率值的类别作为所述货物所属的类别。3.如权利要求2所述的方法，还包括：根据所判别的类别向用户呈现与所述类别相关联的典型透射图像。4.如权利要求1所述的方法，其中产生词向量的步骤包括：对所述集装箱货物的文字描述进行分词操作；将分词操作后的文字描述向量化，得到词向量。5.如权利要求4所述的方法，还包括步骤：基于所述词向量从典型透射图像库中检索相应的典型透射图像；向用户呈现所检索的典型透射图像。6.如权利要求1所述的方法，还包括步骤：基于所述第一向量从典型透射图像库中检索相应的典型...

【专利技术属性】
技术研发人员：张健，赵占永，顾建平，刘耀红，赵自然，
申请(专利权)人：清华大学，同方威视技术股份有限公司，
类型：发明
国别省市：北京,11