基于语义的图像识别系统及其方法技术方案

本申请提供了一种基于语义的图像识别系统，可以包括：透视图获取模块，被配置为获取针对封闭环境中的被检对象的透视图；语义要素提取模块，被配置为提取针对所述透视图中的每一个被检对象的目标语义区域；特征表示模块，被配置为获得针对所述语义区域中的每一个语义区域的特征表示；决策模块，被配置为基于过滤模型以及预定阈值，确定目标特征以识别被检对象；以及显示模块，被配置为显示被检对象的信息。

【技术实现步骤摘要】
基于语义的图像识别系统及其方法
本申请涉及安检
，具体地涉及一种封闭环境内对象识别方法，更近一步地，涉及一种基于语义的集装箱货物智能审图方法。
技术介绍
集装箱检查是涉及社会公共安全、国家经济利益等重要方面的核心问题。例如，海关的通关、关税、查缉等职能均是通过集装箱检查技术来实现的。在当前全球贸易量不断增加的形势下，利用人工智能手段实现的集装箱自动检查技术应运而生，并且在近几年已经逐步走向产品化。利用人工智能手段实现的集装箱自动检查技术的主要原理为：基于集装箱透视图像、电子报关单据等信息，通过基于深度学习的目标检测、分类等手段，实现对象自动识别的目的。目前，集装箱透视图像智能审图方面的主要技术为报关单对比技术夹带检测技术。报关单对比技术的基本原理为：使用对象的历史图像对每种对象建立模型；对于针对待识别对象的待测图像，提取其特征表示并且将所提取的特征表示与其标注信息所声明的对象模型进行匹配，然后基于匹配度来确定待识别对象是否与其标注的对象一致。夹带检测技术的基本原理为：基于集装箱货物摆放规律特性，仅以当前图像内部一致性来检测存在异常的局部区域。但是这两种技术在识别准确度上均不高。基于此，需要一种技术来更准确的对封闭环境内的对象进行识别。
技术实现思路
根据本申请的第一方面，提供了一种基于语义的图像识别系统，可以包括：图像获取模块，被配置为获取关于被检对象的图像；语义要素提取模块，被配置为提取针对被检对象的图像中的每一个被检对象的目标语义区域；特征表示模块，被配置为获得针对语义区域中的每一个语义区域的特征表示；以及决策模块，被配置为基于过滤模型以及预定阈值，确定目标特征以识别被检对象。根据第一方面，图像获取模块是用于获取封闭环境内的被检对象的图像的透视图获取模块。根据第一方面，语义要素提取模块可以包括：初级语义区域划分模块，被配置为随机划分针对所述透视图中的每一个被检对象的预测窗口；历史语义区域模型模块，被配置为存储历史语义区域模型；以及优化模块，被配置为基于历史语义区域模型来调整通过所述初级语义区域划分模块划分而成的预测窗口。根据第一方面，优化模块还可以被配置为基于调整后的预测窗口的面积与被测对象的区域的面积之间的差值来修正预测窗口，以获得针对每一个被检对象的目标语义区域。根据第一方面，针对每一个被检对象的目标语义区域是以最小面积完全覆盖被检对象区域的。根据第一方面，特征表示模块可以包括：多个语义描述模块，被配置为提取针对每一个目标语义区域的多个不同的区域特征；以及区域特征表示模块，被配置为基于由多个语义描述模块提取的多个不同的区域特征，形成区域特征表示集合。根据第一方面，特征表示模块还可以包括：排序模块，被配置为对经由区域特征表示模块获得的区域特征表示集合进行排序。根据第一方面，特征表示模块还可以包括：加权模块，被配置为向由所述区域特征表示模块获得的区域特征表示集合赋予不同的权重值。根据第一方面，决策模块还可以被配置为执行以下操作：从特征表示模块接收针对每个区域特征的区域特征表示集合；基于过滤模型，从过滤模型中过滤出与所接收的区域特征表示集合最近似的多个特征条目；以及基于预定阈值从最近似的多个特征条目中确定目标特征条目。根据第一方面，决策模块还可以被配置为：计算所接收的区域特征表示集合与过滤模型中的每个条目之间的匹配值；将匹配值最小的多个特征条目选择为所述最近似的多个特征条目；以及将针对最近似的多个特征条目中的每一个特征条目的匹配值与预定阈值进行比较，并且将针对其的匹配值小于预定阈值的特征条目确定为目标特征条目。在本申请的第二方面中，提供了一种基于语义的图像识别方法，所述方法可以包括：获取被检对象的图像；提取针对被检对象的图像中的每一个被检对象的目标语义区域；获得针对语义区域中的每一个语义区域的特征表示；以及基于过滤模型以及预定阈值，确定目标特征以识别被检对象。根据第二方面，被检对象的图像是针对处于封闭环境内的被检对象的透视图像。根据第二方面，提取针对透视图中的每一个被检对象的目标语义区域可以包括：随机划分针对透视图中的每一个被检对象的预测窗口；以及基于历史语义区域模型来调整预测窗口。根据第二方面，提取针对透视图中的每一个被检对象的目标语义区域还可以包括：基于调整后的预测窗口的面积与被测对象的区域的面积之间的差值来修正预测窗口，以获得针对每一个被检对象的目标语义区域。根据第二方面，针对每一个被检对象的目标语义区域是以最小面积完全覆盖被检对象区域的。根据第二方面，获得针对所述语义区域中的每一个语义区域的特征表示可以包括：提取针对每一个目标语义区域的多个不同的区域特征；以及基于所述多个不同的区域特征，形成区域特征表示集合。根据第二方面，获得针对语义区域中的每一个语义区域的特征表示还可以包括：对区域特征表示集合进行排序。根据第二方面，获得针对所述语义区域中的每一个语义区域的特征表示还可以包括：向区域特征表示集合赋予不同的权重值。根据第二方面，基于过滤模型以及预定阈值，确定目标特征以识别被检对象可以包括：接收针对每个区域特征的区域特征表示集合；基于过滤模型，从过滤模型中过滤出与所接收的区域特征表示集合最近似的多个特征条目；以及基于预定阈值从最近似的多个特征条目中确定目标特征条目。根据第二方面，基于过滤模型以及预定阈值，确定目标特征以识别被检对象还可以包括：计算所接收的区域特征表示集合与过滤模型中的每个条目之间的匹配值；将匹配值最小的多个特征条目选择为最近似的多个特征条目；以及将针对最近似的多个特征条目中的每一个特征条目的匹配值与预定阈值进行比较，并且将针对其的匹配值小于预定阈值的特征条目确定为目标特征条目。在本申请的第三方面中，提供了一种计算机可读介质，包括用于实现根据第二方面所述的方法的程序代码指令。本申请以货物透视图像与其报关单为输入，以货物的语义划分为基础，重构报关单对比与夹带检测技术，并有效结合两者优势，从而提升自动判定有效性。附图说明图1示出了根据本申请的示例性实施例的图像识别系统的框图。图2示出了根据本申请的示例性实施例的语义要素提取模块的框图。图3示出了根据本申请的示例性实施例的原始透视图像、随机语义划分后的透视图像、基于历史语义区域进行了语义区域调整后的透视图像、以及提取了目标语义区域的透视图像。图4示出了根据本申请的示例性实施例的特征表示模块的第一实施例的框图。图5示出了根据本申请的示例性实施例的特征表示模块的第二实施例的框图。图6示出了根据本申请的示例性实施例的特征表示模块的第三实施例的框图。图7示出了根据本申请的示例性实施例的基于语义的图像识别方法的流程图。图8示出了根据本申请的示例性实施例的提取语义要素的示例性流程图。图9示出了根据本申请的示例性实施例的获取特征表示的示例性流程图。图10示出了根据本申请的示例性实施例的决策执行的示例本文档来自技高网...

【技术保护点】
1.一种基于语义的图像识别系统，包括：/n图像获取模块，被配置为获取关于被检对象的图像；/n语义要素提取模块，被配置为提取针对所述被检对象的图像中的每一个被检对象的目标语义区域；/n特征表示模块，被配置为获得针对所述语义区域中的每一个语义区域的特征表示；以及/n决策模块，被配置为基于过滤模型以及预定阈值，确定目标特征以识别被检对象。/n

【技术特征摘要】
1.一种基于语义的图像识别系统，包括：
图像获取模块，被配置为获取关于被检对象的图像；
语义要素提取模块，被配置为提取针对所述被检对象的图像中的每一个被检对象的目标语义区域；
特征表示模块，被配置为获得针对所述语义区域中的每一个语义区域的特征表示；以及
决策模块，被配置为基于过滤模型以及预定阈值，确定目标特征以识别被检对象。


2.根据权利要求1所述的图像识别系统，所述图像获取模块是用于获取封闭环境内的被检对象的图像的透视图获取模块。


3.根据权利要求1所述的图像识别系统，其中，所述语义要素提取模块包括：
初级语义区域划分模块，被配置为随机划分针对所述透视图中的每一个被检对象的预测窗口；
历史语义区域模型模块，被配置为存储历史语义区域模型；以及
优化模块，被配置为基于历史语义区域模型来调整通过所述初级语义区域划分模块划分而成的预测窗口。


4.根据权利要求3所述的图像识别系统，其中，所述优化模块还被配置为基于调整后的预测窗口的面积与被测对象的区域的面积之间的差值来修正所述预测窗口，以获得针对每一个被检对象的所述目标语义区域。


5.根据权利要求4所述的图像识别系统，其中，所述针对每一个被检对象的目标语义区域是以最小面积完全覆盖被检对象区域的。


6.根据权利要求1所述的图像识别系统，其中，所述特征表示模块包括：
多个语义描述模块，被配置为提取针对每一个目标语义区域的多个不同的区域特征；以及
区域特征表示模块，被配置为基于由所述多个语义描述模块提取的所述多个不同的区域特征，形成区域特征表示集合。


7.根据权利要求6所述的图像识别系统，其中，所述特征表示模块还包括：排序模块，被配置为对经由所述区域特征表示模块获得的区域特征表示集合进行排序。


8.根据权利要求4所述的图像识别系统，其中，所述特征表示模块还包括：加权模块，被配置为向由所述区域特征表示模块获得的区域特征表示集合赋予不同的权重值。


9.根据权利要求1所述的图像识别系统，其中，所述决策模块还被配置为执行以下操作：
从特征表示模块接收针对每个区域特征的区域特征表示集合；
基于过滤模型，从过滤模型中过滤出与所接收的区域特征表示集合最近似的多个特征条目；以及
基于所述预定阈值从所述最近似的多个特征条目中确定目标特征条目。


10.根据权利要求9所述的图像识别系统，其中，所述决策模块还被配置为：
计算所接收的区域特征表示集合与过滤模型中的每个条目之间的匹配值；
将匹配值最小的多个特征条目选择为所述最近似的多个特征条目；以及
将针对所述最近似的多个特征条目中的每一个特征条目的匹配值与所述预定阈值进行比较，并且将针对其的匹配值小于预定阈值的特征条目确定为目标特征条目。

【专利技术属性】
技术研发人员：李强，张丽，邢宇翔，孟凡华，
申请(专利权)人：同方威视技术股份有限公司，清华大学，
类型：发明
国别省市：北京;11