集装箱铭牌关键信息提取方法和装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种集装箱铭牌关键信息提取方法和装置、设备及介质。该方法包括通过获取集装箱的铭牌图像；加载目标识别模型，其中，目标识别模型包括OCR文本阅读模块、多模态嵌入模块和信息提取模块，多模态嵌入模块以端到端可训练的方式分别连接OCR文本阅读模块和信息提取模块；将铭牌图像输入至OCR文本阅读模块进行多模态特征提取，生成多模态特征，其中，多模态特征包括视觉特征、文本特征和布局特征；通过多模态嵌入模块将多模态特征嵌入到LSTM网络中，得到嵌入向量；基于自注意力机制，通过信息提取模块将嵌入向量送入至神经网络分类器，生成铭牌图像的关键信息。本发明专利技术实施例能够提高集装箱铭牌识别率，提高工业作业效率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，尤其涉及一种集装箱铭牌关键信息提取方法和装置、设备及介质。

技术介绍

1、传统的工业场景中，集装箱的设备控制器和终端运营系统独立运行，采用人工抄录方式记录关键信息，这可能导致信息不匹配、遗漏，并增加人力成本和流转时间。可见，人工采集的方式存在效率低下、识别错误率高的技术问题。

技术实现思路

1、本专利技术实施例的主要目的在于提出一种集装箱铭牌关键信息提取方法和装置、设备及介质，能够提高集装箱铭牌识别率，提高工业作业效率，提升工厂集装箱的吞吐量，并减少人工成本。

2、为实现上述目的，本专利技术实施例的第一方面提出了一种集装箱铭牌关键信息提取方法，所述方法包括：

3、获取集装箱的铭牌图像；

4、加载目标识别模型，其中，所述目标识别模型包括ocr文本阅读模块、多模态嵌入模块和信息提取模块，所述多模态嵌入模块以端到端可训练的方式分别连接所述ocr文本阅读模块和所述信息提取模块；

5、将所述铭牌图像输入至所述ocr文本阅读模块进行多模态特征提取，本文档来自技高网...

【技术保护点】

1.一种集装箱铭牌关键信息提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取集装箱的铭牌图像包括：

3.根据权利要求1所述的方法，其特征在于，所述OCR文本阅读模块包括共享的卷积主干、文本检测分支和文本识别分支，所述将所述铭牌图像输入至所述OCR文本阅读模块进行多模态特征提取，生成多模态特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过所述多模态嵌入模块将所述多模态特征嵌入到长短时记忆LSTM网络中，得到嵌入向量，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于自注意力机制，通过...

【技术特征摘要】

1.一种集装箱铭牌关键信息提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取集装箱的铭牌图像包括：

3.根据权利要求1所述的方法，其特征在于，所述ocr文本阅读模块包括共享的卷积主干、文本检测分支和文本识别分支，所述将所述铭牌图像输入至所述ocr文本阅读模块进行多模态特征提取，生成多模态特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过所述多模态嵌入模块将所述多模态特征嵌入到长短时记忆lstm网络中，得到嵌入向量，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于自注意力机制，通过所述信息提取模块将所述嵌入向量送入至神经网络分类器，生成所述铭牌图像的关键信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

【专利技术属性】
技术研发人员：徐颖，黎心如，梁长钊，李泽亮，李博，游杰，龙智豪，潘文锋，潘嘉灏，张佳茵，黄晴瑶，
申请(专利权)人：五邑大学，
类型：发明
国别省市：