用于处理图像数据的相机和方法技术

本申请涉及用于处理图像数据的相机和方法。提出了一种相机(10)，特别是基于相机的读码器，该相机具有：图像传感器(24)，其用于检测具有多个像点的图像数据；第一处理单元(30)，其用于在由相邻像点组构成的图像数据流中读取图像传感器(24)的图像数据；第二处理单元(32)，其用于处理图像数据；以及存储器(34)，其用于存储图像数据和图像数据的处理结果，其中神经网络(38)在第一处理单元(30)和/或第二处理单元(32)上实现。在此，第一处理单元(30)被配置用于在图像传感器(24)读取其他图像数据组期间处理已经通过神经网络的至少一个第一层(42)读取的像点组。层(42)读取的像点组。层(42)读取的像点组。

【技术实现步骤摘要】
Database”中，合成了一个大型数据集，并通过CNN进行代码分割。但是，详细的网络架构和硬件实现没有介绍。
[0009]Xiao Yunzhe和Zhong Ming在应用科学9.16(2019):3268上发表的“1D Barcode Detection via Integrated Deep
‑
Learning and Geometric Approach”，声称在无需手动调整参数的情况下，与先前的方法相比，条形码的定位至少提高了5％。
[0010]Hansen Daniel Kold等人在IJCCI.2017发表的“Real
‑
Time Barcode Detection and Classification using Deep Learning”，利用Intel i5
‑
6600 3.30GHz和Nvidia GeForce GTX 1080实时识别包括扭曲在内的代码区域。
[0011]Zharkov Andrey和Zagaynov Ivan在arXiv preprint arXiv:1906.06281,2019上发表的“Universal Barcode Detector via Semantic Segmentation”，在CPU环境中识别条形码并识别代码类型。
[0012]然而，处理CNN又需要与上面示例性提到的常规预处理链完全不同的计算能力。对于嵌入式硬件，特别是在实时条件下，或至少在有限的时间窗口内，例如由于待记录的对象的传送运动，是不可行的。常规的解决方案是使用专用硬件或协处理器，如NPU(Neural Processing Unit神经处理单元)或GPU(Graphics Processing Unit图形处理单元)。但是，这种组件通常也无法在嵌入式架构中使用。
[0013]US 9 858 496B2讨论了借助于特别的神经网络，即RPN(region proposal network区域建议网络)在图像中进行对象检测和分类。为了获得更强的计算能力，可以使用各种组件，包括ASIC(Application
‑
Specific Integrated Circuits专用集成电路)或FPGA。但是，这与读取代码没有特别关系。
[0014]US 2018/0046903 A1总体上提出了一种使用CPU和FPGA的异构架构，以加快CNN的处理。但其中只是提到了计算机视觉作为背景，并未指定更详细的实现，甚至未指定对代码读取上的应用。
[0015]He Kaiming、Zhang Xiangyu、Ren Shaoqing和Sun Jian于2015年12月10日发表于arXiv:1512.03385上的“Deep Residual Learning for Image Recognition”中论述了具有众多层的深度神经网络需要巨大的训练工作的问题。这可以通过所谓的"残余连接(residual connections)"，即跳过层的连接来改进。这是一种非常通用与代码读取无关的技术。
[0016]EP 3 428 834 B1使用典型的解码器，该解码器利用没有机器学习的方法来工作，以便训练为机器学习设计的分类器，或更具体地说是训练神经网络。但是，该文档并没有详细论述预处理或发现代码区域。
[0017]在迄今为止已知的方法中，没有一种方法可以适当地减少或分配CNN处理高分辨率图像的巨大的计算负荷，使得也可以使用中低性能的硬件组件。
[0018]因此，本专利技术的任务在于改进利用神经网络对图像的处理，特别是用于代码读取。
[0019]该任务通过根据权利要求1或15的用于处理图像数据的相机和方法得以实现。优选地，该相机被构造成基于相机的读码器。图像传感器记录具有多个像素的图像数据，通常是具有几百万像素的高分辨率的图像数据。第一处理单元读取图像传感器的图像数据，即优选是高分辨率的原始图像。以相邻像素组为单位，读取作为相邻像素组中的图像数据流(Streaming)进行。此外，该相机还包括用于处理图像数据的、但优选不直接连接到图像传
感器的第二处理单元，以及用于图像数据和处理结果的存储器。处理结果例如是处理后的图像数据和由此获得的特征和属性。
[0020]图像数据的处理至少部分地由神经网络来进行，该神经网络在第一处理单元、第二处理单元或两个处理单元上实现。优选地，神经网络是CNN(Convolutional Neural Network卷积神经网络)，以下通常如此提及。在迄今为止已知的实现中，第一处理单元首先将图像数据流式传输到存储器中，必要时在预处理之后利用典型的方法进行。随后，再由神经网络来进行处理，其中可以设想将负荷分配到第一和第二处理单元。
[0021]本专利技术基于以下基本思想，即在读取期间已经在神经网络中处理图像数据。为此，至少神经网络的第一层在第一处理层上实现，并且所读取的像点(Bildpunkt)组已经被提供给该第一层，同时其他图像数据组被图像传感器读取。还可以在第一处理层(Early Layers早期层)上实现神经网络的第二层和其他层，然后一旦前一层产生了足够的中间结果，第二层和其他层就开始处理。这样，一旦有足够多的图像数据组被读取用于下一处理步骤，神经网络就开始或继续其处理。并行地或至少出于实际目的与此处理并行地，总是读取其他图像数据组，直到在某一时刻图像完整为止，并且只需要补回最后读取的图像数据的还剩余的处理步骤。神经网络“即时(on the fly)”工作或在图像流式传输期间已经工作了。
[0022]本专利技术的优点在于，以特别有利的方式将处理分配到多个处理单元上。异构硬件架构特别适合于此目的。由于在读取图像数据期间至少第一层就已经进行了早期和快速处理，因此至少第一层的中间结果或特征可以很快地，甚至在不断地处理时间之后可供使用。即使在硬件资源有限的系统上，特别是在具有嵌入式硬件的系统上，也能够实现利用神经网络来进行处理。根据本专利技术的任务分配和实现还解决了在引言讨论的文件中没有提及的另一个问题，即在处理神经网络的处理组件之间的数据传输需要巨大的带宽。即使自身有足够的计算能力，否则这也会成为瓶颈，该瓶颈有可能在所需时间框架条件下阻止处理。
[0023]优选地，相邻像点组是图像行或图像行的一部分，因此在读取其他图像行期间，已经在第一层处理了图像行。因此，图像从图像传感器被逐行读取或流式传输，并且处理是面向行来进行的。一旦为第一层的卷积核读取了足够的图像行，就可以进行下一处理步骤。为此，第一处理单元优选具有图像缓冲器，在该图像缓冲器中以滚动的方式临时存储相应数量的图像行。原则上，也可以用同样的方式用图像列代替图像行来工作。这里只是理解为坐标定义的不同，不作区分。
[0024]优选地，第一处理单元具有FPGA(Field Programmable Gat Array现场可编程门阵列)和/或第二处理单元具有微处理器(CPU)。FPGA特别适用于通过比较简单的单个计算操作来实时处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机(10)，特别是基于相机的读码器，具有：图像传感器(24)，其用于检测具有多个像点的图像数据；第一处理单元(30)，其用于在由相邻像点组构成的图像数据流中读取所述图像传感器(24)的图像数据；第二处理单元(32)，其用于处理图像数据；以及存储器(34)，其用于存储图像数据和图像数据的处理结果，其中神经网络(38)在所述第一处理单元(30)和/或所述第二处理单元(32)上实现，其中，所述第一处理单元(30)被配置用于在所述图像传感器(24)仍读取其他图像数据组期间已经通过所述神经网络的至少一个第一层(42)处理了读取的像点组。2.根据权利要求1所述的相机(10)，其中，相邻像点组是图像行或图像行的一部分，因此，在读取其他图像行期间已经在所述第一层(42，48)处理了图像行。3.根据权利要求1或2所述的相机(10)，其中，所述第一处理单元(30)具有FPGA(现场可编程门阵列)和/或所述第二处理单元(32)具有微处理器。4.根据前述权利要求中任一项所述的相机(10)，其中，所述神经网络(42)被配置用于分割图像数据，通过所述分割发现感兴趣的区域，特别是代码区域(20)。5.根据前述权利要求中任一项所述的相机(10)，其中，所述第一处理单元(30)上的所述神经网络的至少第一层(42)生成特征图，所述特征图作为处理结果被存储在所述存储器(34)中。6.根据权利要求5所述的相机(10)，其中，所述特征图包括概率图，其中代码位于所述图像数据中。7.根据权利要求5或6所述的相机(10)，其中，所述特征图具有比所述图像传感器的图像数据更低的分辨率。8.根据前述权利要求中任一项所述的相机(10)，其中，所述第一处理单元(30)具有至少一个第一缓冲存储器(50、54)，用于临时存储所述至少第一层(42)的处理结果。9.根据前述权利要求中任一项所述的相机(1...

【专利技术属性】
技术研发人员：让，
申请(专利权)人：西克股份公司，
类型：发明
国别省市：