图像的采集和亮度调整制造技术

本申请涉及图像的采集和亮度调整。给出了一种相机设备(10)，具有用于采集图像的图像传感器(24)以及控制和评估单元(26)，该控制和评估单元(26)被设计用于将图像划分成第一子区域(40)，在图像中查找具有感兴趣的结构的第二子区域(42)，并对图像进行亮度调整。控制和评估单元(26)还被设计用于确定第一子区域(40)各个亮度分布，确定对应于第二子区域(42)的那些第一子区域(40)的选择区域(44)，根据选择区域(44)的第一子区域(40)的亮度分布产生第二子区域(42)的共同的亮度分布，以及利用共同的亮度分布对第二子区域(40)进行亮度调整。亮度分布对第二子区域(40)进行亮度调整。亮度分布对第二子区域(40)进行亮度调整。

【技术实现步骤摘要】
图像的采集和亮度调整
[0001]本专利技术涉及根据权利要求1和15的前序部分的用于图像的采集和亮度调整的相机设备和方法。
[0002]在工业应用中，相机以各种方式用于自动检测对象属性，例如用于检查或测量对象。在此，采集对象的图像并根据任务通过图像处理方法对图像进行评估。相机的另一个应用是读取代码。借助于图像传感器采集具有其上有代码的对象，在图像中识别代码区域并随后对该代码区域进行解码。基于相机的读码器也可以轻松应对一维条形码以外的其它代码类型，这些代码类型与矩阵代码一样也被构造成二维的并提供更多信息。打印地址的自动的文本检测(Optical Character Recognition(OCR)——光学字符识别)或手写笔迹的自动的文本检测原则上也是对代码的读取。读码器的典型应用领域是超市收银台、自动包裹识别、邮件分拣、机场行李托运和其它物流应用。
[0003]常见的检测情况是相机安装在传送带上方。在对象流在传送带上的相对运动期间，相机采集图像并根据所获得的对象属性启动进一步的处理步骤。例如，这些处理步骤包括在作用于所输送对象上的机器处对具体对象适当地进一步处理或者改变对象流，作为质量控制的一部分，将某些对象从对象流中排除或将对象流分类成多个部分对象流。如果相机是基于相机的读码器，则根据所附的代码来识别对象以便进行正确的分类或类似的处理步骤。
[0004]由于相机和图像传感器技术的进一步发展，要处理的图像越来越大。巨大的数据量对在实时条件下在相机中进行传递和处理的有限的计算能力和带宽提出了挑战。在此，使用异构的计算架构来加以支持，即微处理器(Central Processing Unit(CPU)——中央处理器)与例如FPGA(Field Programmable Gate Array——现场可编程门阵列)、DSP(Digital Signal Processor——数字信号处理器)、GPU(Graphics Processing Unit——图形处理单元)或所谓的KI加速器(Neural Processing Unit(NPU)——神经处理单元)、TPU(Tensor Processing Unit——张量处理单元)的组合。
[0005]在这里，与负责从图像传感器读出图像数据的FPGA的组合被证明是特别好的。此外，FPGA还经由高速接口(PCI(Peripheral Component Interconnect)——外围部件互连、PCIE、PCI Express、MIPI(Mobile Industry Processor Interface)——移动产业处理器接口)与微处理器的存储器连接。因此，图像数据经由DMA(Direct Memory Access——直接存储器访问)从FPGA被传输到存储器。这个读出和存储的过程称为流式传输。然后，借助于CPU实施的解码器可以在下游访问存储的图像并且读出代码。上面提到的异构架构的其他附加模块不容易实现流式传输方法，这些附加模块本身通常已经需要存储的图像，而FPGA可以直接逐像素地读出图像数据并且进一步处理图像数据。
[0006]优选地，图像数据已经在FPGA中直接进行即时(on
‑
the
‑
fly)预处理，并且可以连同图像数据一起存储用于微处理器的附加信息或元数据。典型的预处理步骤涉及二值化(其中从灰度值图像变成黑白图像)或者分割(其中寻找具有候选代码的感兴趣的区域(ROI(Region of Interest))。EP 2 003599A1描述了一种光电传感器和一种用于检测代码的方法，其中已经在接收期间和/或实时地形成了用于将彩色图像或灰度值图像转换为二值图
像的二值化器，其方式是在其他部分仍被读入期间，对相应读入的部分进行二值化。EP 2 555 160 B1基于对比度度量在FPGA的预处理中找到感兴趣的区域或候选代码。在EP 3 916 633 A1中，用于进行分割的神经网络的第一层在读入期间已经在FPGA上运行。EP 1 365 577 A1公开了一种用于操作光电传感器的方法，其中图像已经在接收期间被压缩。在此，FPGA的性能被充分利用，以并行的方式实时执行许多简单的计算操作，例如矩阵乘法。顺序的、更复杂的计算操作(例如，用于读取光学代码的解码器的计算操作)留给微处理器，微处理器为此动用提供的图像数据和可能的预处理结果。
[0007]有利的预处理是所谓的对比度扩展(Kontrastspreizung)。如果在图像采集过程中未充分利用亮度区域或灰度值区域，则该对比度扩展改进了下游图像处理，特别是代码读取。有关可能的原因是曝光不足、背景较暗或者在代码的情况下，印刷效果不良。在对比度扩展中，采集的亮度值被重新按比例调节(reskalieren)或扩展到例如八位的可用动态范围或灰度值范围。问题在于，对于对比度扩展来说，亮度分布必须是已知的，而这在计算上是非常密集的，因为必须访问各个像素。现在原则上，FPGA可以介入并有效地确定亮度分布。然而，这将是一个全局的亮度分布，在此基础上的对比度扩展对于具有明亮区域和黑暗区域的异构图像没有什么用处。然而，特别是在代码读取过程中，通常感兴趣的区域是带有标签的对象或传送带的黑暗背景前的明亮标签。只有被限制于感兴趣的区域的对比度扩展才能真正带来改进，但全局亮度分布不能用于此目的。
[0008]EP 0 366 099 B1公开了一种用于图像对比度增强的计算效率高的技术。在此，根据像素的亮度值形成直方图，并由此形成转移函数，然后用该转移函数调整原始亮度值。EP 1 359 746 A1涉及一种图像处理设备，该图像处理设备也建立直方图以查找最小亮度值和最大亮度值，并在此基础上扩展图像信号。因此，在每种情况下只实现了全局对比度扩展。EP 3 495 987B1描述了一种读取条形码的方法，其中根据邻域直方图局部调整对比度。为此，又需要始终反复地花费大量的努力为要校正的各个像素生成局部直方图。
[0009]Zhuang,Liyun和Yepeng Guan的论文“Image enhancement via subimage histogram equalization based on mean and variance”,Computational intelligence and neuroscience 2017(2017)描述了一种将输入图像的直方图分成四个部分的方法。这种划分影响的是直方图，而不是输入图像，因此不允许局部对比度扩展。
[0010]因此，本专利技术的任务在于，改进对采集图像的亮度调整。
[0011]该任务通过根据权利要求1和15的用于图像的采集和亮度调整的相机设备和方法得以实现。图像传感器利用大量像素采集图像或者图像数据，典型的高分辨率是具有几千像素的行扫描传感器(Zeilensensor)或具有几百万像素的矩阵传感器。控制和评估单元将图像划分成多个第一子区域。该划分是一种先验划分，即划分成预定位置和几何形状的第一子区域，而与图像内容无关，特别是划分成具有n x m个像素的等大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机设备(10)，具有用于采集图像的图像传感器(24)以及控制和评估单元(26)，所述控制和评估单元(26)被设计用于将所述图像划分成第一子区域(40)，在所述图像中查找具有感兴趣的结构的第二子区域(42)，并对所述图像进行亮度调整，其特征在于，所述控制和评估单元(26)还被设计用于，确定所述第一子区域(40)的各个亮度分布，确定对应于所述第二子区域(42)的那些第一子区域(40)的选择区域(44)，根据所述选择区域(44)的第一子区域(40)的亮度分布产生所述第二子区域(42)的共同的亮度分布，以及利用所述共同的亮度分布对所述第二子区域(40)进行亮度调整。2.根据权利要求1所述的相机设备(10)，其中，所述控制和评估单元(26)被设计用于，在对应于所述第二子区域(42)的第一子区域(40)的选择区域(44)中，选择与所述第二子区域(42)以预先给定的最小比例重叠的所述第一子区域(40)。3.根据权利要求1或2所述的相机设备(10)，其中，所述控制和评估单元(26)被设计用于，并行地确定所述第一子区域(40)的各个亮度分布，并查找具有感兴趣的结构的第二子区域(42)。4.根据前述权利要求中任一项所述的相机设备(10)，其中，所述控制和评估单元(26)被设计用于，将所述第一子区域(40)的亮度分布确定为直方图，特别地为了生成共同的亮度分布，形成共同的直方图作为所述第一子区域(40)的选择区域(44)的直方图总和。5.根据前述权利要求中任一项所述的相机设备(10)，其中，所述控制和评估单元(26)被设计用于，将所述共同的亮度分布的亮度区间扩展到所述图像的可能亮度值的更大区间，特别是通过对亮度值进行线性的重新按比例调节来扩展，以进行亮度调整。6.根据权利要求5所述的相机设备(10)，其中，所述控制和评估单元(26)被设计用于，基于出现在所述亮度分布中的最小亮度值和最大亮度值来确定所述共同的亮度分布的亮度区间，以及/或者基于所述亮度分布的最大值来确定所述共同的亮度分布的亮度区间。7.根据前述权利要求中任一项所述的相机设备(10)，其中，所述控制和评估单元(26)具有第一处理单元(30)，特别是FPGA(现场可编程门阵列)，所述...

【专利技术属性】
技术研发人员：罗曼，
申请(专利权)人：西克股份公司，
类型：发明
国别省市：