用于提供关于对象的3D特征的图像数据和信息的图像感测设备和测量系统技术方案

一种用于提供与对象(120；121；501)的图像相关的图像数据的图像感测设备(130)，包括具有用于感测光的传感器区域(132)的图像传感器(131)。图像感测设备(130)在传感器区域(132)中限定(401)感兴趣区域“ROI”(301a‑303a)。每个ROI(301a；302a；303a)部分地交叠其它ROI(301a‑303a)中的一个或多个。ROI(301a‑303a)被个别地曝光给来自对象的光。图像感测设备(130)读取(403)属于分别与曝光的ROI(301a‑303a)关联的组并得自其中感测到的光的部分图像数据。基于读取的部分图像数据的组合，提供与对象的图像相关的图像数据。

【技术实现步骤摘要】
【国外来华专利技术】
本文的实施例涉及图像感测设备、测量系统、其方法、计算机程序和计算机程序产品。具体而言，本文的实施例涉及与对象的图像相关的图像数据的提供和对象的三维特征的提供。
技术介绍
用于工厂和物流(logistic)自动化的工业视觉相机和系统通常基于三维(3D)机器视觉，其中对象的3D图像被捕获。3D图像是指还编码“深度”信息而不仅仅像常规图像那样只有用于二维(2D)像素位置的强度和/或颜色的图像。然后，应用处理来从3D图像提取关于对象的特征(即，对象的3D特征)的信息。3D机器视觉系统通常基于主动三角测量。在这种系统中，存在利用特定光模式照射对象的光源。通常使用一片光作为特定的光模式，例如由激光产生的。然后，具有图像传感器的相机与光源和对象相关地布置，使得该特定的光模式在被对象反射时变成图像传感器上的入射光。对象的通过反射导致在图像传感器上的入射光的部分被相机和图像传感器捕获，并且图像数据被产生。利用系统的几何形状的知识，图像数据然后可以例如被转换成提供关于3D形状的信息的所谓范围数据，其可以被称为对象的轮廓，对应于特定的光模式在对象上被反射的地方。通过移动光源和/或对象，使得对象的多个部分被照射并且反射的光被图像传感器捕获，可以产生例如对应于多个、连续的轮廓的描述对象更完整3D形状的数据，并且可以创建对象的3D模型。尤其是对于工业应用，时间往往与成本密切相关，并且因此，最重要的因素之一是高速。期望能够以足够的精度和速度捕获、处理和提供输出例如对应于对象的轮廓的图像数据。至于什么是足够的，这视情况而不同并且例如依赖于应用、机器视觉输出要被用来做什么，等等。如上所述这种3D机器视觉系统的一个速度限制因素是被使用的、可被实现为专用集成电路(ASIC)和/或被包括在片上系统(System on Chip，SoC)中的图像传感器的速度。图像传感器通常被包括在图像感测设备中，该图像感测设备还可以实现例如与从图像传感器输出的数据的处理相关的附加功能。图像感测设备的一个例子是由3D机器视觉系统使用的相机，该相机包括镜头和连接到图像传感器的电子器件。另一个例子是包括图像传感器和由图像传感器提供的图像数据的一些处理的SoC。在任何情况下，图像感测设备的速度都与图像数据多快地被图像传感器获取和提供并且与任何涉及的处理多快地被执行相关。通常用于3D机器视觉系统的图像感测设备特别地适用于某个或某些应用，例如，允许图像感测设备的某些控制和/或提供某种功能，这可以涉及“在芯片上”进行或多或少的处理。通常为某个或某些应用提供这种特定的适配，以便实现更高的速度、更低的成本、更小的尺寸、更低的功耗，等等。在GB 2492387(A)中公开了包括图像传感器像素阵列的图像感测设备的一个例子。该图像传感器像素阵列包括多个像素结构。该布置使得能够进行像素行和列的选择性控制，可以选择像素行和列，以限定个别像素或者像素的组/像素区域进行与应用到阵列的其余部分的曝光时间控制不同的曝光时间控制。
技术实现思路
依据以上所述，一个目的是提供关于3D机器视觉系统中对象的3D特征的提供的改进。根据本文实施例的第一方面，该目的通过由图像感测设备执行的、用于提供与对象的图像相关的图像数据的方法来实现。图像感测设备包括具有用于感测光的传感器区域的图像传感器。图像感测设备在传感器区域中限定感兴趣区域(Regions Of Interest，ROI)。每个ROI部分地交叠其它ROI中的一个或多个。图像感测设备将ROI个别地曝光于来自对象的光。图像感测设备读取属于分别与曝光的ROI关联的组并得自其中感测到的光的部分图像数据。图像感测设备基于读取的部分图像数据的组合提供与对象的图像相关的图像数据。根据本文实施例的第二方面，该目的通过用于提供与对象的图像相关的图像数据的图像感测设备来实现。图像感测设备包括具有用于感测光的传感器区域的图像传感器。图像感测设备被配置为在图像传感器区域中限定ROI。每个ROI部分地交叠其它ROI中的一个或多个。图像感测设备被配置为将ROI个别地曝光于来自对象的光。此外，图像感测设备被配置为读取属于分别与曝光的ROI关联的组并得自其中感测到的光的部分图像数据。而且，图像感测设备被配置为基于读取的部分图像数据的组合提供与对象的图像相关的图像数据。根据本文实施例的第三方面，该目的通过计算机程序来实现，当该计算机程序被数据处理装置执行时，使得图像感测设备执行根据第一方面的方法和/或使得硬件被合成和/或被配置为根据第二方面的图像感测设备。根据本文实施例的第四方面，该目的通过计算机程序产品来实现，该计算机程序产品包括计算机可读介质和存储在计算机可读介质上的根据第三方面的计算机程序。根据本文实施例的第五方面，该目的通过测量系统来实现，该测量系统用于基于从根据第二方面的图像感测设备提供的图像数据提供关于对象的三维特征的信息。该测量系统包括图像感测设备并且还包括配置为利用特定的光模式照射对象的光源。光源和图像传感器彼此相关地布置，使得光模式在被对象反射时至少部分地变成传感器区域上的入射光并且作为来自对象的所述光被感测。由此，所提供的图像数据包括可转换为对象的关于对象上的位置的三维特征的信息，所述位置引起传感器区域上的所述入射光。为了解决与通过成像提供对象的3D特征相关的问题，出于各种原因，期望能够对用于提供3D特征的每个图像的不同部分应用不同的曝光和/或处理。这以及快速执行通过本文的实施例而得以实现。例如，如上所述通过ROI及其使用，逐ROI地实现不同的曝光以及同时对图像数据相对简单的处理尤其是为了基于图像数据提供关于3D特征的信息。代替例如为不同的曝光完全和顺次曝光传感器区域，部分交叠ROI使得能够进行并行曝光和涉及减少的数据量的处理，同时部分交叠降低丢失信息(诸如对关于3D特征的信息的提供重要的、关于峰位置的信息)的风险。而且，片上实现通过每ROI的应对和处理得以促进。而且，每个ROI的部分图像数据的片上处理得以促进，并且与其中例如整个图像的所有图像数据都在芯片外被处理的解决方案相比，使得能够减少要从芯片输出的供进一步处理的数据量。附图说明参考所附示意性附图，更详细地描述本文实施例的例子。图1a是绘出与本文实施例相关的测量系统的例子的示意性框图。图1b是用于解释关于测量系统的关系和操作原理的示意图。图2是绘出根据本文实施例的图像感测设备的示意性框图。图3a-d是示出与本文实施例相关的感兴趣区域(ROI)如何可以在传感器区域中被限定的例子的示意性框图。图4是示出根据本文实施例的、由图像感测设备执行的方法的流程图。图5a-c是用于举例说明在本文实施例的上下文中处理强度峰的示意图。图6是用于举例说明在本文实施例的上下文中曝光不同ROI的示意图。图7是用于举例说明在本文实施例的上下文中ROI之间的部分交叠的示意图。图8a-b是示出根据本文实施例的图像感测设备和测量系统的示意性框图。图9a-d是用于说明关于图像感测设备的与计算机程序相关的实施例的示意图。具体实施方式图1a是绘出与本文将解释的实施例相关的测量系统100的例子的示意性框图。该测量系统适于提供关于对象的三维(3D)特征的信息并且可以对应于配置为用于主动三角测量的机器视觉系统。测量系统100本文档来自技高网...

【技术保护点】
一种由图像感测设备(130)执行的、用于提供与对象(120；121；501)的图像相关的图像数据的方法，图像感测设备(130)包括具有用于感测光的传感器区域(132)的图像传感器(131)，其中该方法包括：‑在传感器区域(132)中限定(401)感兴趣区域“ROI”(301a‑303a)，每个ROI(301a；302a；303a)部分地交叠其它ROI(301a‑303a)中的一个或多个，‑将ROI(301a‑303a)个别地曝光(402)于来自对象的光，‑读取(403)属于分别与曝光的ROI(301a‑303a)关联的组并得自在其中感测到的光的部分图像数据，及‑基于读取的部分图像数据的组合提供(405)与对象的图像相关的图像数据。

【技术特征摘要】
【国外来华专利技术】1.一种由图像感测设备(130)执行的、用于提供与对象(120；121；501)的图像相关的图像数据的方法，图像感测设备(130)包括具有用于感测光的传感器区域(132)的图像传感器(131)，其中该方法包括：-在传感器区域(132)中限定(401)感兴趣区域“ROI”(301a-303a)，每个ROI(301a；302a；303a)部分地交叠其它ROI(301a-303a)中的一个或多个，-将ROI(301a-303a)个别地曝光(402)于来自对象的光，-读取(403)属于分别与曝光的ROI(301a-303a)关联的组并得自在其中感测到的光的部分图像数据，及-基于读取的部分图像数据的组合提供(405)与对象的图像相关的图像数据。2.如权利要求1所述的方法，其中ROI(301-303a)被曝光，使得属于同一个ROI的所有像素同时开始和结束其曝光。3.如权利要求1-2中的任何一项所述的方法，其中ROI(301a-303a)中的至少一些利用不同的曝光时间曝光。4.如权利要求3所述的方法，其中ROI(301a-303a)中的所述至少一些沿着曝光方向(604)连续定位，所述不同的曝光时间沿着曝光方向(604)增加或减少。5.如权利要求1-4中的任何一项所述的方法，其中ROI(301a-303a)沿着传感器区域(132)的像素列(M)或像素行(N)连续定位。6.如权利要求1-5中的任何一项所述的方法，其中搜索方向(505a；505b)与传感器区域(132)关联并且该方法还包括：-在每个ROI(301a；302a；303a)的曝光之后并沿着与搜索方向(505a；505b)平行的每排像素，在每个ROI(301a；302a；303a)中搜索(404)满足搜索准则的相应的一个或多个强度峰位置，其中所述图像的图像数据的提供还基于从搜索中找到的强度峰位置。7.如权利要求6所述的方法，其中搜索方向(505a；505b)与图像传感器区域(132)的像素列(M)或像素行(N)平行，由此所述每排像素对应于相应的像素列(m)或相应的像素行(n)。8.如权利要求6-7中的任何一项所述的方法，其中在搜索方向上在ROI(301a-303a)之间的一个或多个部分交叠(502，503)中的每一个至少是传感器区域(132)上的入射光的预测最大强度峰宽度(702)。9.如权利要求8所述的方法，其中在搜索方向上一个或多个部分交叠(502，503)中的所述每一个至多是预测最大强度峰宽度的2倍。10.如权利要求1-9中的任何一项所述的方法，其中部分交叠的ROI(301a，302a)被顺次曝光并且非交叠的ROI(301a，303a)被至少部分地同时曝光。11.如权利要求1-10中的任何一项所述的方法，其中在部分图像数据中的至少一些的读取期间对部分图像数据中的所述至少一些应用融合。12.如权利要求1-11中的任何一项所述的方法，其中所提供的图像数据至少能够转换成关于对象(120；121；501)的三维特征(140-1；141-1)的信息。13.如权利要求1-12中的任何一项所述的方法，其中图像感测设备(130)被包括在测量系统(100)中，测量系统(100)用于基于所提供的图像数据提供关于对象(120；121；501)的三维特征(140-1-140-K；141-1)的信息，测量系统(100)还包括被配置为利用特定的光模式(112)照射对象(120；121；501)的光源(110)，光源(110)和图像传感器(131)彼此相关地布置，使得特定的光模式(112)在被对象(120；121；501)反射时至少部分地变成传感器区域(132)上的入射光(133)并且作为来自对象(120；121；501)的所述光而被感测，由此所提供的图像数据包括能够转换成对象(120；121；501)的关于对象(120；121；501)上的位置的三维特征(140-1-140-K；141-1)的信息，所述位置导致传感器区域(132)上的所述入射光(133)。14.一种用于提供关于对象(120；121；501)的三维特征(140-1-140-K；141-1)的信息的方法，其中所述方法包括：-通过执行如权利要求13所述的方法一次并且重复至少曝光(402)、读取(403)和提供(405)的动作一次或多次，来获得(406)多个图像的图像数据，每次有图像传感器(131)上的入射光得自于对象(120；121；501)的不同部分上的反射，由此获得与对象(120；121；501)的多个图像关联的图像数据的集合；及-将图像数据的集合转换(407)成关于对象(120；121；501)的三维特征(140-1-140-K；141-1)的信息。15.一种用于提供与对象(120；121；501)的图像相关的图像数据的图像感测设备(130)，图像感测设备(130)包括具有用于感测光的传感器区域(132)的图像传感器(131)，其中图像感测设备(130)被配置为：-在图像传感器区域(132)中限定感兴趣区域“ROI”(301a-303a)，每个...

【专利技术属性】
技术研发人员：M·约翰尼森，
申请(专利权)人：西克IVP股份公司，
类型：发明
国别省市：瑞典;SE