运行图像传感器的方法、存储介质和环境传感器系统技术方案

本发明专利技术涉及一种用于运行至少一个图像传感器(1)的方法，所述至少一个图像传感器以拍摄方向(3)拍摄图像内容(2)，所述方法至少包括以下步骤：a)确定关于相对于所述图像传感器(1)的在待拍摄的图像内容(2)的至少一部分中的待预期的运动的预期主运动方向(4)的至少一个信息，b)在考虑所述预期主运动方向(4)的状况下调设所述拍摄方向(3)，c)以所述拍摄方向(3)拍摄所述图像内容(2)的至少一部分。本发明专利技术还涉及一种存储介质以及一种用于车辆(5)的环境传感器系统(8)。境传感器系统(8)。境传感器系统(8)。

【技术实现步骤摘要】
运行图像传感器的方法、存储介质和环境传感器系统


[0001]本专利技术涉及一种用于尤其是利用卷帘式快门来运行至少一个图像传感器的方法。此外，说明了一种用于执行所述方法的计算机程序，一种具有所述计算机程序的机器能读取的存储介质以及一种用于车辆的环境传感器系统。

技术介绍

[0002]尽管具有全局快门的传感器(即，同时曝光所有像素的传感器)是可用的，但是具有卷帘式快门的传感器(尤其是CMOS传感器)仍然用于汽车或机器人制造
中的许多应用。
[0003]卷帘式快门描述传感器的这种特性：并非所有像素都在同一时刻被曝光。相反，曝光逐行或逐列地发生。换言之，就卷帘式快门特性而言，逐行或逐列地并且因而以拍摄方向拍摄图像内容。
[0004]该拍摄方向描述在图像的平面中走向的方向。以拍摄方向(逐行或逐列)进行拍摄意味着，首先拍摄布置在(假想的)沿着拍摄方向定向的方向矢量的开始处的行或者说列，并且随后拍摄沿着方向矢量布置得更靠后的行或者说列。
[0005]使用卷帘式快门传感器的原因一方面在于制造更便宜，并且另一方面在于汽车应用的现有认证。
[0006]卷帘式快门传感器的已知的特征是，各个图像行的曝光以时间偏移的方式发生。在摄像机运动期间，图像内容因而继续运动，而图像的一部分已经被曝光。这种效应仅在特殊状况下对人类可见，但对计算机视觉算法的有重大影响。
[0007]卷帘式快门的典型效应是场景或者说成像对象的剪切，如示例性地在图2中可以看出的。在全局快门的图像仅涉及一般而言的运动模糊的同时，在卷帘式快门的图像上能看到清晰的几何失真。
[0008]这对计算机视觉算法(例如分类器或神经网络)提出了特别的挑战，因为拍摄的对象由此不具有统一的几何形状。这能够导致，需要更大量的训练数据，或者甚至在存在疑问的状况下甚至不再识别对象。

技术实现思路

[0009]本专利技术的任务能够在于，至少部分地解决参考现有技术所描述的问题。尤其应使几何失真最小化并且尤其应尽可能地避免剪切。
[0010]这些任务能够利用本专利技术的方法来解决。在优选实施方式中描述有利扩展方案。下面的描述能够包含另外的有利扩展方案。
[0011]有助于此的是一种用于运行至少一个图像传感器的方法，所述至少一个图像传感器以拍摄方向拍摄图像内容，所述方法至少包括以下步骤：
[0012]a)相对于图像传感器确定关于在待拍摄的图像内容的至少一部分中的预期运动的预期主运动方向的至少一个信息，
[0013]b)在考虑预期主运动方向的情况下调设拍摄方向，
[0014]c)以拍摄方向拍摄图像内容的至少一部分。
[0015]步骤a)、b)和c)能够为了执行该方法而例如被执行至少一次和/或重复地或者说多次以所说明的顺序相继地被执行。此外，步骤a)、b)和c)(尤其是步骤a)和b))能够至少部分地并行或同时地执行。该方法例如能够借助此处也描述了的环境传感器系统来执行。
[0016]该图像传感器尤其是所谓的卷帘式快门图像传感器。该图像传感器优选能够已拍摄方向逐行或逐列地拍摄图像内容。换言之，这尤其能够也被描述成，拍摄方向能够由为了拍摄图像内容而感测或分析评价的行或列的序列来定义。
[0017]该方法尤其用于减少在利用卷帘式快门传感器进行图像拍摄时的失真。在具有卷帘式快门的传统摄像机中，通常会产生几何失真、例如压缩或剪切，所述几何失真能够使数字图像处理变得困难。所描述的方法的目标尤其是，将(不可避免的)卷帘式快门效应控制成能够减少几何失真。
[0018]在特别有利的构型中，通过该方法来说明用于使几何失真最小化的自适应的卷帘式快门。
[0019]在步骤a)中，相对于图像传感器确定关于在待拍摄的图像内容的至少一部分中的预期运动的预期主运动方向的至少一个信息。该主运动方向能够例如通过至少一个对象在图像传感器的环境中的运动的一个、两个或多个方向分量来描述。该信息能够例如借助对象跟踪器来感测。替代地或累积地，能够将光流的求取用于感测信息。此外，关于图像传感器的安装位置或者说装入位置和/或定向的信息能够有助于确定该预期主运动方向。如果图像传感器布置在车辆中或上，则感测到的驾驶状况能够有利地有助于确定预期主运动方向。
[0020]在步骤b)中，在考虑预期主运动方向的情况下调设拍摄方向。拍摄方向的调设能够包括拍摄方向的初始调设。替代地或累积地，拍摄方向的调设能够包括先前调设的拍摄方向的适配或改变。该调设能够如此进行，使得选择这样的拍摄方向，该拍摄方向适用于减少在图像拍摄时出现的一个或多个几何失真。
[0021]在步骤c)中，以该拍摄方向拍摄图像内容的至少一部分。这必要时也能够包括：重新拍摄先前已经以另一个拍摄方向感测到的场景。通过以如此调设的拍摄方向进行拍摄，特别有利地能够减少或尽可能避免在图像拍摄时出现的几何失真。
[0022]根据一个有利构型提出，图像传感器是CMOS传感器。通常，图像传感器利用光电效应将光子转换为电荷。与CCD(电荷耦合器件，英语：Charge
‑
Coupled Device)传感器不同，在CMOS(互补金属氧化物半导体，英语：Complementary Metal
‑
Oxide Semiconductor)传感器中电荷已经有利地以像素的形式转换成电压。这能够被放大、量化并作且作为数字值被输出。具有逐行或逐列拍摄的CMOS传感器也是卷帘式快门传感器的一个特别有利的实施方式。
[0023]根据另一有利构型提出，确定关于图像传感器的位置和/或定向的至少一个信息。这种信息能够例如通过关于图像传感器的装入状况的数据来获得。在此上下文中，特别有利的是，如果在确定关于主运动方向的所述至少一个信息时考虑关于图像传感器的位置和/或定向的信息。
[0024]根据另一有利构型提出，借助求取光流和/或在使用对象跟踪的情况下确定关于
预期主运动方向的至少一个信息。这种信息能够例如由图像处理系统来获得，该图像处理系统尤其含有对象跟踪器。
[0025]根据另一有利构型提出，在考虑预期主运动方向或该预期主运动方向的变化的情况下适配拍摄方向，并且尤其是拍摄具有经适配的拍摄方向的图像内容的至少一部分。这能够有助于该方法的有利适应性。
[0026]根据另一有利构型提出，将拍摄方向调设或适配成基本上平行于预期主运动方向地定向。
[0027]根据另一有利构型提出，将拍摄方向调设或适配成基本上与预期主运动方向反向指向或同向指向地定向。
[0028]根据另一有利构型提出，至少一个图像传感器布置在车辆、尤其是汽车中或上，并且其中，根据感测到的驾驶状况来确定关于预期主运动方向的信息。
[0029]根据另一有利构型提出，至少一个图像传感器是车辆的前置摄像机的一部分，并且其中，在确定向前行驶时将拍摄方向调设成从下到上的并且尤其是在确定向后行驶时将该拍摄方向适配成从上到下的拍摄方向。
[0030]根据另一有利构型提出，至少一个图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于运行至少一个图像传感器(1)的方法，所述至少一个图像传感器以拍摄方向(3)拍摄图像内容(2)，所述方法至少包括以下步骤：a)相对于所述图像传感器(1)确定关于在待拍摄的图像内容(2)的至少一部分中的预期运动的预期主运动方向(4)的至少一个信息，b)在考虑所述预期主运动方向(4)的情况下调设所述拍摄方向(3)，c)以所述拍摄方向(3)拍摄所述图像内容(2)的至少一部分。2.根据权利要求1所述的方法，其中，所述图像传感器(1)是CMOS传感器。3.根据权利要求1或2所述的方法，其中，确定关于所述图像传感器(1)的位置和/或定向的至少一个信息。4.根据权利要求3所述的方法，其中，在确定关于所述预期主运动方向(4)的所述至少一个信息时考虑关于所述图像传感器(1)的位置和/或定向的信息。5.根据前述权利要求中任一项所述的方法，其中，借助求取光流和/或通过使用对象跟踪来确定关于所述预期主运动方向(4)的所述至少一个信息。6.根据前述权利要求中任一项所述的方法，其中，在考虑所述预期主运动方向(4)或所述预期主运动方向的变化的情况下适配所述拍摄方向(3)。7.根据前述权利要求中任一项所述的方法，其中，这样调设或适配所述拍摄方向(3)，使得所述拍摄方向基本上平行于所述预期主运动方向(4)地定向。8.根据前述权利要求中任一项所述的方法，其中...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：