用于识别眼睛和手的系统和方法技术方案

本发明专利技术涉及用于在图像的序列中识别眼睛和手的、尤其是用于机动车（10）的系统（100）和方法（500、600），所述图像的序列利用所述系统（100）的摄像机（110）来记录，其中所述系统（100）包括计算机（150），所述计算机被设立用于交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。

Systems and methods for identifying eyes and hands

The invention relates to a system (100) and a method (500, 600) for identifying eyes and hands in a sequence of images, in particular for a motor vehicle (10), wherein the sequence of images is recorded using a camera (110) of the system (100), wherein the system (100) includes a computer (150), which is set up to alternately deliver the first part of the sequence for use The first algorithm set up in eye recognition, especially in the computer (150), and the second algorithm set up in the computer (150) for hand recognition, in particular, the second algorithm set up in the computer (150), wherein the first sequence includes the first number of successive images that can be preset, and the second part sequence includes the second number that can be preset The first algorithm recognizes whether the image of the first part sequence includes the image of the eye according to the first part sequence, and the second algorithm recognizes whether the image of the second part sequence includes the image of the hand according to the second part sequence.

【技术实现步骤摘要】
【国外来华专利技术】用于识别眼睛和手的系统和方法
技术介绍
从现有技术中已知用于检测和探测使用者的眼睛和其他身体部分、尤其是手的系统，例如从等人的“EyeblinkingdetectiontoperformselectionforaneyetrackingSystemusedinassistivetechnology”，（DesignandTechnologyinElectronicPackaging(SIITME)2016IEEE22ndInternationalSymposiumfor,第213-216页,2016）中或者从F.Weichert等人的“AnalysisoftheaccuracyandrobustnessoftheleapmotionController"（Sensors2013,13,6380-6393）中已知。在此，眼睛或手的检测也可以包括用于姿态识别的对眼睛或手的移动的检测。眼睛和手的检测和探测通过传感器、尤其是摄像机来进行，所述传感器与计算机、也称为计算单元或处理器连接，用于处理来自传感器的数据。在此，通常使用具有用于眼睛探测的第一传感器的第一计算机和具有用于手探测的第二传感器的第二计算机，因为眼睛和手的检测和探测具有不同的技术前提条件，尤其是由于要检测的眼睛和手的时间上强烈不同的移动。
技术实现思路
本专利技术的优点在该背景下，本专利技术涉及一种用于在图像的序列中识别眼睛和手的系统、尤其是用于机动车的系统以及所属的方法，所述图像的序列利用所述系统的摄像机来记录。该系统包括计算机，该计算机被设立用于交替地输送所述序列的第一部分序列给用于眼睛识别的第一算法和所述序列的第二部分序列给用于手识别的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像。优选地，第一和/或第二算法在此在计算机中被设立。换言之，该计算机尤其是被设立、例如编程用于执行用于眼睛识别或手识别的第一和/或第二算法。第一算法在此被设立用于，根据第一部分序列来识别第一部分序列的图像是否包括眼睛的图像。第二算法被设立用于，根据第二部分序列来识别第二部分序列的图像是否包括手的图像。尤其是通过第一或第二算法进行的眼睛或手的识别尤其是应理解为：在由系统的摄像机所记录的图像中标识一个或多个眼睛本身或一个或多个手本身。该识别在此可以优选地包括：将通过所识别的眼睛或所识别的手所执行的移动识别为姿态。例如，用于眼睛识别的第一算法可以是基于上面提及的等人的文献的或基于SmartEyeAB算法的图像识别算法，并且用于手识别的第二算法可以是基于上面提及的F.Weichert等人的文献的图像识别算法。例如，所述眼睛的识别可以被用于状态识别、例如确定该系统的使用者的疲劳度或视线方向，或者用于通过眼睛的位置和/或移动、也即通过眼睛的姿态来控制系统。例如，所述手的识别可以被用于控制系统、尤其是通过识别手的位置和/或移动、尤其是也即通过识别由手所实施的姿态来控制系统。尤其是，在此将所识别的眼睛姿态或手姿态与系统中所保存的预给定的姿态进行比较。图像的序列可以被理解为图像的顺序、尤其是彼此相继的图像的顺序。在此，可以优选地涉及直接彼此相继的图像。部分序列尤其是应理解为来自该序列的片段，也即来自该图像的序列的彼此相继的图像的子集，优选来自该序列的直接彼此相继的图像的子集。能预给定数目的图像应理解为：所述计算机被设立用于改变部分序列的原则上固定数目的图像。该改变可以在此尤其是在计算机的相应编程中被预给定。如上所述地，计算机被设立用于交替地将第一部分序列输送给第一算法并且将第二部分序列输送给第二算法。图像的序列因此包括多个第一和第二部分序列，其中第二部分序列分别跟随第一部分序列。根据通过摄像机所记录的图像的总数，在此，最后的第一部分序列或最后的第二部分序列可能是不完整的。优选地，所有第一和第二部分序列的总和得出所记录的图像的总序列，使得有利地每个所记录的图像被进一步处理。可替代地，该序列可以包括如下图像，这些图像并不是第一或第二部分序列的部分，例如在这些部分序列之间的一个或多个图像。通过计算机进行的交替的输送因此应理解为轮流地、单独地输送至第一和第二算法。此外，输送至第一和第二算法可以被理解为：计算机被构造、尤其是编程用于轮流地执行第一和第二算法。根据按照本专利技术的方法所设立的按照本专利技术的系统具有如下优点：对于共同的眼睛和手识别需要仅一个摄像机和仅一个与其连接并且按照本专利技术所设立的计算机。通过本专利技术对唯一的图像流的可能划分有利地实现了，不仅关于硬件而且也关于计算性能需要更少的资源来用于同步的手和眼睛识别。这此外实现了，对于该系统来说除了运行成本也节省了制造或购置成本。此外，尽管节省了硬件，通过本专利技术有利地可能的是，无延迟地检测眼睛和手的在时间上强烈不同的移动。优选地，该系统、尤其是计算机可以被设立用于，根据所识别的眼睛或所识别的手、尤其是根据眼睛或手的所识别的移动和姿态来实施该系统的预给定的控制，所述控制例如实现通过眼睛或手移动来操作该系统。这具有如下优点：利用仅一个摄像机和计算机就有可能不仅通过眼睛也通过手来对该系统进行姿态控制。优选地，预给定、也即规定图像的第一数目大于图像的第二数目。这引起：在所记录的图像序列的总数目方面，与用于手识别的算法相比，将更大份额的图像输送给用于眼睛识别的算法。这实现了总体上更可靠的识别，因为对于眼睛识别而言由于与手相比眼睛更小的尺寸和大多更快速地移动，为了高品质识别需要每时间单位更多的图像。按照本专利技术的一种有利的构型方案，第一数目是在9至29之间、优选16至22之间、完全优选为20的数字，并且第二数目是在1至5之间、优选1至3之间、完全优选为1的数字。因此第一数目与第二数目的比例被预给定在29比1和9比5之间、优选22比1和16比3之间、完全优选为20比1。如上所述地，对于所有这些数目和比例共同的是：为了有利的高可靠性而将更大数目或更大分额的输送给算法的图像输送给眼睛识别。在本专利技术一种特别有利的扩展方案中，该系统被设立用于，如果在第二部分序列中识别出手，则改变第一数目与第二数目的比例。这可以通过改变第一数目和/或改变第二数目来进行。尤其是，可以减小所述比例，使得按份额将更多图像输送给用于手识别的算法。优选地，因此朝数字1的方向来改变所述比例。换言之，第一数目与第二数目的差可以通过对第一数目和/或对第二数目的改变而被改变，尤其是减小。这具有如下优点：在不存在手识别的情况下可以将所记录的图像主要用于眼睛识别，并且在手识别的情况下才进行对图像的更均匀的划分。因此有利地，为了可靠的并且在时间上高分辨率的手识别而将更大份额的手识别期间所记录的图像输送给第二算法。此外，有利地改善了系统的资源划分。尤其是可以将尤其是计算机的在不识别手的情况下所不被需要的资源用于眼睛识别。在一种有利的构型方案中，该系统被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第一部分序列将第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。可替本文档来自技高网...

【技术保护点】
1.用于在图像的序列中识别眼睛和手的系统（100）、尤其是用于机动车（10）的系统，所述图像的序列利用所述系统（100）的摄像机（110）来记录，其中所述系统（100）包括计算机（150），所述计算机被设立用于交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。/n

【技术特征摘要】
【国外来华专利技术】20170330 DE 102017205458.11.用于在图像的序列中识别眼睛和手的系统（100）、尤其是用于机动车（10）的系统，所述图像的序列利用所述系统（100）的摄像机（110）来记录，其中所述系统（100）包括计算机（150），所述计算机被设立用于交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。


2.根据权利要求1所述的系统（100），其中所述系统（100）、尤其是所述计算机（150）被设立用于，根据所识别的眼睛或所识别的手、尤其是根据所述眼睛或手的所识别的位置和/或移动、尤其是姿态来实施所述系统（100）的预给定的控制。


3.根据权利要求1或2所述的系统（100），其中预给定所述第一数目大于所述第二数目。


4.根据权利要求1至3中任意一项所述的系统（100），其中针对所述第一数目是在9至29之间、优选16至22之间、完全优选为20的数字，并且其中针对所述第二数目预给定在1至5之间、优选1至3之间、完全优选为1的数字。


5.根据权利要求1至4中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在所述第二部分序列中识别出手，则改变、尤其是减小所述第一数目与所述第二数目的比例。


6.根据权利要求1至5中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第一部分序列将所述第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。


7.根据权利要求1至6中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在第二部分...

【专利技术属性】
技术研发人员：B埃尔班纳，P希伯，T阿尔特米勒，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE