用于车辆驾驶员识别的装置和方法及其应用制造方法及图纸

一种用于车辆驾驶员识别的装置包括：NIR LED照明器，被配置为在车辆中发射NIR光；NIR光感测单元，被配置为捕获反射的NIR光；图像控制和处理单元，被配置为协调NIR LED照明器和NIR光感测单元，并分析反射的NIR光，以生成图像；脸部检测器，被配置为确定图像中存在人脸，并识别脸部区域；脸部特征提取器，被配置为分析脸部区域，以提取表示脸部区域的特征向量；脸部特征字典，被配置为存储现有特征向量；脸部检索系统，被配置为生成识别结果，指示特征向量与任何现有特征向量之间的相似度是否大于第一阈值；以及用户界面，被配置为显示识别结果。

【技术实现步骤摘要】
用于车辆驾驶员识别的装置和方法及其应用
本专利技术总体上涉及人工智能，并且更具体地涉及一种用于舱内(in-cabin)驾驶员识别的装置和方法及其应用。
技术介绍
本文提供的
技术介绍
描述是为了总体上呈现本专利技术的背景。在专利技术的
技术介绍
部分中讨论的主题不应由于在专利技术的
技术介绍
部分中被提及，就被认为是现有技术。类似地，在本专利技术的
技术介绍
部分中提到的问题或与本专利技术的
技术介绍
部分的主题相关联的问题不应被认为是现有技术中先前已经认识到的。专利技术的
技术介绍
部分中的主题仅表示不同的方法，这些方法本身也可以是专利技术。在一组人中区分个人身份的人识别是许多应用中的关键功能。这种识别需要从一组目标人群收集生物特征。这样的生物信息的良好收集，更具体地，此类收集数据的良好统计分布，要求每个数据点在其特征空间中具有统计上明显的分离。舱内驾驶员识别(驾驶员ID)最近在汽车工业中引起了越来越多的关注，因为它具有为车辆启用众多智能或安全功能的潜力。例如，舱内驾驶员识别可以用作车辆钥匙的替代品，以提供流畅的无钥匙进入体验，或提供其他触发警报，以防任何非法进入。此外，舱内驾驶员识别还基于驾驶员的喜好，诸如座椅位置，车内温度，后视镜角度等，为车辆配备了各种自定义设置。最近，舱内驾驶员识别还被用作许多舱内娱乐系统或界面的输入。借助驾驶员ID的知识，车辆的嵌入式系统可以提供自定义的娱乐功能，诸如播放驾驶员喜欢的专辑，个性化路线导航以及为向驾驶员提供喜欢的新闻频道。在该行业中，主要有两种类型的人识别：侵入式和非接触式。侵入式方法通常需要对生物特征，诸如与个人识别明确相关的DNA指纹，进行直接测量。侵入式方法在识别的精确度方面是出众的。但是，这些方法严重依靠控制良好的实验室环境、昂贵的设备以及较长的测试时间。此外，侵入式方法要求系统与个人身体之间直接接触的属性可能会导致令人不快和令人讨厌的体验。因此，如果将侵入式方法应用于包括车辆舱内的设置在内的大多数实时应用中，即使并非不可能，这种方法的时间要求和成本也使其变得不切实际。非接触式方法试图基于生物特征的间接测量来识别个体，例如脚印、笔迹或脸部识别。大多数非接触式人识别技术不需要昂贵的设备和高技能的专业人员，从而大大降低了成本。在所有这些非接触式技术中，基于相机的人识别引起了学术界和工业界极大的兴趣。基于相机的人识别仅依靠相机模块和后续的包含特定算法的计算模块来区分个体。这些算法旨在从输入图像中提取显著特征，然后基于先前学习的特征字典中的相似性或相异性进行决策。这些特征可以从各种特征，例如身体姿势、身高、体重、皮肤和运动模式等，中提取出来。行业内，尤其是在汽车舱内的应用中，广泛采用的最具鲁棒性和最精确的基于相机的识别方法是脸部识别技术。舱内驾驶员脸部识别是一项新兴技术，可为驾驶员的识别问题提供无接触且准确的解决方案。舱内驾驶员脸部识别使用相机捕获脸部生物特征信息，并将其与存储的脸部信息库进行比较，以找到最佳匹配。如所说的，该系统应该包括两个模块：脸部特征库和脸部识别模块。脸部特征库可以注册新的脸部信息或删除现有的脸部信息。脸部识别模块通过相机捕获图像，使用设计的算法提取特征，并在预先构建的脸部特征库中找到最佳匹配。第一个过程称为脸部注册，而第二个过程称为脸部检索。但是，舱内脸部识别在很多方面与普通脸部识别从根本上是不同的。首先，舱内基于相机的脸部识别必须在所有照明条件下(包括在漆黑的环境中)都具有鲁棒性。不同于大多数在室外良好照明的场景下或假设室内照明得到良好控制的脸部识别设置，舱内脸部识别在成像和图像质量方面带来了更多挑战。即使对于受到不足照明的户外识别应用，也可以容易地加入强光补偿。然而，舱内照明是困难的，这是因为舱内设备对功耗非常敏感，由于与普通的脸部识别设备相比其尺寸较小，功耗可能导致严重的发热。此外，用于更好成像的补偿光源对人眼可见，会给车辆驾驶员带来不愉快的体验。以驾驶员脸部为目标且对人眼可见的强光不仅伤害人眼，而且会分散注意力，可能导致交通事故。除了成像方面的挑战外，舱内脸部识别在使用受限制计算资源进行操作的方式上也很独特。包括脸部注册和检索在内的舱内脸部识别需要消耗最少的计算资源，因为所有算法都在嵌入式系统，即电子控制单元(ECU)，中运行，而嵌入式系统仅配备了有限的计算能力。与包含在强大的本地服务器或甚至具有理论上无限的计算能力的在线云中的一般脸部识别方法相比，ECU在可扩展性和实时性能方面几乎没有优势。为了生产实用的舱内脸部识别系统，用于脸部识别的算法设计应非常谨慎，以减少代码计算量。第三，舱内脸部识别在车辆中起着非常特殊的作用，因为它是各种模块的输入，同时也需要在用户界面中很好地呈现。如前所述，脸部识别的结果应连接到各种功能模块，并传输到诸如嵌入式显示器、平视显示器或仪表板等车辆显示器。脸部识别系统与其他模块的复杂连接性进一步增加了设计此类系统的难度。与相机位于车外的其他识别场景相比，舱内脸部识别有所不同。例如，车外监视识别系统可以只捕获一个或最多几个用于ID注册的图像，而舱内应通过从多角度捕获目标脸部的多个图像来实现更高的精确度。通过从更多角度捕获图像，无论驾驶员的头部姿势如何，系统都可以更全面地了解驾驶员的脸部，从而使识别变得更具鲁棒性。因此，在本领域中存在解决上述缺陷和不足的需求，但迄今仍未解决。
技术实现思路
本专利技术涉及用于可视化车辆周围物体的潜在行为的装置和方法。在本专利技术的一个方面中，一种用于车辆驾驶员识别的装置包括：近红外(NIR)发光二极管(LED)照明器，被配置为在车辆中发射NIR光；近红外(NIR)光感测单元，被配置为捕获反射的NIR光；图像控制和处理单元，被配置为协调NIRLED照明器和NIR光感测单元，并分析由NIR光感测单元捕获的反射的NIR光，以生成图像；脸部检测器，被配置为确定图像中存在人脸，并识别人脸的脸部区域；脸部特征提取器，被配置为分析脸部区域，以提取表示脸部区域的特征向量；脸部特征字典，被配置为存储现有特征向量；脸部检索系统，被配置为生成识别结果，所述识别结果指示特征向量与任何现有特征向量之间的相似度是否大于第一阈值；以及用户界面，被配置为显示识别结果。在一个实施例中，NIR光感测单元是焦平面阵列(FPA)NIR光感测单元。在一个实施例中，NIR光感测单元覆盖有滤光器，该滤光器具有在825nm至875nm之间的通频带。在另一个实施例中，NIR光感测单元覆盖有滤光器，该滤光器具有在915nm至965nm之间的通频带。在一个实施例中，图像控制和处理单元被配置为通过控制NIRLED照明器的占空比、NIR光感测单元的模拟增益、NIR光感测单元的数字增益、NIR光感测单元的曝光时间以及NIR光感测单元的帧率中的一项或多项来协调NIRLED照明器和NIR光感测单元。在一个实施例中，图像控制和处理单元被配置为协调NIRLED照明器和NIR光感测单元，以生成具有最佳成像质量的图像。在一个实施例中，脸部检测器被配置为采用深度神经网络(DNN)确定图像中存在人脸，并识别本文档来自技高网...

【技术保护点】
1.一种用于车辆驾驶员识别的装置，包括：/n近红外NIR发光二极管LED照明器，被配置为在所述车辆中发射NIR光；/n近红外NIR光感测单元，被配置为捕获反射的NIR光；/n图像控制和处理单元，被配置为协调所述NIR LED照明器和所述NIR光感测单元，并分析由所述NIR光感测单元捕获的所述反射的NIR光，以生成图像；/n脸部检测器，被配置为确定所述图像中存在人脸，并识别所述人脸的脸部区域；/n脸部特征提取器，被配置为分析所述脸部区域，以提取表示所述脸部区域的特征向量；/n脸部特征字典，被配置为存储现有特征向量；/n脸部检索系统，被配置为生成识别结果，所述识别结果指示所述特征向量与任何所述现有特征向量之间的相似度是否大于第一阈值；以及/n用户界面，被配置为显示所述识别结果。/n

【技术特征摘要】
1.一种用于车辆驾驶员识别的装置，包括：
近红外NIR发光二极管LED照明器，被配置为在所述车辆中发射NIR光；
近红外NIR光感测单元，被配置为捕获反射的NIR光；
图像控制和处理单元，被配置为协调所述NIRLED照明器和所述NIR光感测单元，并分析由所述NIR光感测单元捕获的所述反射的NIR光，以生成图像；
脸部检测器，被配置为确定所述图像中存在人脸，并识别所述人脸的脸部区域；
脸部特征提取器，被配置为分析所述脸部区域，以提取表示所述脸部区域的特征向量；
脸部特征字典，被配置为存储现有特征向量；
脸部检索系统，被配置为生成识别结果，所述识别结果指示所述特征向量与任何所述现有特征向量之间的相似度是否大于第一阈值；以及
用户界面，被配置为显示所述识别结果。


2.根据权利要求1所述的装置，其中，所述图像控制和处理单元被配置为通过控制所述NIRLED照明器的占空比、所述NIR光感测单元的模拟增益、所述NIR光感测单元的数字增益、所述NIR光感测单元的曝光时间以及所述NIR光感测单元的帧率中的一项或多项协调所NIRLED照明器和所述NIR光感测单元。


3.根据权利要求2所述的装置，其中，所述图像控制和处理单元被配置为协调所述NIRLED照明器和所述NIR光感测单元，以生成具有最佳成像质量的图像。


4.根据权利要求1所述的装置，其中，还包括：
脸部对齐单元，被配置为将所述脸部区域校准为与驾驶员的直立姿势相关联的校准的脸部区域，其中，所述脸部特征提取器被配置为分析所述校准的脸部区域，以提取表示所述校准的脸部区域的特征向量。


5.根据权利要求1所述的装置，其中，所述脸部特征提取器被配置为采用骨干网络、局部特征描述符、聚类技术以及降维技术中的一项或多项。


6.根据权利要求1所述的装置，其中，所述相似度是余弦相似度。


7.一种用于车辆驾驶员识别的方法，包括：
通过近红外NIR发光二极管LED照明器在所述车辆中发射NIR光；
通过近红外NIR光感测单元捕获反射的NIR光；
通过图像控制和处理单元协调所述NIRLED照明器和所述NIR光感测单元；
通过图像控制和处理单元对由所述NIR光感测单元捕获的所述反射的NIR光进行分析，以生成图像；
确定所述图像中存在人脸；
识别所述人脸的脸部区域；
分析所述脸部区域，以提取表示所述脸部区域的特征向量；
确定所述特征向量与脸部特征字典中的任何现有特征向量之间的相似度是否大于第一阈值；以及
当所述特征向量与所述脸部特征字典中的第一现有特征向量之间的相似度大于所述第一阈值时，
生成指示与所述第一现...

【专利技术属性】
技术研发人员：张聪，冯天鹏，吕骋，郭彦东，马君，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：广东;44