鲁棒的状态估计制造技术

可以确定对不同输入或条件具有鲁棒性的对象的状态信息。对于困倦，面部界标可以从捕获的图像数据中确定并用于确定一组眨眼参数。可以使用这些参数，例如与时间网络一起使用，以估计对象的状态(例如，困倦)。为了提高鲁棒性，眼睛状态确定网络可以从图像数据中确定眼睛状态，而不依赖于中间界标，所述中间坐标可以用于(例如与另一个时间网络)估计对象的状态。这些值的加权组合可用于确定对象的整体状态。为了提高准确性，可以利用个人行为模式和上下文信息来考虑由于对象变化或当前上下文而不是状态变化导致的数据变化。而不是状态变化导致的数据变化。而不是状态变化导致的数据变化。

【技术实现步骤摘要】
鲁棒的状态估计

技术介绍

[0001]一直存在提高各种环境中的安全性的愿望。例如，这可以包括准确确 定可能正在操作设备(例如车辆或机器)的人的困倦，如果不以足够的注 意力或意识进行操作，可能会导致损坏或伤害。虽然存在试图确定诸如困 倦或警觉等状态的系统，但这些系统并非在所有情况下都准确，或者对于 用户、用户状态或环境条件之间的变化具有足够的鲁棒性。
附图说明
[0002]将参照附图描述根据本公开的各个实施例，在附图中：
[0003]图1A和1B示出了根据至少一个实施例的车辆的多个组件的示例；
[0004]图2A、2B、2C、2D、2E和2F示出了根据至少一个实施例的可以使 用的特征数据；
[0005]图3示出了根据至少一个实施例的可以使用的困倦估计系统；
[0006]图4示出了根据至少一个实施例的用于估计对象状态的示例过程；
[0007]图5A和5B示出了根据至少一个实施例的用于解释不是由于对象状 态改变而引起的变化或行为的过程；
[0008]图6示出了根据至少一个实施例的用于确定人的状态的系统的组件；...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：使用包括人的面部的表示的图像识别所述图像中的一组面部界标；从所述图像的至少一部分确定指示所述人的眼睛是睁开还是闭合的眼睛状态信息；至少部分地基于所述面部界标确定所述人的头部姿势信息；至少部分地基于所述一组面部界标、所述头部姿势信息和所述眼睛状态信息，确定所述人在最近一段时间内的一组眨眼参数；使用所述眼睛状态信息确定所述最近一段时间的眨眼频率信息；将所述一组眨眼参数作为输入提供给第一时间网络以生成所述人的第一困倦预测；将所述眨眼频率信息作为输入提供给第二时间网络以生成所述人的第二困倦预测；以及至少部分地基于所述第一困倦预测和所述第二困倦预测来生成所述人的总体困倦确定。2.根据权利要求1所述的计算机实现的方法，还包括：检测所述图像的与所述人的面部相对应的部分；以及从所述图像的所述部分中识别所述一组面部界标。3.根据权利要求1所述的计算机实现的方法，还包括：使用所述面部界标的子集来识别要用于确定所述眼睛状态信息的一个或更多个眼睛区域。4.根据权利要求1所述的计算机实现的方法，其中所述第一时间网络和所述第二时间网络是长短期记忆LSTM网络，并且其中由所述LSTM网络生成的所述第一困倦预测和所述第二困倦预测对应于卡罗林斯卡瞌睡量表KSS值。5.根据权利要求1所述的计算机实现的方法，还包括：使用所述图像确定所述人的身份；识别指示所述人的一个或更多个眨眼行为的所述人的眨眼简档；以及进一步基于所述一个或更多个眨眼行为的数据生成至少所述第一困倦预测。6.根据权利要求1所述的计算机实现的方法，其中，所述一组眨眼参数至少包括眨眼幅度、眨眼持续时间或眨眼速度。7.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于所述头部姿势信息执行对所述一组面部界标的变换，以便调整所述一组面部界标的方位。8.根据权利要求1所述的计算机实现的方法，其中，所述眼睛状态信息是根据所述图像的一个或更多个眼睛部分且独立于所述一组面部界标确定的。9.根据权利要求1所述的计算机实现的方法，其中，所述一组眨眼参数的至少一个子集是使用从所述一组面部界标计算的纵横比信息来确定的。10.一种系统，包括：面部检测网络，用于识别图像的与人的面部相对应的部分；面部界标检测网络，用于识别存在于所述图像的与所述面部对应的部分中的多个面部界标；眼睛状态网络，用于从所述图像中确定所述人的眼睛状态，所述眼睛状态对应于至少
睁开或闭合；第一时间网络，用于至少部分地基于从所述多个面部界标确定的一组眨眼参数生成所述人的第一困倦预测；以及第二时间网络，用于至少部分地基于使用所述眼睛状态确定的眨眼频率生成所述人的第二困倦预测。11.根据权利要求10所述的系统，还包括：面部识别模块，用于确定所述人的身份，所述眨眼简档用于定位指示所述人的一个或更多个眨眼行为的眨眼简档，以用于生成至少所述第一困倦预测。12.根据权利要求10所述的...

【专利技术属性】
技术研发人员：任育卓，N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：