用于检测驾驶员状况的集成系统技术方案

提供了用于集成驾驶员表情识别(174)和车辆内部环境(102,152)分类检测驾驶员(104)安全状况的方法、装置和系统。一种方法包括获取车辆驾驶员的图像和所述车辆的内部环境的图像。使用机器学习方法(112)，对所述图像进行处理，以对所述驾驶员的状况和所述车辆的所述内部环境(102,152)的状况进行分类。所述机器学习方法(112)包括通用卷积神经网络(general convolutional neural network，简称CNN)和带自适应滤波器的CNN。所述自适应滤波器是根据滤波器的影响确定的。所述分类结果将与预定阈值进行组合和比较，以确定是否可以根据现有信息做出决策。如果无法做出决策，则自动机学习请求更多信息，并根据所述组合的分类结果确定安全情况。根据所述安全确定情况向所述驾驶员提供告警(150)。

Integrated system for detecting driver condition

【技术实现步骤摘要】
【国外来华专利技术】用于检测驾驶员状况的集成系统相关申请案交叉申请本专利技术要求2017年7月12日递交的专利技术名称为“用于检测驾驶员状况的集成系统”的第15/647748号美国申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文中。
本专利技术涉及车辆安全系统，尤其涉及用于基于驾驶员表情和各种具有自主系统的车辆内部环境的集成信息检测驾驶员状况的系统和方法。
技术介绍
各种具有自主系统的车辆正在进行开发以在公共道路上行驶，所述车辆需要具有多层安全特征来防止与其它车辆或固定物体发生碰撞。具有自治系统的车辆的驾驶员可能保留对所述车辆的控制能力，因此安全特征应考虑驾驶员输入如何影响总体车辆安全。
技术实现思路
为了安全起见，提供了一种用于检测驾驶员状况的集成检测系统的方法、装置和系统。现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本
技术实现思路
的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。根据本专利技术的一方面，一种计算机实现的告警方法包括：一个或多个处理器获取车辆驾驶员的至少一个图像；所述一个或多个处理器获取所述车辆的内部环境的至少一个图像。根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类。将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策。当无法根据现有信息做出决策时，请求有关驾驶员表情的其它信息。在各种实施例中，根据所述组合的分类结果确定所述车辆的安全情况；所述一个或多个处理器根据所述安全确定情况向所述驾驶员提供告警。可选地，在上述任一方面中，所述机器学习方法包括通用卷积神经网络(convolutionalneuralnetwork，简称CNN)和使用自适应滤波器的CNN，其中所述自适应滤波器的使用基于参数的训练结果，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述CNN中上层的激活映射。可选地，在上述任一方面中，所述方法包括计算给定驾驶员状况的所述内部环境状况的状况概率；确定CNN中在所述输出中具有小于规定影响的滤波器；根据所述确定减少并调整所述CNN中滤波器的使用；确定在处理实时数据时是否应使用带自适应滤波器的CNN。在上述任一方面中，所述方法还包括使用反向传播和链式法则来确定对于给定驾驶员状况在所述输出中具有小于所述规定影响的滤波器。在上述任一方面中，所述方法还包括将每层的所述输出与阈值进行比较，如果这些参数的所述输出小于所述阈值，则将参数设置为零。可选地，在上述任一方面中，所述方法包括：当给定驾驶员状况的内部环境状况的状况概率高于所述阈值时，使用包含驾驶员状况和相应内部环境状况的查找表。可选地，在上述任一方面中，所述方法包括使用所述带自适应滤波器的CNN处理内部环境状况的实时数据。在各方面中，所述实时数据包括驾驶员状况的至少一个图像和内部环境状况的至少一个图像，所述驾驶员的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分，和/或所述车辆的所述内部环境的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分。可选地，在上述任一方面中，所述方法包括使用车辆内部环境数据和驾驶员面部表情数据获取危险概率；比较所述概率与阈值；如果所述概率超出所述阈值，则确定动作；确定是否达到最大尝试次数；如果未达到所述最大尝试次数，请求更多的驾驶员表情数据；如果达到所述最大尝试次数，则将所述概率设置为上限阈值。可选地，在上述任一方面中，所述方法包括将所述概率与从驾驶员表情的更多数据获取的概率组合；如果所述概率等于或大于所述上限阈值，则提供告警；如果所述概率等于或小于下限阈值，则不提供所述告警。根据本专利技术的另一方面，告警设备包括非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器通信。所述一个或多个处理器执行以下指令：获取车辆驾驶员的至少一个图像；获取所述车辆的内部环境的至少一个图像；根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；当无法根据现有信息做出决策时，请求有关驾驶员表情的更多信息。根据所述组合的分类结果确定所述车辆的安全情况；根据所述安全确定情况向所述驾驶员提供告警。可选地，在上述任一方面中，所述机器学习方法包括通用CNN和使用自适应滤波器的CNN，其中所述自适应滤波器的使用基于参数的训练结果进行调整，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述CNN中上层的激活映射。可选地，在上述任一方面中，所述机器学习方法用于处理所述内部环境图像，以对所述内部环境进行分类，包括识别显示屏上显示有文字的手机、酒、毒品或武器。根据本专利技术的另一方面，车辆包括多个传感器，用于获取图像；非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器和所述多个传感器通信。根据各种实施例，所述一个或多个处理器执行以下指令：从所述多个传感器中的至少一个获取所述车辆的驾驶员的至少一个图像；从所述多个传感器中的至少一个获取所述车辆的内部环境的至少一个图像；根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；当无法根据现有信息做出决策时，请求有关驾驶员表情的更多信息；根据所述组合的分类结果确定所述车辆的安全情况；根据所述安全确定情况向所述驾驶员提供告警。可选地，在上述任一方面中，所述方法包括使用第一机器学习方法处理所述驾驶员的所述至少一个图像，并使用第二机器学习方法处理所述车辆的所述内部环境的所述图像。可选地，在上述任一方面中，所述车辆是具有自治系统的车辆。可选地，在上述任一方面中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的语音、所述驾驶员的面部表情、所述驾驶员的手势和/或所述驾驶员的生理信息。可选地，在上述任一方面中，所述机器学习方法包括通用CNN和使用自适应滤波器的CNN，其中所述自适应滤波器本文档来自技高网...

【技术保护点】
1.一种计算机实现的告警方法，其特征在于，包括：/n一个或多个处理器获取车辆驾驶员的至少一个图像；/n所述一个或多个处理器获取所述车辆的内部环境的至少一个图像；/n所述一个或多个处理器根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；/n所述一个或多个处理器根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；/n所述一个或多个处理器将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；/n所述一个或多个处理器将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；/n当无法根据现有信息做出决策时，所述一个或多个处理器请求有关驾驶员表情的更多信息；/n所述一个或多个处理器根据所述组合的分类结果确定所述车辆的安全情况；/n所述一个或多个处理器根据所述安全确定情况向所述驾驶员提供告警。/n

【技术特征摘要】
【国外来华专利技术】20170712 US 15/647,7481.一种计算机实现的告警方法，其特征在于，包括：
一个或多个处理器获取车辆驾驶员的至少一个图像；
所述一个或多个处理器获取所述车辆的内部环境的至少一个图像；
所述一个或多个处理器根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；
所述一个或多个处理器根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；
所述一个或多个处理器将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；
所述一个或多个处理器将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；
当无法根据现有信息做出决策时，所述一个或多个处理器请求有关驾驶员表情的更多信息；
所述一个或多个处理器根据所述组合的分类结果确定所述车辆的安全情况；
所述一个或多个处理器根据所述安全确定情况向所述驾驶员提供告警。


2.根据权利要求1所述的方法，其特征在于，所述机器学习方法包括通用卷积神经网络(convolutionalneuralnetwork，简称CNN)和使用自适应滤波器的CNN，其中所述自适应滤波器的使用基于参数的训练结果，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述CNN中上层的激活映射。


3.根据权利要求2所述的方法，其特征在于，包括：
计算给定驾驶员状况的所述内部环境状况的状况概率；
确定CNN中在所述输出中具有小于规定影响的滤波器；
根据所述确定减少并调整所述CNN中滤波器的使用；
确定在处理实时数据时是否应使用带自适应滤波器的CNN。


4.根据权利要求3所述的方法，其特征在于，包括使用反向传播和链式法则来确定对于给定驾驶员状况在所述输出中具有小于所述规定影响的滤波器。


5.根据权利要求3所述的方法，其特征在于，包括将每层的所述输出与阈值进行比较，如果这些参数的所述输出小于所述阈值，则将参数设置为零。


6.根据权利要求5所述的方法，其特征在于，包括当给定驾驶员状况的内部环境状况的状况概率高于所述阈值时，使用包含驾驶员状况和相应内部环境状况的查找表。


7.根据权利要求3所述的方法，其特征在于，包括使用所述通用CNN和所述带自适应滤波器的CNN处理内部环境状况的实时数据。


8.根据权利要求7所述的方法，其特征在于，实时数据包括驾驶员状况的至少一个图像和内部环境状况的至少一个图像，所述驾驶员的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分，所述车辆的所述内部环境的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分。


9.根据权利要求3所述的方法，其特征在于，包括：
使用车辆内部环境数据和驾驶员面部表情数据获取危险概率；
比较所述概率与阈值；
如果所述概率超出所述阈值，则确定行动；
确定是否达到最大尝试次数；
如果未达到所述最大尝试次数，请求更多的驾驶员表情数据；
如果达到所述最大尝试次数，则将所述概率设置为上限阈值。


10.根据权利要求9所述的方法，其特征在于，包括：如果所述概率等于或大于所述上限阈值，则提供告警；如果所述概率等于或小于下限阈值，则不提供所述告警。


11.一种告警设备，其特征在于，包括：
非瞬时性存储器，包含指令；
一个或多...

【专利技术属性】
技术研发人员：朱颖璇，刘立峰，殷晓田，张军，李剑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44