用于与视觉和听觉受损的车辆乘员通信的系统和方法技术方案

提供了与车辆相关的系统和方法。该系统和方法包括具有输出设备的乘员输出系统、相机或其他感知设备以及与乘员输出系统和相机或其他感知设备可操作通信的处理器。处理器配置为执行程序指令以使处理器：从相机或其他感知设备接收图像或其他感知数据，该图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分，分析图像或其他感知数据以确定该乘员是否听觉和视觉受损，当乘员被确定为视觉和听觉受损时，决定输出模态以辅助乘员，并在输出设备上并且以输出模态为乘员生成输出。上并且以输出模态为乘员生成输出。上并且以输出模态为乘员生成输出。

【技术实现步骤摘要】
用于与视觉和听觉受损的车辆乘员通信的系统和方法


[0001]本公开总体涉及与车辆相关的系统和方法，并且更具体地涉及用于与车辆的听觉和视觉受损的乘员进行通信的系统和方法。

技术介绍

[0002]自主车辆是一种能够感知其环境并在很少或没有用户输入的情况下导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控系统的信息来导航车辆。
[0003]车辆自动化已被分类为范围从零到五的数字级别，零对应于完全人工控制的无自动化，而五对应于没有人工控制的全自动化。各种自动驾驶辅助系统(ADAS)比如巡航控制、自适应巡航控制和停车辅助系统对应于较低自动化级别，而真正的“无人驾驶”车辆对应于较高自动化级别。
[0004]视觉受损的车辆乘客可能会发现一些车辆动作(例如突然转向)令人不安，并且可能不完全了解外部场景，这也可能令人不安。此外，对于视觉受损的乘客来说，上下车(例如共享乘坐车辆)可能是困难的。听觉受损的车辆乘员可能无法获得车辆传达的全部信息，例如即将到来的停靠站或地图导航方向，这是许多可能示例中的两个。
[0005]因此，期望提供辅助听觉和视觉受损的车辆乘员接收来自车辆的通信的系统和方法。此外，期望为视觉和听觉受损的乘员提供各种信息，以辅助这些乘客的舒适和安全。此外，结合附图和前述
和
技术介绍
，从随后的详细描述和所附权利要求中，本专利技术的其他期望特征和特性将变得显而易见。

技术实现思路

[0006]提供了一种与车辆相关的系统。该系统包括具有输出设备的乘员输出系统、相机或其他感知设备以及与乘员输出系统和相机或其他感知设备可操作通信的处理器。处理器配置为执行程序指令以使处理器：从相机或其他感知设备接收图像或其他感知数据，该图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分，分析图像或其他感知数据以确定该乘员是否听觉和视觉受损，当乘员被确定为视觉和听觉受损时，决定输出模态以辅助乘员，并在输出设备上并且以输出模态为乘员生成输出。
[0007]在实施例中，分析图像或其他感知数据利用机器学习算法。
[0008]在实施例中，分析图像或其他感知数据包括跟踪乘员的一只或两只眼睛。
[0009]在实施例中，程序指令配置成使处理器输出声音，并且分析图像或其他感知数据包括监测乘员对声音的响应。
[0010]在实施例中，程序指令配置成使处理器将用于乘员的输出模态与乘员标识符一起存储在乘员简档数据库中。
[0011]在实施例中，乘员标识符包括生物统计数据。
[0012]在实施例中，乘员标识符包括乘员电子设备的标识符。
[0013]在实施例中，程序指令配置成使处理器从车辆背景数据源接收车辆或乘员背景数据，基于车辆或乘员背景数据生成乘员消息数据，并且基于乘员消息数据在输出设备上并以输出模态为乘员生成输出。
[0014]在实施例中，车辆或乘员背景数据包括乘员相对于车辆的位置、基于车辆控制命令的车辆行为信息、来自车辆外部场景的图像或其他感知数据和/或地图数据。
[0015]在实施例中，乘员消息数据包括描述车辆外部环境的消息、对乘员上下车或与车辆相关的任何其他乘员动作的指导以及对车辆采取的动作的描述。
[0016]在实施例中，为乘员生成输出包括将包括在消息数据中的消息翻译成乘员的优选语言。
[0017]在实施例中，为乘员生成输出包括当乘员被确定为听觉受损时，生成手语动画并在输出设备的视觉显示设备上显示手语动画。除了手语动画或者作为替代，可以生成文本输出。
[0018]在实施例中，为乘员生成输出包括当乘员被确定为视觉受损时，在乘员输出系统的音频输出设备上生成音频输出。
[0019]在另一方面，存在一种用于控制与车辆相关的乘员输出系统的方法，该方法包括：经由处理器从相机或其他感知设备接收图像或其他感知数据，该图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分，经由处理器分析图像或其他感知数据以确定乘员是否听觉和视觉受损，当乘员被确定为视觉或听觉受损时，经由处理器决定输出模态以辅助乘员，并且经由处理器在输出设备上并且以输出模态为乘员生成输出。
[0020]在实施例中，分析图像或其他感知数据利用机器学习算法。
[0021]在实施例中，分析图像或其他感知数据包括跟踪乘员的一只或两只眼睛。
[0022]在实施例中，经由处理器输出声音，并且其中分析图像或其他感知数据包括监测乘员对声音的响应。
[0023]在实施例中，该方法包括将用于乘员的输出模态连同乘员标识符一起存储在乘员简档数据库中。
[0024]在实施例中，乘员标识符包括生物统计数据或乘员电子设备的标识符。
[0025]在实施例中，该方法包括当确定乘员听觉受损时，经由处理器生成手语动画作为用于乘员的输出。
附图说明
[0026]下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，其中：
[0027]图1是示出根据各种实施例的与用于与盲人和视觉受损的乘员通信的通信系统相关的车辆的功能框图；
[0028]图2示出了根据各种实施例的与通信系统相关的自主驾驶系统；
[0029]图3是根据各种实施例的通信系统的功能框图；
[0030]图4是根据各种实施例的用于自动检测可以与通信系统相关的视觉或听觉受损人员的检测系统的功能框图；
[0031]图5是示出根据各种实施例的与车辆的视觉和听觉受损的乘员通信的方法的流程图；以及
[0032]图6是示出根据各种实施例的自动检测视力或听觉受损人员的方法的流程图。
具体实施方式
[0033]下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，没有意图被在前面的
、背景、简要概述或下面的详细描述中提出的任何明示或暗示的理论所束缚。如本文所用，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合的形式，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
[0034]本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，这种块部件可以由配置成执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
[0035]为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作部件)相关的传统技术在此可能不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种与车辆相关的系统，包括：包括至少一个输出设备的乘员输出系统；至少一个相机或其他感知设备；至少一个处理器，其与乘员输出系统和至少一个相机或其他感知设备可操作地通信，其中至少一个处理器配置为执行程序指令，其中程序指令配置为使至少一个处理器：从至少一个相机或其他感知设备接收图像或其他感知数据，所述图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分；分析图像或其他感知数据，以确定乘员是否是听觉和视觉受损中的至少一个；当确定乘员是视觉和听觉受损中的至少一个时，决定输出模态来辅助乘员；以及在至少一个输出设备上并以输出模态为乘员生成输出。2.根据权利要求1所述的系统，其中，分析所述图像或其他感知数据利用机器学习算法。3.根据权利要求1所述的系统，其中，分析所述图像或其他感知数据包括跟踪乘员的一只或两只眼睛。4.根据权利要求1所述的系统，其中，所述程序指令配置成使所述至少一个处理器输出声音，并且分析所述图像或其他感知数据包括监测乘员对声音的响应。5.根据权利要求1所述的系统，其中，所述程序指令配置为使所述至少一个处理器将用于乘员的输出模态与乘员标识符一起存储在乘员简档数据库中。6.根据权利...

【专利技术属性】
技术研发人员：JA邦德，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：