用于与视力和听力受损的车辆乘员通信的系统和方法技术方案

提供了用于控制与车辆相关联的乘员输出系统的方法和系统。该方法和系统从车辆情境数据源接收车辆或乘员情境数据，基于车辆或乘员情境数据生成乘员消息数据，并确定与乘员输出系统相关联的乘员是否视觉或听觉受损。当乘员被确定为视觉或听觉受损时，该方法和系统决定输出模态来帮助乘员，并且基于乘员消息数据在输出模态中在输出装置上为乘员生成输出。输出模态中在输出装置上为乘员生成输出。输出模态中在输出装置上为乘员生成输出。

【技术实现步骤摘要】
用于与视力和听力受损的车辆乘员通信的系统和方法


[0001]本公开总体上涉及与车辆相关联的系统和方法，并且更具体地涉及用于与听觉和视觉受损的车辆乘员进行通信的系统和方法。
[0002]情境技术
[0003]自主车辆是一种能够感知其环境并在很少或没有用户输入的情况下导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控系统的信息来导航车辆。
[0004]车辆自动化已经被分类为数字级别，范围从零到五，零对应于没有完全人工控制的自动化，五对应于没有人工控制的完全自动化。各种自动驾驶辅助系统(ADAS)，如巡航控制、自适应巡航控制和停车辅助系统对应于较低的自动化水平，而真正的“无人驾驶”车辆对应于较高的自动化水平。
[0005]视力受损的车辆乘员可能会发现一些车辆动作(例如突然转向)令人不安，并且可能不完全了解外部场景，这也可能令人不安。此外，对于视力受损的乘员来说，上下交通工具(例如共享乘坐交通工具)可能是困难的。听力受损的车辆乘员可能无法获得车辆传达的全部信息，例如即将到来的停靠站或地图导航方向，这是许多可能的例子中的两个。
[0006]因此，期望提供帮助听力和视力受损的车辆乘员接收来自车辆的通信的系统和方法。此外，希望为视力和听力受损的乘员提供各种信息，以帮助这些乘员的舒适和安全。此外，结合附图和前述
和情境技术，从随后的详细描述和所附权利要求中，本专利技术的其他期望特征和特性将变得显而易见。

技术实现思路

[0007]一种与车辆相关联的系统。该系统包括乘员输出系统，该乘员输出系统包括输出装置、车辆情境数据源和与乘员输出系统和车辆情境数据源可操作通信的处理器。该处理器被配置为执行程序指令以使处理器从车辆情境数据源接收车辆或乘员情境数据，基于车辆或乘员情境数据生成乘员消息数据，确定与乘员输出系统相关联的乘员是否视觉或听觉受损，当乘员被确定为视觉或听觉受损时，决定输出模态以帮助乘员，并且基于乘员消息数据在输出设备上以输出模态为乘员生成输出。
[0008]在实施例中，车辆或乘员情境数据包括来自车辆外部场景的图像或其他感知数据。
[0009]在实施例中，车辆或乘员情境数据包括乘员相对于车辆的位置。
[0010]在实施例中，程序指令被配置成使处理器基于来自乘员装置的一个或多个传输信号来确定乘员相对于车辆的位置。
[0011]在实施例中，车辆或乘员情境数据包括基于车辆控制命令的车辆行为信息。
[0012]在实施例中，车辆或乘员情境数据包括地图数据。
[0013]在实施例中，乘员消息数据包括描述车辆外部环境的消息。
[0014]在实施例中，乘员消息数据包括乘员上下车或任何其他与车辆相关的乘员动作的指导。
[0015]在实施例中，乘员消息数据包括车辆采取的动作的描述。
[0016]在实施例中，基于存储的乘员数据来确定乘员是视觉受损还是听觉受损。
[0017]在实施例中，确定乘员是否视觉或听觉受损包括基于乘员标识符检索存储的乘员数据。
[0018]在实施例中，基于乘员的生物特征识别或基于来自乘员装置的通信来确定乘员标识符。
[0019]在实施例中，通过自动检测来确定乘员是否视觉或听觉受损。
[0020]在实施例中，为乘员生成输出包括将包括在消息数据中的消息翻译成乘员的优选语言。
[0021]在实施例中，为乘员生成输出包括当乘员被确定为听力受损时，生成手语动画和/或文本输出，并在输出设备的视觉显示设备上显示手语动画。
[0022]在实施例中，为乘员产生输出包括在乘员输出系统的音频输出设备上产生音频输出。
[0023]在实施例中，车辆或乘员情境数据包括相对于车辆的乘员位置和乘员标识符，乘员位置和乘员标识符基于来自乘员设备的无线通信来确定，乘员消息数据包括基于乘员位置来确定的关于接近、进入、离开或离开车辆的引导，并且基于乘员标识符来确定与乘员输出系统相关联的乘员是否视觉或听觉受损。
[0024]在实施例中，通过融合来自感知系统的情境数据和从由车辆的自主驾驶系统产生的车辆控制命令中导出的车辆动作数据，由处理器产生车辆或乘员情境数据。
[0025]在另一方面，提供了一种用于控制与车辆相关联的乘员输出系统的方法。该方法包括通过处理器从车辆情境数据源接收车辆或乘员情境数据；经由处理器基于车辆或乘员情境数据生成乘员消息数据，经由处理器确定与乘员输出系统相关联的乘员是否视觉或听觉受损，当乘员被确定为视觉或听觉受损时，经由处理器决定输出模态以帮助乘员，并且经由处理器基于乘员消息数据在乘员输出系统的输出设备上为乘员生成输出。
[0026]在实施例中，该方法包括当确定乘员听力受损时，生成手语动画和/或文本输出作为乘员的输出。
附图说明
[0027]下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，其中:
[0028]图1是示出根据各种实施例的与用于与盲人和视力受损的乘客通信的通信系统相关联的车辆的功能框图；
[0029]图2示出了根据各种实施例的与通信系统相关联的自动驾驶系统；
[0030]图3是根据各种实施例的通信系统的功能框图；
[0031]图4是根据各种实施例的用于自动检测可以与通信系统相关联的视觉或听觉受损人员的检测系统的功能框图；
[0032]图5是示出根据各种实施例的与车辆的视觉和听觉受损的乘客通信的方法的流程
图；和
[0033]图6是示出自动检测视力或听力受损的人的方法的流程图。
具体实施方式
[0034]下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，没有意图被在前面的
、情境、简要概述或下面的详细描述中提出的任何明示或暗示的理论所束缚。如这里所使用的，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合的形式，包括但不限于:专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
[0035]本文可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应当理解，这种块组件可以由被配置成执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
[0036]为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作组件)相关的传统技术在此可能不详细描述。此外，本文包含本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种与车辆相关联的系统，包括:包括至少一个输出设备的乘员输出系统；至少一个车辆情境数据源；和至少一个处理器，其与所述乘员输出系统和所述至少一个车辆情境数据源可操作地通信，其中所述至少一个处理器被配置为执行程序指令，其中所述程序指令被配置为使所述至少一个处理器:从至少一个车辆情境数据源接收车辆或乘客情境数据；基于车辆或乘员情境数据生成乘员消息数据；确定与乘员输出系统相关联的乘员是否是视觉和听觉受损中的至少一种；当确定乘员是视觉和听觉受损中的至少一种时，决定输出模态来帮助乘员；和基于乘客消息数据，在至少一个输出设备上并以输出模态为乘客生成输出。2.根据权利要求1所述的系统，其中，所述车辆或乘员情境数据包括来自车辆外部场景的图像或其他感知数据。3.根据权利要求1所述的系统，其中所述车辆或乘员情境数据包括乘员相对于车辆的位置。4.根据权利要求3所述的系统，其中，所述程序指令被配置为使所述至少一个处理器基于以下至少一项来确定乘员相对于车辆的位置:来自乘员设备的一个或多个传输信号；和感知数据的处理。5.根据权利...

【专利技术属性】
技术研发人员：JA邦德，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：