用于在车辆的语言对话系统中提供以手语的语言对话的方法技术方案

一种用于在车辆（1）的语言对话系统中提供以手语的语言对话的方法，其中执行如下步骤：

【技术实现步骤摘要】
【国外来华专利技术】用于在车辆的语言对话系统中提供以手语的语言对话的方法


[0001]本专利技术涉及一种用于在车辆的语言对话系统中提供以手语的语言对话的方法。本专利技术还涉及一种系统以及一种车辆。

技术介绍

[0002]车辆中的语言对话系统能够通过语言交流来实现对车辆的操作以及与车辆的信息交换。在驾驶功能自动化的时代，以这种方式可以提供额外的驾驶体验，该驾驶体验在于：能够与车辆进行交流以用于信息交换和/或以用于娱乐。对车辆中的仪器的手势控制也是公知的。然而，与车辆进行对话对于有口语障碍的人或失去听觉以及有听力障碍的人来说仍然存在问题。
[0003]在US 2005/0271279 A1中公开了通过手势与机器的交互，以便经此来向机器提供命令。
[0004]在US 2013/0261871 A1中同样公开了一种基于手势的控制。
[0005]US 2016/0107654 A1公开了一种针对用户输入的激活方法。

技术实现思路

[0006]因而，本专利技术的任务在于：至少部分地消除上文所描述的缺点。本专利技术的任务尤其在于：提供一种用于无声语言对话系统的解决方案。
[0007]上述任务通过一种具有权利要求1的特征的方法、一种具有权利要求4的特征的系统以及通过一种具有权利要求8的特征的车辆来被解决。本专利技术的其它特征和细节从相应的从属权利要求、说明书和附图中得到。在此，与按照本专利技术的方法相关联地描述的特征和细节当然也与按照本专利技术的系统以及按照本专利技术的车辆相关联地适用，而且分别反之亦然，使得关于对各个专利技术方面的公开内容始终可以相互参考。
[0008]该任务尤其是通过一种用于在车辆的语言对话系统、尤其是无声语言对话系统中提供以手语的语言对话的方法来被解决。在这种情况下，尤其是规定：执行如下步骤，优选地以所说明的顺序或者以任意顺序来依次执行如下步骤，其中各个步骤必要时也可以被重复执行：
‑ꢀ
尤其是通过图像检测装置，执行对车辆乘员的输入信息的光学检测；
‑ꢀ
尤其是通过处理装置，执行对所检测到的输入信息的评估；
‑ꢀ
尤其是通过输出装置，根据该评估来提供以手语的视觉输出。
[0009]以这种方式，可以借助于该语言对话系统来提供对语言对话的无声执行，以便能够与车辆进行自然语言对话。该自然语言对话尤其是由输入信息（例如以“来言”或问题或应答或命令的形式）和与此相关的输出（例如以“去语”或对问题的应答或问题或对命令的反馈的形式）形成。在这种情况下，一个特殊优点在于：提供以手语的输出，以便对于使用口语来进行对话有困难的人来说也能够实现该对话。因而，可以是可能的是：该对话完全没有口语。
[0010]还可以是可能的是：输入信息具有关于车辆乘员的手语的信息。借此，由该语言对话系统提供的对话可以完全以手语来被提供。为此，输入信息尤其包括关于手势和/或面部表情和/或无声说出的话语和/或车辆乘员的身体姿势的信息，这些信息可以通过处理装置的评估来被分析。为了检测具有这些信息的输入信息，例如可以通过图像检测装置来执行对车辆乘员的图像记录。该评估还可包括图像分析和/或机器学习方法，以便例如执行关于预先限定的手势和/或符号对输入信息的分类。以这种方式，通过该语言对话系统可以分析车辆内部空间中的情况并且在对话中使用该情况。
[0011]此外，可选地规定：对该评估的执行包括如下步骤：
‑ꢀ
依据输入信息来执行对车辆乘员以手语与语言对话系统的交互的探测，其中优选地该输入信息被实施成对车辆乘员的图像记录，以便依据该图像记录来将该交互至少作为车辆乘员的手势来探测；
‑ꢀ
尤其是只有在对该交互的探测成功的情况下，执行对该输入信息的分析、尤其是图像分析，用于将手语翻译成对于语言对话系统来说可评估的内容方面的翻译信息、优选地文本信息；
‑ꢀ
可选地：依据该输入信息来执行对车辆乘员的进一步的手势的探测，该进一步的手势特定于附加信息；
‑ꢀ
依据该翻译信息并且优选地依据该附加信息来生成应答，以便通过视觉输出以手语来输出该应答。
[0012]这能够实现对输入信息的可靠的评估，以便提供对话。此外，对该应答的生成例如可以包括对翻译信息的在内容方面的分析，以便例如将内容方面的信息确定为该应答，所述内容方面的信息在内容方面与（例如作为问题的）输入信息相关。该输出可以特别有利地以图形化身和/或抽象形式的输出为形式和/或通过符号（即基于符号）以及必要时附加地作为音频输出来实现。
[0013]可以是可能的是：在评估输入信息时可以探测车辆乘员的至少一个手势。车辆乘员的该手势可以被探测为在手语框架内的手势，并且可以相对应地用于将手语翻译成翻译信息。也可以将该手势探测为特定于附加信息的进一步的手势。进一步的手势例如是指向对象，该指向相对应地提供所选择的对象作为附加信息。依据所探测到的进一步的手势，除了翻译之外，可以在评估时使用该附加信息，以便生成该应答。例如，翻译信息表示有涉及该对象的特定问题。换言之，翻译信息可以表示函数，并且附加信息可以表示该函数的参数。那么，可以作为该函数的输出来生成该应答。
[0014]该进一步的手势和该附加信息例如通过如下方式来被确定：图像检测装置、尤其是像摄像机那样的第一图像检测单元检测输入信息，根据该输入信息可以得出该进一步的手势（如指向对象）。该附加信息（即特定对象）例如可以通过车辆的至少一个其它图像检测装置和/或至少一个其它图像检测单元的调查（进一步检测）来被确定，通过该至少一个其它图像检测装置和/或该至少一个其它图像检测单元来检测车辆的周围环境并且借此检测该对象。为此，例如依据进一步的手势来得出方向信息（朝哪个方向指向），并且将该方向信息与对对象的进一步检测进行比较。也可设想的是：对象依据方向信息通过如下方式来被标识：评估关于车辆的当前所在地的所在地信息并且尤其是将该所在地信息与周围环境信息和方向信息进行比较。
[0015]按照本专利技术的一个有利的扩展方案，可以规定：该应答包括（具有如下内容的）如下信息中的至少一个信息：
‑ꢀ
关于在车辆的周围环境中的对象的对象信息，其中优选地为此附加信息提供对对象的选择，优选地作为关于该对象的方向说明；
‑ꢀ
天气信息、尤其是关于在车辆的所在地的天气的天气信息；
‑ꢀ
周围环境信息、优选地关于车辆的当前所在地的信息；
‑ꢀ
新闻信息、尤其是关于在车辆的所在地的当地新闻的新闻信息；
‑ꢀ
媒体信息、诸如视频或文学作品等，其中为了生成该应答而特别优选地关于以手语对这些信息的输出的可用性方面来对这些信息进行过滤。这能够为语言对话提供广泛的信息渠道。为了选择对象，按照附加信息的进一步的手势例如构造成手指姿势等等，在该手指姿势的情况下可以用手势来指向对象。在此，按照该过滤，例如可以只考虑适合于以手语来输出的这种内容。也可以是可能的是：以文本形式的信息为此通过按照本专利技术的方法和/或系统被翻译成手语，例如借助于处理装本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在车辆（1）的语言对话系统中提供以手语的语言对话的方法，其中执行如下步骤：
‑ꢀ
执行对车辆乘员（2）的输入信息的光学检测；
‑ꢀ
执行对所检测到的输入信息的评估；
‑ꢀ
根据所述评估来提供以手语的视觉输出（131）。2.根据权利要求1所述的方法，其特征在于，对所述评估的执行包括如下步骤：
‑ꢀ
依据所述输入信息来执行对所述车辆乘员（2）以手语与所述语言对话系统的交互的探测，其中优选地所述输入信息被实施成对所述车辆乘员（2）的图像记录，以便依据所述图像记录来将所述交互作为所述车辆乘员（2）的手势来探测；
‑ꢀ
尤其是只有在对所述交互的探测成功的情况下，执行对所述输入信息的分析，用于将手语翻译成对于所述语言对话系统来说可评估的内容方面的翻译信息、优选地文本信息；
‑ꢀ
可选地：依据所述输入信息来执行对所述车辆乘员（2）的进一步的手势的探测，所述进一步的手势特定于附加信息；
‑ꢀ
依据所述翻译信息并且尤其是依据所述附加信息来生成应答，以便通过所述视觉输出（131）以手语来输出所述应答。3.根据权利要求2所述的方法，其特征在于，所述应答包括如下信息中的至少一个信息：
‑ꢀ
关于在所述车辆（1）的周围环境（3）中的对象（5）的对象信息，其中优选地为此所述附加信息提供对所述对象（5）的选择，优选地作为关于所述对象（5）的方向说明；
‑ꢀ
天气信息；
‑ꢀ
周围环境信息、优选地关于所述车辆（1）的当前所在地的信息；
‑ꢀ
新闻信息；

【专利技术属性】
技术研发人员：J，
申请(专利权)人：大众汽车股份公司，
类型：发明
国别省市：