用于协助数据收集的多模态用户通知系统技术方案

一种用于执行多模态软件应用52的系统，包括具有多个输入接口部件的移动计算机设备14、多模态软件应用52和与多模态软件应用52操作通信的对话引起62。多模态软件应用52配置以从多个输入接口部件接收第一数据。对话引擎62通过向输出接口部件提供提示而执行来自多模态软件应用52的工作流程描述60。这些提示中每一个包括通知，指示哪个输入接口部件是对于各个提示的有效接收器。而且，通知可以指示当前提示以及序列中的至少下一个提示。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多模态应用，并且尤其涉及利用向用户通知有效输入方式来协调多模态数据输入，从而协助收集信息和数据。
技术介绍
作为经由常规外围输入/输出设备的通信的方便的备选方案，语音识别通过允许不用手而与计算机通信而已经简化了工作场所的许多任务。工作者可以使用语音识别器而由声音输入数据，而命令或指令可以由具有文本一语音(TTS)功能的语音合成器而向工作者传送。语音识别在移动计算设备或移动计算机中具有特殊应用，其中采用常规外围输入/输出设备与计算机交互受到限制或者不便捷。移动计算设备或使用这种移动设备语音指导的工作已经非常成熟的一个特殊工作领域是在库存管理领域。然而，其他工作领域也已经受益于该技术，诸如健康护理服务。语音协助/指导的工作系统依赖于用于执行各种不同任务的计算机化管理系统，诸如产品分配、生产、质量控制和患者护理。一种整体集成系统，包括用于追踪和管理的中央计算机系统以及使用和与中央计算机系统以命令填充者、采集者、护理提供者或其他工作者形式的人或工作者的组合。在根据从中央计算机系统发送至由工作者携带的移动计算机设备的信息的命令和控制下，工作者操作集成系统的手动方面。由于工作者完成了他们的指定任务，经由语音提示而向他们提供指令和信息，并且随后使用语音回答该提示或提供数据。中央计算机系统基于特定指定的任务以及来自工作者的数据或输入，诸如通过语音或一些其他数据收集，而收集大量类型的信息。例如，当工作者通过从货架上挑选存货而执行命令时，中央计算机系统将要求关于产品标识和数量的信息，从而当给定物品的存货补给较低时，中央计算机系统可以正确的通知存货管理者。在另一实例中，当工作者正在调查受损的存货以进行质量控制时，中央计算机系统将要求关于受影响物品的产品标识、订购单标识以及损伤描述的信息。使用语音作为一种类型的输入机构在这些和其他情况下具有有利的应用，因为如果两手可以自由地工作，工作者可能更有效率。虽然作为用于协助用户完成他们的工作任务的输入和输出机构，语音是有利的，但是也可以利用其它输入/输出模式以指导工作者在收集与该任务的性能相关的数据中执行特定任务。这种多模式或多模态应用已经得到发展，以协调与多模态系统相关的各种输入部件或设备以及输出部件或设备。这些所谓的多模态系统协调配备有移动计算机设备的多个输入和输出部件，例如包括扩音器、扬声器、射频标识读取器或扫描仪、条形码扫描仪、显示屏、触摸屏、打印机和键盘。由本申请受让人共同有用的美国专利公开号N0.2005/0010892中描述了这种多模态应用的一个实例，所述文献的公开内容在此全文引入作为参考。这种多模态应用和系统允许以各种不同的模式或形式输入数据，诸如键盘输入、条形码或者RFID扫描语言等。该应用在多模态系统的各种模式中协调输入和输出。然而，如同任何这样的系统以协助工作者提高他们工作的表现一样，他们能够有效使用这种系统的能力极为重要。在语音指导/协助系统中的一个特定优点是用户能够在他们可从系统接收到的语音提示之前说话。例如，在收集与特定任务相关的数据中，基于语音的数据可能向用户提供口头提示，例如提问。那么作为回应，用户将说出与该提示相关的特定言论，诸如回答提示的问题或者处理提示。这样，收集数据。在一些语音系统中，诸如可从宾夕法尼亚州匹兹堡的Vocollect有限公司获得的用于Talkman (TM)的Vocollect Voice (TM)产品，用户可能被允许以在语音提示之前以说出多种特定言论，而无需等待可听见的提示。该“提前说话”特征通常需要用户已知即将发生的提示，以便于如此进行。当利用这种提前说话特征时，可以获得多个言论作为对特定即将发生的提示的回应，并且由于回答了提示而提高了效率，以便于系统继续进行，而无需提供这些提示。这种提前说话的优化方式尤其有助于语音知道的工作，其中工作流程相对恒定，没有显著的改变，而且用户因而可以获得与即将发生的提示相关的知识。然而，当更多采用语音以协助用户的工作，而不是特别地指导工作时，这种提前说话的特征并不是有利的。在该领域中，工作流程通常将较不具有可预测性和可重复性，因而，对于工作者而言更难以获得即将发生的提示的知识或记忆。而且，在语音协助的工作环境下，工作流程的性质基本上是利用部分时间的。这样，它们基本上由系统中的工作者利用部分时间完成，并且这些工作者不能迅速地记住这些提示命令。因而，需要解决语音协助系统中的这种缺点，允许在这种系统中实施提前说话优化或其特征，以提高工作者的效率。而且，即使在工作流程更一致和语音指导的那些系统中，在工作者调换上仍然存在问题。这种调换导致了一些工作者对于系统不熟悉的情况，并且无法预期需要输入什么数据或者需要做出什么语言意见，以回答或解决给定任务的提示。因而，还需要改进不熟练工作者的能力，以在利用语音的工作系统中实施提前说话特征，诸如语音是输入和输出模式之一的多模态系统。虽然多模态系统、诸如利用语音的多模态系统在协助和指导用户的工作任务中课题提供较高的机动性，由于用户在使用系统中的不熟练，这种机动性还可能在工作环境中导致混乱和低效。例如，当用户可用多模态系统中的多种输入机构而用于输入数据、其他信息、或回答提示、或填充数据段时，用户可以根据他们的喜好、输入模式的可用性或者仅仅是对于可用何种模式的知识，而选择特定的输入方法。然而，随着在多模态系统中可用多种模式，由于用户未成功地提供有效的回应，可能出现低效率的情况。例如，用户可以试图从使用语音的列表中选择特定输入，并且可以尝试说出对他们有意义的特殊回应，但可能不是有效的选择。这可能导致用户对输入进行错误分类，或者完全未完成对系统所需的输入或未能提供文件。因此，还需要提高多模态系统(诸如使用语音的多模态系统)的效率，从而用户可以提供必需的输入数据、或者解决或回答提示。如本文中所述，本专利技术解决了现有技术中的缺点，本专利技术还提供了其他优点。
技术实现思路
一种用于处理信息的多模态系统，包括计算机设备，诸如与多个输入模式部件/设备或者多个输出模式部件/设备连接的移动或便携式计算机设备。输入和输出模式部件与计算机设备连接，用于向计算机设备输入数据和操作从计算机设备输出的数据。一种计算机设备的处理系统，配置以从多个输入模式部件中的至少之一接收数据，并且将数据输出至多个输出模式部件中之一，并且配置以执行对话，其通过输入模式部件而向用户提供至少一个提示。该对话可以包括具有语音的多个不同模式。为了回答或者处理该提示，本专利技术通过输出模式部件而提供与对话提示相关的指示，用于向用户指示可用哪个输入模式部件以回答提示。使用诸如扬声器或显示器的合适的输出模式部件，可以语音地或者可视地提供对可用用于回答提示的输入模式部件的指示。语音指示可以包括语音或耳听信号。可视提示可以包括图标、文本和颜色中至少之一。在另一实施例中，本专利技术执行了对话，其通过输出模式部件向用户提供一系列提示。随后，本专利技术提供了与提示相关的指示，其反映了对该系列提示的顺序。通过输出模式部件而提供提示，用于按序向用户指示当前提示和至少下一个提示，从而用户可以以顺序提供对提示的回答。可以提供显示器上所示的可视指示而作为指示。可视指示可以是位于显示器上提示附近的图标，或者可视指示可以是显示器上的提示的一部分。可视本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：S·尼克尔，
申请(专利权)人：沃科莱特有限公司，
类型：
国别省市：