人机交互方法、装置和系统制造方法及图纸

人机交互方法、装置和系统，涉及人机交互技术领域，有助于实现将一个或多个用户的语音内容输出并显示到触摸屏上对应的输出位置，提升触摸屏输入的效率和用户的体验。该人机交互方法包括：建立第一声纹与触摸屏上的第一输出位置的对应关系；接收第一语音，在判断所述第一语音的声纹与所述第一声纹匹配时，识别该语音的内容，并将此内容输出并显示到所述第一输出位置。出位置。出位置。

【技术实现步骤摘要】
人机交互方法、装置和系统


[0001]本申请涉及人机交互
，尤其涉及人机交互方法、装置和系统。

技术介绍

[0002]人机交互(human computer interaction，HCI；或者，human machine interaction，HMI)是一门研究系统与用户之间的交互关系的学问。这里的系统可以是各种各样的机器，也可以是计算机化的系统和软件。在涉及触摸屏输入的人机交互中，可以通过触摸操作来实现输入。但由于成本和技术的原因，通过触摸操作来实现触摸屏上输入的方式，经常会出现手写连笔和笔迹难控制的情况，导致输入困难和输入效率低下。

技术实现思路

[0003]本申请提供的人机交互方法、装置和系统，通过多模态(modality)人机交互的方式，有助于实现将一个或多个用户的语音内容输出并显示到触摸屏上对应的输出位置，提升触摸屏输入的效率和用户的体验。
[0004]为达上述目的，本申请提供如下技术方案：
[0005]第一方面，本申请提供了一种人机交互方法，该人机交互方法应用于人机交互系统。该方法包括：首先建立第一声纹与触摸屏上的第一输出位置的对应关系；然后在接收到第一语音、并判断该语音的声纹与上述第一声纹匹配时，识别该语音的内容，并将识别的内容输出并显示上述第一输出位置。
[0006]通过本申请的第一方面，可以实现将一个或多个用户输入的语音内容输出并显示到触摸屏上用户指示的输出位置上，避免多人同时通过语音输入时，将不同用户的语音内容混淆显示在触摸屏上的问题，因此可以提升触摸屏输入的效率和体验。
[0007]结合第一方面，在一种可能的实现中，上述建立第一声纹与触摸屏上的第一输出位置的对应关系的过程，可以为：接收触摸操作以及第二语音，并且在判断该触摸操作与预定的第一规则匹配、且该第二语音与预定的第二规则匹配时，根据所述触摸操作的位置确定触摸屏上的第一输出位置，并从上述第二语音中提取第一声纹；然后建立该第一声纹与上述第一输出位置的对应关系。
[0008]结合第一方面，在一种可能的实现方式中，上述根据所述触摸操作的位置确定第一输出位置的过程，可以为：根据所述触摸操作的位置中的触点位置集合确定所述第一输出位置的起始位置和范围。
[0009]可选地，上述第一输出位置所指示的形状可以为矩形，圆形或菱形等。当上述第一输出位置所指示的形状为矩形时，所述第一输出位置可以包括左上角的坐标、以及宽度和高度。或者，所述第一输出位置还可以包括其起始位置和结束位置，例如第一输出位置的左上角坐标和右下角坐标。
[0010]可选地，系统还可以输出并在触摸屏上显示该第一输出位置。例如以边框、或者其他可以与触摸屏当前背景相区分的形式显示所述第一输出位置。此外，当上述第一语音的
内容超过了第一输出位置所能输出的上限时，系统还可以在第一输出位置的水平或处置方向生成、并在触摸屏上显示该滚动条。这种实现方式下，可以保证用户输入的语音内容都被记录下来，并且便于用户随时翻看任何被记录的语音内容，因而可以进一步提升用户的体验。
[0011]结合第一方面，在一种可能的实现方式中，上述判断触摸操作与预定的第一规则匹配的过程，可以为：判断所述触摸操作的位置中的触点位置集合与预定的位置规则一致。或者，识别所述触摸操作的位置中的触点位置集合所构成的形状，判断所述形状与预定的形状匹配。
[0012]结合第一方面，在一种可能的实现方式中，上述判断第二语音与预定的第二规则匹配的过程，可以为：识别该第二语音的内容，并判断此内容与预定的内容匹配。
[0013]可选地，系统还可以解除所述第一声纹与所述第一输出位置的对应关系。这样，可以建立所述第一声纹与其他输出位置的对应关系，以便于第一声纹对应的用户可以切换到其他输出位置输入其语音内容。
[0014]可选地，系统还可以建立第二声纹与所述第一输出位置的对应关系。并且，在接收到第三语音，并且判断该语音的声纹与所述第二声纹匹配时，可以将该语音的内容输出到所述第一输出位置的空白处，或者覆盖上述第一语音的内容。这样，可以实现某个用户通过语音(上述第三语音)对其他用户的语音内容(上述第一语音)进行补充或修改的功能。因此，通过这种实现方式可以让多个用户相互协作通过语音在触摸屏上输入内容，因而可以提升触摸屏输入的效率和体验。此外，可选地，由于上述第三语音和第一语音是由不同的用户发发出的，因此，系统还可以在输出第三语音的内容时，选择不同于输出上述第一语音的内容时的输出格式，使得显示的效果更好。
[0015]可选地，当上述第二语音是由阵列麦克风采集时，还可以计算该第二语音的声源的位置，并在上述建立所述第一声纹与所述第一输出位置的对应关系之前，判断所述第二语音的声源位置与所述触摸操作的位置是否满足预设的条件。如果满足，才建立所述第一声纹与所述第一输出位置的对应关系；否则，则不建立所述对应关系。
[0016]可选地，系统还可以接收图像采集器采集的触摸屏前方的图像，并在上述建立所述第一声纹与所述第一输出位置的对应关系之前，实时分析和跟踪上述图像的内容，并根据图像分析和跟踪的结果判断执行所述触摸操作的用户与发出所述第二语音的用户是否为同一个用户。或者，通过联合声源定位和图像跟踪来判断执行触摸操作的用户与发出所述第二语音的用户是否为同一个用户。如果判断是同一个用户，才建立所述对应关系；否则，则不建立所述对应关系。
[0017]通过上述两种方式，当有多个用户同时启动语音输入时，可以避免将一个用户的声纹与另一个用户所指示的输出位置绑定起来，因而可以提升系统的鲁棒性。
[0018]第二方面，本申请提供了一种人机交互方法，该人机交互方法应用于计算机设备，该方法包括：首先建立第一声纹与第一输出位置的对应关系；然后在接收到第一语音、并判断该语音的声纹与上述第一声纹匹配时，识别该语音的内容，并将此内容输出到上述第一输出位置。
[0019]结合第二方面，在一种可能的实现中，上述建立第一声纹与第一输出位置的对应关系的过程，可以为：接收触点位置以及第二语音，并且在判断该触点位置与预定的第一规
则匹配、且该第二语音与预定的第二规则匹配时，根据所述触点位置确定第一输出位置，并从上述第二语音中提取第一声纹；然后建立该第一声纹与上述第一输出位置的对应关系。
[0020]结合第二方面，在一种可能的实现方式中，上述根据所述触点位置确定第一输出位置的过程，可以为：根据触点位置中的触点位置集合确定所述第一输出位置的起始位置和范围。
[0021]可选地，上述第一输出位置所指示的形状可以为矩形，圆形或菱形等。当上述第一输出位置所指示的形状为矩形时，所述第一输出位置可以包括左上角的坐标、以及宽度和高度。或者，所述第一输出位置还可以包括其起始位置和结束位置，例如第一输出位置的左上角坐标和右下角坐标。
[0022]可选地，所述计算机设备还可以输出该第一输出位置；例如以边框、或者其他可以与当前背景相区分的形式显示所述第一输出位置。
[0023]结合第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互的方法，其特征在于，应用于人机交互系统，所述方法包括：建立第一声纹与触摸屏上的第一输出位置的对应关系；接收第一语音，在判断所述第一语音的声纹与所述第一声纹匹配时，识别所述第一语音的内容，输出并显示所述第一语音的内容到所述第一输出位置。2.如权利要求1所述的方法，其特征在于，所述建立第一声纹与触摸屏上的第一输出位置的对应关系，包括：接收触摸操作以及第二语音；判断所述触摸操作与预定的第一规则匹配，且所述第二语音与预定的第二规则匹配时；根据所述触摸操作的位置确定所述触摸屏上的第一输出位置；从第二语音中提取第一声纹；建立所述第一声纹与所述触摸屏上的第一输出位置的对应关系。3.如权利要求2所述的方法，其特征在于，所述根据所述触摸操作的位置确定所述触摸屏上的第一输出位置，包括：根据所述触摸操作的位置中的触点位置集合确定所述触摸屏上的第一输出位置的起始位置和范围。4.如权利要求1-3任一所述的方法，其特征在于，包括：以与所述触摸屏上当前背景相区分的方式输出并在所述触摸屏上显示所述第一输出位置所指示的区域。5.如权利要求2所述的方法，其特征在于，在所述建立所述第一声纹与所述触摸屏上的第一输出位置的对应关系之前，还包括：计算所述第二语音的声源的位置，判断所述位置与所述触摸操作的位置满足预设的条件。6.如权利要求1-5任一所述的方法，其特征在于，还包括：解除所述第一声纹与所述触摸屏上的第一输出位置的对应关系。7.如权利要求1-6任一所述的方法，其特征在于，还包括：建立第二声纹与触摸屏上的所述第一输出位置的对应关系；接收第三语音，在判断所述第三语音的声纹与所述第二声纹匹配时，识别所述第三语音的内容，输出并显示所述第三语音的内容到所述第一输出位置的空白处。8.如权利要求1-6任一所述的方法，其特征在于，还包括：建立第二声纹与触摸屏上的所述第一输出位置的对应关系；接收第三语音，在判断所述第三语音的声纹与所述第二声纹匹配时，识别所述第三语音的内容，输出并显示所述第三语音的内容到所述第一输出位置，并覆盖所述第一语音的内容。9.如权利要求7或8所述的方法，其特征在于，所述输出并显示所述第三语音的内容到所述触摸屏上所述第一输出位置，包括：以不同于所述输出并显示所述第一语音的内容的格式输出并显示所述第三语音的内容。10.一种人机交互的方法，其特征在于，应用于计算机设备，所述方法包括：建立第一声纹与第一输出位置的对应关系；
接收第一语音，在判断所述第一语音的声纹与所述第一声纹匹配时，识别所述第一语音的内容，输出所述第一语音的内容到所述第一输出位置。11.如权利要求10所述的方法，其特征在于，所述建立第一声纹与第一输出位置的对应关系，包括：接收触点位置以及第二语音，所述触点位置由触摸操作产生；在判断所述触点位置与预定的第一规则匹配，且所述第二语音与预定的第二规则匹配时，根据所述触点位置确定所述第一输出位置，从第二语音中提取第一声纹，建立所述第一声纹与所述第一输出位置的对应关系。12.如权利要求11所述的方法，其特征在于，所述根据所述触点位置确定所述第一输出位置，包括：根据所述触点位置中的触点位置集合确定所述第一输出位置的起始位置和范围。13.如权利要求10-12所述的方法，其特征在于，所述方法包括：以与当前背景相区分的方式输出所述第一输出位置所指示的区域。14.如权利要求12所述的方法，其特征在于，在所述建立所述第一声纹与所述第一输出位置的对应关系之前，还包括：计算所述第二语音的声源的位置，判断所述位置与所述触点位置满足预设的条件。15.如权利要求10-13任一所述的方法，其特征在于，还包括：解除所述第一声纹与所述第一输出位置的对应关系。16.如权利要求10-13任一所述的方法，其特征在于，还包括：建立第二声纹与所述第一输出位置的对应关系；接收第三语音，在判断所述第三语音的声纹与所述第二声纹匹配时，识别所述第三语音的内容，输出所述第三语音的内容到所述第一输出位置的空白处。17.如权利要求10-13任一所述的方法，其特征在于，还包括：建立第二声纹与所述第一输出位置的对应关系；接收第三语音，在判断所述第三语音的声纹与所述第二声纹匹配时，识别所述第三语音的内容，输出所述第三语音的内容到所述第一输出位置，并覆盖所述第一语音的内容。18.如权利要求16或17所述的方法，其特征在于，所述输出所述第三语音的内容到所...

【专利技术属性】
技术研发人员：黄胜森，陈显义，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：