用于机器的人机交互学习方法及机器技术

本申请公开了一种用于机器的人机交互学习方法及机器。用于机器的人机交互学习方法包括：经由机器的人机接口接收第一信号；经由所述人机接口接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联；以及将所述第一信号与所述操控指令进行匹配，建立用于所述机器的人机交互模式。根据本申请实施例提供的技术方案，通过第一信号与控制指令匹配，能够解决传统人机交互的单一化问题，获得用户可定制的个性化交互的效果。

【技术实现步骤摘要】

本公开一般涉及人机交互领域，尤其涉及用于机器的人机交互学习方法及机器。
技术介绍
目前，家电、玩具、机器人等机器设备采用生产商预制好的交互方式，比如语音命令、人脸跟踪、手势命令和按键操作等，产品出厂后交互方式固定不变，用户使用过程中需要学习和适应其提供的交互方式。这使得用户难以按照个人喜欢的方式操控机器。并且，日常用设备来自不同厂商，其交互方式有差别，给用户带来比较大的使用负担。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种用户选择和定制的个性化的交互方式。本申请提供了一种用于机器的人机交互学习方法及机器。第一方面，提供一种用于机器的人机交互学习方法，所述方法包括：经由机器的人机接口接收第一信号；经由所述人机接口接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联；以及将所述第一信号与所述操控指令进行匹配，建立用于所述机器的人机交互模式。第二方面，提供一种机器，所述装置包括：人机接口，用于接收第一信号；用于接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联；处理器，用于将所述第一信号与所述操控指令进行匹配，建立用 于所述机器的人机交互模式；以及存储器，用于保存所述人机交互模式数据。根据本申请实施例提供的技术方案，通过第一信号与控制指令匹配，能够解决传统人机交互的单一化问题，获得用户可定制的个性化交互方式。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了根据本申请一实施例的人机交互学习方法流程图。图2示出了根据本申请另一实施例的人机交互学习方法的示例性流程图。图3a示出了根据本申请一实施例的初始的学习样本分布示意图。图3b示出了根据本申请一实施例的进行区分处理后的学习样本分布示意图。图3c示出了根据本申请一实施例的增加易错样本后的学习样本分布示意图。图4示出了根据本申请一实施例的机器结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。请参考图1，示出了根据本申请实施例的人机交互学习方法流程图。如图1所示，在步骤101中，经由机器的人机接口接收第一信号。接着，在步骤102中，经由所述人机接口接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联。在一些优选实施例中，人机接口包括以下至少一项：按键、麦克风和摄像头，并且所述第一信号和第二信号包括如下任一种信号或其组合：按键信号、经由麦克风接收的语音信号、经由摄像头接收的图像信号。在一些优选实施例中，步骤102的第一信号与第二信号的接收间隔不超过预定时间。并且，第一信号与所述第二信号属于不同类型的信号。例如，第一信号为语音信号时，第二信号可以是按键信号或图像信号。本实施例中，支持的学习交互形式可以有:图像-按键、语音-按键、图像-语音、语音-图像等，其中每个组合的前一个表示数据的输入，后一个为学习过程提供监督信号。例如图像-按键表示学习过程中的输入是视频图像，学习的监督信号来自按键。在一些优选实施例中，步骤102的操控指令为如下任一种或多种控制指令：控制所述机器执行与所述第二信号相应的动作；控制所述机器通过扬声器输出与所述第二信号相应的语音；以及控制所述机器通过显示面板输出与所述第二信号相应的图像。最后，在步骤103中，将所述第一信号与所述操控指令进行匹配，建立用于所述机器的人机交互模式。在一些优选实施例中，步骤103的进一步包括：提取所述第一信号的特征；以及将所述特征与所述操控指令进行匹配。具体地，例如在图像-按键交互方式学习过程中，主要提取视频中人脸、手势、头肩、人体姿态等特征信息。当学习的输入是语音的时候，特征可以是语音频谱、梅尔频率倒谱系数(MFCC)、共振峰、短时能量特征、基音抖动和闪烁、谐波噪声比等，或者其组合。在一些优选实施例中，将所述人机交互模式发送到云服务器以供同步到多个设备。用户定制好的交互方式及其意义通过云端同步到多个设备，使日常使用更加方便。比如用户在空调上面通过空调的摄像头输 入学习得到的开机手势可以上传到云端，然后在玩具上面同步下来，这样当玩具检测到相同的手势后也可执行开机操作。在一些优选实施例中，机器为如下任一种设备：可穿戴设备、便携式设备、智能终端、智能家电设备、安防监控设备、电子玩具。应当注意，尽管在附图中以特定顺序描述了本专利技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，可以先进行步骤102再进行步骤101。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。例如，步骤101与步骤102可合并为一个步骤。进一步请参考图2，为了便于理解，下面列举具体实施例说明，本实施例中，第一信号为图像信号，作为监督信号的第二信号为按键信号。学习过程中，录制一段视频(步骤201)，再从按键得到该段视频表示的实际意义即接收第二信号(步骤202)，例如开机，上述图像-按键数据对作为一组数据输入到学习系统中，并提取视频图像的特征(步骤203)，将该特征与开机操控指令匹配(步骤204)，当有足够多的数据能够获得这一交互模式的足够多的区分性的时候(步骤205)，保存该交互模式至交互库中(步骤206)，以便后续使用。使用时，视频图像中识别到相同特征，启动相应的交互控制，即开机。在图像-按键交互方式学习过程中，主要提取视频中人脸、手势、头肩、人体姿态等信息，综合处理后通过学习算法学习得到具有区分性的特征表示，以与系统中其他的交互命令区分，并将特征表示加入到系统的交互库中，更新交互库。对于步骤205，请参考图3a、图3b和图3c。其中，图3a示出了根据本申请一实施例的初始的学习样本分布示意图，图3b示出了根据本申请一实施例的进行区分处理后的学习样本分布示意图，图3c示出了根据本申请一实施例的增加易错样本后的学习样本分布示意图。当学习交互方式的时候，以当前整个系统中的各种交互方式的学习样本为基础，该样本可以是多次收集得到。并利用内置的学习算法学习 具有区分性的特征，比如交互方式初始的学习样本分布如3(a)所示，分别以方形、三角形和圆形等方式代表三类不同交互方式，系统难以区分该不同类交互方式，经内置的算法处理后得到样本特征分布如3(b)所示，每类交互模式已经区分开。得到的区分性结合系统的决策算法可确定每类交互模式的学习准确率，作为当前的交互模式学习结果。同时系统的决策算法具有动态的调整决策边界的能力，如一种手势交互方式的识别准确率是95％，由于学习过程中该模式的手势学习样本比较单一，多样性不足，导致在新的环境或者手势微小差别的情况下，交互鲁棒性不足。此时，用户可继续增加更多的手势样本，本文档来自技高网...

【技术保护点】
一种用于机器的人机交互学习方法，其特征在于，所述方法包括：经由机器的人机接口接收第一信号；经由所述人机接口接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联；以及将所述第一信号与所述操控指令进行匹配，建立用于所述机器的人机交互模式。

【技术特征摘要】
1.一种用于机器的人机交互学习方法，其特征在于，所述方法包括：经由机器的人机接口接收第一信号；经由所述人机接口接收用于监督第一信号的第二信号，所述第二信号与所述机器针对所述第一信号应采取的操作的操控指令相关联；以及将所述第一信号与所述操控指令进行匹配，建立用于所述机器的人机交互模式。2.根据权利要求1所述的方法，其特征在于，所述第一信号与所述第二信号的接收间隔不超过预定时间。3.根据权利要求1所述的方法，其特征在于，所述第一信号与所述第二信号属于不同类型的信号。4.根据权利要求1所述的方法，其特征在于，所述人机接口包括以下至少一项：按键、麦克风和摄像头，并且所述第一信号和第二信号包括如下任一种信号或其组合：按键信号、经由麦克风接收的语音信号、经由摄像头接收的图像信号。5.根据权利要求1所述的方法，其特征在于，所述操控指令为如下任一种或多种控制指令：控制所述机器执行与所述第二信号相应的动作；控制所述机器通过扬声器输出与所述第二信号相应的语音；以及控制所述机器通过显示面板输出与所述第二信号相应的图像。6.根据权利要求1所述的方法，其特征在于，将所述第一信号与所述操控指令进行匹配包括：提取所述第一信号的特征；以及将所述特征与所述操控指令进行匹配。7.根据权利要求1所述的方法，其特征在于，所述机器为如下任一种设备：可穿戴设备、便携式设备、智能终端、智能家电设备、安防监控设备、电子玩具。8.根据权利要求1所述的方法，其特征在于，还包括：将所述人机交互模式发送到云服务器以供同步到多个设备。9.一种机器，...

【专利技术属性】
技术研发人员：杨德刚，牛建伟，都大龙，曹立新，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11