基于正视的人机交互方法与系统技术方案

本发明专利技术提供一种基于正视的人机交互方法与系统，获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据，采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较，当一致时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。整个过程中，基于图像采集设备采集的图像数据进行正视判定，并以用户与设备的正视状态判定作为人机交互前提条件，整个人机交互过程自然，另外采用包括人脸识别、语音识别、手势识别、唇语识别、瞳孔识别以及虹膜识别的多种计算机的视觉识别技术和语音识别技术识别用户下一步动作，能够实现多样式人机交互。

Human computer interaction method and system based on face up

The present invention provides a system and method of human-computer interaction based on face, and get the user equipment through the image acquisition equipment acquisition in the relative state of the face face image data, collecting user current image data, compared with the face image data will be collected when the current image data, consistent, through computer vision recognition technology and voice recognition of user behavior and intention, according to the corresponding relations between presupposition and user behavior and intention and the operation, control equipment and implementation of the user's current behavior and intention of the corresponding operation. In the whole process, image data acquisition equipment acquisition based on face to face judgment, and determine the state as a condition of human-computer interaction and user premise equipment, the whole process of natural human-computer interaction, the other uses include face recognition, speech recognition, gesture recognition, lip recognition, iris recognition and iris recognition of a variety of computer vision recognition technology and the speech recognition technology to identify the user next action, can realize the multi style human-computer interaction.

【技术实现步骤摘要】
基于正视的人机交互方法与系统
本专利技术涉及人机交互
，特别是涉及基于正视的人机交互方法与系统。
技术介绍
人机交互是指人与设备之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与设备之间的信息交换过程。随着科学技术的发展，人机交互技术的应用领域越来越宽广，小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室，用户都可以通过人机交互界面与系统交流，并进行操作。目前在人机交互技术中，主流的人机交互方式主要包括3种，第一种是传统按键方式；第二种是特定语音词激活方式，如：在对话前先说“小冰你好”，设备才识别后面所听到的语音；第三种是“举手发言”，即先用一个特定手势动作来让设备启动语音识别。上述人机交互方式，虽然在一定程度上可以实现人机交互功能，但是由于交互方式单一，需要预先设定一定特定手势动作，交互过程并不十分自然，在一定程度上给用户操作带来不便。
技术实现思路
基于此，有必要针对一般人机交互方式单一且不自然给用户带来不便操作的问题，提供一种人机交互方式多样，且交互过程自然，给用户带来便捷操作的基于正视的人机交互方法与系统。一种基于正视的人机交互方法，包括步骤：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；通过图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较；当当前采集的图像数据和正视图像数据一致时，判定用户与设备处于相对正视状态；当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。一种基于正视的人机交互系统，包括：获取模块，用于获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；比较模块，用于通过图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较；判定模块，用于当当前采集的图像数据和正视图像数据一致时，判定用户与设备处于相对正视状态；控制模块，用于当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。本专利技术基于正视的人机交互方法与系统，获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据，采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较，当一致时，判定用户与设备处于相对正视状态，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。整个过程中，基于图像采集设备采集的图像数据进行正视判定，并以用户与设备的正视状态判定作为人机交互前提条件，确保当前用户确实有人机交互需求，整个人机交互过程自然，另外采用包括人脸识别、语音识别、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、瞳孔识别以及虹膜识别的多种动作识别方式识别用户下一步动作，能够实现多样式人机交互，给用户带来便捷操作。附图说明图1为本专利技术基于正视的人机交互方法第一个实施例的流程示意图；图2为本专利技术基于正视的人机交互方法第二个实施例的流程示意图；图3为本专利技术基于正视的人机交互系统第一个实施例的结构示意图；图4为本专利技术基于正视的人机交互方法与系统具体应用场景示意图。具体实施方式如图1所示，一种基于正视的人机交互方法，包括步骤：S200：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据。设备具体来说可以为电视机、空调、电脑以及机器人等，另外设备还可以包括车载设备等。用户与设备处于相对正视状态是指用户正视设备，例如当设备为电视机时，用户正视电视机的状态即为用户与电视机处于相对正视状态。由于图像采集设备一般是无法设置于设备正中心的，所以图像采集设备采集用户与设备处于相对正视状态下图像时，从图像采集设备角度看去用户眼睛或用户人脸并不是正对图像采集设备的，一般会呈现一定的角度。为了有利于后续精准判定正视状态，先获取图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据。具体来说，用户与设备处于相对正视状态下的正视图像数据可以是历史记录中采集好的数据，也可以是当场采集的数据。图像采集设备可以是摄像头等设备，在这里，用户与设备处于相对正视状态下的正视图像数据是通过图像采集设备采集的图像采集设备可以设置于设备上，还可以设置设备的辅助设备或外围设备上，例如当设备为电视机时，图像采集设备可以设置于电视，也可以设置于与电视配套的机顶盒上。更具体来说，摄像头拍摄的用户与设备处于相对正视状态下的正视图像数据，进行图像处理和图像目标坐标换算之后即可确定设备和用户人脸相对位置，即可以获取用户与设备处于相对正视状态下用户的人脸图像数据。判定用户与设备处于相对正视状态可以选择采用头部姿态估计(headposeestimation)或者视线跟踪(gazetracking)等技术来实现。S400：通过图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较。通过步骤S200中相同的图像采集设备实时采集用户当前图像数据，并且将实时采集的图像数据与步骤S200获取的正视图像数据比较，以判断当前用户与设备是否处于相对正视状态。S600：当当前采集的图像数据和正视图像数据一致时，判定用户与设备处于相对正视状态。当步骤S200获取的正视图像数据与步骤S400实时采集的图像数据一致时，即表明当前用户与设备处于相对正视状态。S800：当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。用户与设备处于相对正视状态的前提下，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。即只有判定用户与设备处于相对正视状态的前提下，设备才会启动响应用户操作，这样，一方面避免误操作，例如可以避免电视机错误启动、错误切换电视机节目等；另一方面，由于用户与设备处于相对正视状态时，即有极大可能性用户对设备进行操作，给用户带来便利。具体来说，计算机的视觉识别技术和语音识别技术主要可以包括人脸识别、人脸检测、人脸跟踪、语音识别、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、瞳孔识别以及虹膜识别等。采用上述丰富的计算机的视觉识别技术和语音识别技术能够从人脸、语音、瞳孔、手势等方面实现人机交互，更进本文档来自技高网...

【技术保护点】
一种基于正视的人机交互方法，其特征在于，包括步骤：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；通过所述图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与所述正视图像数据比较；当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态；当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。

【技术特征摘要】
1.一种基于正视的人机交互方法，其特征在于，包括步骤：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；通过所述图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与所述正视图像数据比较；当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态；当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。2.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：对用户与设备处于相对正视状态的时间进行计时；当用户与设备处于相对正视状态的时间大于预设时间时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。3.根据权利要求2所述的基于正视的人机交互方法，其特征在于，所述当用户与设备处于相对正视状态的时间大于预设时间时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤之后还包括：查找预设与用户身份匹配的视频图像数据，控制设备显示查找到的视频图像数据。4.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：对所述用户进行语音识别和唇语识别；当语音识别结果和唇语识别结果一致时，控制设备响应所述用户的语音操作。5.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：对所述用户进行语音识别和语义理解；当语音识别结果和语义理解的结果与设备当前场景相符时，控制设备响应所述用户的语音操作。6.根据权利要求1所述的基于正视的人机交互方法，其特征在于；所述当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态的步骤之前还包括：当侦测到用户时，定位所述用户的面部位置为音源位置；将声音采集设备正对所述音源位置；所述通过计算机的视觉...

【专利技术属性】
技术研发人员：刘国华，
申请(专利权)人：刘国华，
类型：发明
国别省市：广东,44