人机交互方法及系统、介质和计算机系统技术方案

本公开提供了一种人机交互方法，包括：在人机交互过程中，获取用户的图像信息和语音信息；根据所述图像信息，确定当前的语境；在当前的语境下，感知所述用户通过所述语音信息实际想要表达的语义；以及基于所感知的语义，对所述用户进行应答。本公开还公开了一种人机交互系统、一种计算机系统和一种计算机可读存储介质。

【技术实现步骤摘要】
人机交互方法及系统、介质和计算机系统
本公开涉及计算机
，更具体地，涉及一种人机交互方法、人机交互系统、一种计算机系统和一种计算机可读存储介质。
技术介绍
随着人机对话技术的不断发展，目前越来越多的智能设备(如智能音箱，智能手机等)都可以实现人机对话了。然而，在实现本公开构思的过程中，专利技术人发现现有的智能设备在人机交互，尤其是人机对话时，只能“听”到人的声音，无法“看”到人的样子，因而语义理解能力不强。
技术实现思路
有鉴于此，本公开提供了一种使智能设备在人机交互时既能“听”到人的声音，又能“看”到人的样子的人机交互方法和人机交互系统。本公开的一个方面提供了一种人机交互方法，包括：在人机交互过程中，获取用户的图像信息和语音信息；根据上述图像信息，确定当前的语境；在当前的语境下，感知上述用户通过上述语音信息实际想要表达的语义；以及基于所感知的语义，对上述用户进行应答。根据本公开的实施例，上述根据上述图像信息，确定当前的语境，包括：根据上述图像信息，对上述用户进行人脸识别，以确定上述用户当前的表本文档来自技高网...

【技术保护点】
1.一种人机交互方法，包括：/n在人机交互过程中，获取用户的图像信息和语音信息；/n根据所述图像信息，确定当前的语境；/n在当前的语境下，感知所述用户通过所述语音信息实际想要表达的语义；以及/n基于所感知的语义，对所述用户进行应答。/n

【技术特征摘要】
1.一种人机交互方法，包括：
在人机交互过程中，获取用户的图像信息和语音信息；
根据所述图像信息，确定当前的语境；
在当前的语境下，感知所述用户通过所述语音信息实际想要表达的语义；以及
基于所感知的语义，对所述用户进行应答。


2.根据权利要求1所述的方法，其中，所述根据所述图像信息，确定当前的语境，包括：
根据所述图像信息，对所述用户进行人脸识别，以确定所述用户当前的表情，和/或对所述用户进行肢体动作识别，以确定所述用户当前的状态；以及
基于所述用户当前的表情和/或当前的状态，确定当前的语境。


3.根据权利要求1所述的方法，其中，所述在当前的语境下，感知所述用户通过所述语音信息实际想要表达的语义，包括：
确定所述语音信息能够表达的至少一种语义；
判断所述至少一种语义中是否存在与当前的语境匹配的一种或者多种语义；
如果存在，则执行以下操作中的一种：
将所述与当前的语境匹配的一种或者多种语义中的至少一种语义作为所述用户通过所述语音信息实际想要表达的语义；
将所述与当前的语境匹配的一种或者多种语义中的任意一种语义作为所述用户通过所述语音信息实际想要表达的语义；
将所述与当前的语境匹配的一种或者多种语义全部作为所述用户通过所述语音信息实际想要表达的语义。


4.根据权利要求1所述的方法，其中，所述方法还包括在人机交互过程中：
判断能否获取到所述用户的图像信息；以及
如果不能获取到所述用户的图像信息，则提醒所述用户调整位姿。


5.根据权利要求1所述的方法，其中，所述方法还包括在人机交互过程中：
判断是否有遮挡物部分地或者全部地遮挡住所述用户；以及
如果有遮挡物部分地或者全部地遮挡住所述用户，则调整图像采集装置，使之能够避开遮挡物的遮挡而采集所述用户的图像信息。


6.一种人机交互系统，包括：
获取模块，用于在人机交互过程中，获取用户的图像信息和语音信息；
确定模块，用于根据所述图像信息，确定当前的语境；
感知模块，用于在当前的语境下，感知所述用户通过所述语音信息实际想要表达的语义；以及
应答模块，...

【专利技术属性】
技术研发人员：苏晓文，
申请(专利权)人：北京京东尚科信息技术有限公司，科大讯飞股份有限公司，
类型：发明
国别省市：北京;11