智能终端与用户交互的方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种智能终端与用户交互的方法、装置、设备及存储介质。该方法包括：采用全息影像技术展示虚拟三维视觉形象；采集用户语音信息和/或用户图像信息；根据用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别；根据识别结果控制虚拟三维视觉形象进行相应的回应。由于在智能终端的上方能够显示虚拟三维视觉形象，通过该虚拟三维视觉形象与用户进行交互并进行回应，能够使智能终端与用户交互更加真实，提高交互的真实性，进而提高用户体验。

Methods, devices, devices and storage media for the interaction between intelligent terminals and users

【技术实现步骤摘要】
智能终端与用户交互的方法、装置、设备及存储介质
本申请实施例涉及人工智能
，尤其涉及一种智能终端与用户交互的方法、装置、设备及存储介质。
技术介绍
随着人工智能技术的发展，人们对智能终端的要求越来越高，智能终端能够更智能化的为人们服务已成为人工智能技术的重要目标。智能终端能够更智能化的为人们服务很重要的一点体现在与用户的交互上。现有的智能终端与用户进行交互的过程中，主要是在智能终端上安装显示屏或麦克风，通过显示屏或麦克风与用户进行交互，如在智能音响上方安装一个显示屏，通过在显示屏上显示信息与用户进行交互。所以现有的智能终端与用户交互过程中，智能终端并没有一个更加形象的三维事物的显示，导致智能终端与用户进行交流和互动过程并不是很真实，从而导致交互性较差，用户体验较差。
技术实现思路
本申请实施例提供一种智能终端与用户交互的方法、装置、设备及存储介质，解决了现有的智能终端与用户交互过程中，智能终端并没有一个更加形象的虚拟三维事物的显示，导致智能终端与用户进行交流和互动过程并不是很真实，从而导致交互性较差，用本文档来自技高网...

【技术保护点】
1.一种智能终端与用户交互的方法，其特征在于，包括：/n采用全息影像技术展示虚拟三维视觉形象；/n采集用户语音信息和/或用户图像信息；/n根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别；/n根据识别结果控制所述虚拟三维视觉形象进行相应的回应。/n

【技术特征摘要】
1.一种智能终端与用户交互的方法，其特征在于，包括：
采用全息影像技术展示虚拟三维视觉形象；
采集用户语音信息和/或用户图像信息；
根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别；
根据识别结果控制所述虚拟三维视觉形象进行相应的回应。


2.根据权利要求1所述的方法，其特征在于，在所述根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别之前，还包括：
根据所述用户语音信息和/或用户图像信息确定所述用户当前位置；
根据所述用户当前位置调整所述虚拟三维视觉形象的方位，将所述虚拟三维视觉形象正对所述用户。


3.根据权利要求2所述的方法，其特征在于，多个麦克风和/或摄像头沿周向方向均匀设置在所述智能终端上；
所述根据所述用户语音信息和/或用户图像信息确定用户当前位置，包括：
根据每个麦克风采集的用户语音信息中的音量信息和/或每个摄像头拍摄的图像信息中含有的用户图像信息确定用户当前位置。


4.根据权利要求2所述的方法，其特征在于，所述根据所述用户当前位置调整所述虚拟三维视觉形象的方位，将所述虚拟三维视觉形象正对所述用户，包括：
计算所述用户当前位置与所述虚拟三维视觉形象正面所处当前位置的相对位置；
根据所述相对位置调整所述虚拟三维视觉形象的方位，将所述虚拟三维视觉形象正对所述用户。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别，包括：
将所述用户语音信息和/或用户图像信息输入到优化后的深度学习模型中；
采用所述优化后的深度学习模型对用户语义和/或用户表情及肢体动作进行识别，并输出所述识别结果。


6.根据权利要求5所述的方法，其特征在于，所述根据识别结果控制所述虚拟三维视觉形象进行相应的回应，包括：
根据所述识别结果获取与所述识别结果对应的回答和/或操作；
控制所述虚拟三维视觉形象进行与所述识别结果对应的回答和/或操作。


7.一种智能终端与用户交互的装置，其特征在于，包括：
三维形象展示模块，用于采用全息影像技术展示虚拟三维视觉形象；
信息采集模块，用于采集用户语音信...

【专利技术属性】
技术研发人员：陈思利，林源，张永杰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11