全息投影机器人的交互方法及全息投影机器人技术

本发明专利技术公开了一种全息投影机器人的交互方法，包括：获取用户的语音信号和动作信号；根据语音信号和/或动作信号确定反馈语音和反馈动作；播放反馈语音，并使机器人的全息影像人物做出反馈动作。本方一并公开了相应的全息投影机器人。根据本发明专利技术的技术方案，全息投影机器人可以展示立体、动态的影像人物，并且可以通过语音、手势、肢体动作等与用户进行交互。当用户发出语音或动作指示时，机器人可以向用户反馈相应的语音和动作，使得本发明专利技术的机器人更加形象生动，交互体验更好。

【技术实现步骤摘要】
全息投影机器人的交互方法及全息投影机器人
本专利技术涉及机器智能
，尤其涉及一种全息投影机器人的交互方法及全息投影机器人。
技术介绍
为了更好地向用户提供服务，越来越多的机器人被应用于线下场景中。例如，商场中设置有导购机器人，用于向用户提供商品推荐、地图指引、试衣、售前售后等服务；餐饮店中设置有自助售货机器人，用于提供点餐服务；办公区域设置有讲解机器人，用于宣传公司文化以及提供讲解、问询服务；银行、法院、市政大厅等地设置有辅助机器人，用于进行排号、事务办理、疑问解答；等等。线下场景中的服务型机器人主要分为两类：一类是实体机器人，其由可移动的多个部件组成，能够模拟人体做出简单的肢体动作；另一类是影像机器人，其仅以平面影像来向用户提供服务。目前，市面上的实体机器人仅有语音及少量简单肢体动作输出，没有足够丰满的形象；而影像机器人则仅能进行图像展示，无法与用户进行语音、手势等交互。
技术实现思路
为此，本专利技术提供一种全息投影机器人的交互方法及全息投影机器人，以力图解决或至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种全息投影机器人的交互方法，包括：获取用户的语音信号和动作信号；根据所述语音信号和/或动作信号确定反馈语音和反馈动作；播放所述反馈语音，并使所述机器人的全息影像人物做出所述反馈动作。根据本专利技术的一个方面，提供一种全息投影机器人，包括：至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如上所述的全息投影机器人的交互方法的指令。根据本专利技术的一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如上所述的全息投影机器人的交互方法。根据本专利技术的一个方面，提供一种交互系统，包括：全息投影机器人和服务器；所述机器人适于获取用户的语音信号和动作信号，并将所述语音信号和动作信号发送至服务器；所述服务器适于根据所述语音信号和/或动作信号来确定反馈语音和反馈动作，并将所述反馈语音和反馈动作发送至所述机器人；所述机器人播放所述反馈语音，并使全息影像人物做出所述反馈动作。根据本专利技术的一个方面，提供一种全息投影机器人，包括：全息投影模块、动作采集模块、语音模块和控制模块，其中，所述全息投影模块包括显示屏和锥形反光体，所述锥形反光体设置于所述显示屏下方，所述锥形反光体适于对显示屏所产生的光线进行反射以在所述锥形反光体内部形成立体影像人物；所述语音模块包括语音采集单元和语音输出单元；所述显示屏、动作采集模块、语音采集单元、语音输出单元分别与所述控制模块相连；所述控制模块适于接收动作采集模块采集到的用户动作信号和语音采集单元所采集到的语音信号，根据所述动作信号和语音信号确定反馈动作和反馈语音，向语音输出单元发送语音输出指令以使所述语音输出单元播放所述反馈语音，以及向显示屏发送图像输出指令以使所述锥形反光体内的影像人物做出所述反馈动作。本专利技术的全息投影机器人可以展示立体、动态的影像人物，并且可以通过语音、手势、肢体动作等与用户进行交互。当用户发出语音或动作指示时，机器人可以向用户反馈相应的语音和动作，使得本专利技术的机器人更加形象生动，交互体验更好。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的全息投影机器人100的模块结构图；图2示出了根据本专利技术另一个实施例的全息投影机器人200的模块结构图；图3示出了根据本专利技术一个实施例的全息投影机器人300的立体结构图；图4示出了根据本专利技术另一个实施例的全息投影机器人400的立体结构图；图5示出了根据本专利技术一个实施例的全息投影机器人的交互方法500的流程图；图6A、6B示出了根据本专利技术两个实施例的人体关节点的示意图；图7示出了根据本专利技术一个实施例的LeapMotion手势传感器的感应区域的示意图；图8示出了根据本专利技术一个实施例的手部关节点的示意图；图9示出了根据本专利技术一个实施例的全息投影机器人的控制模块的示意图；图10示出了根据本专利技术一个实施例的交互系统1000的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的全息投影机器人100的模块结构图。如图1所示，全息投影机器人100包括全息投影模块110、动作采集模块120、语音模块130和控制模块140。如图1所示，全息投影模块110包括显示屏112和锥形反光体114。显示屏112可以是任意尺寸、任意型号的可以进行图像显示的装置。例如，显示屏112可以是CRT(CathodeRayTube)显示屏、LCD(LiquidCrystalDisplay)显示屏、OLED(OrganicLight-EmittingDiode)显示屏等，但不限于此。在一些实施例中，显示屏112也可以实现为投影幕布。锥形反光体114设置于显示屏112的下方，其采用透明材料制成。显示屏112进行图像显示，锥形反光体114适于对显示屏112中所显示的图像的光线进行反射，反射后的光线在锥形反光体114的内部形成立体影像116。需要说明的是，锥形反光体114用于对显示屏112所产生的光线进行反射，但是，本专利技术对锥形反光体114的侧面的数量不做限制，例如，锥形反光体114可以是三角锥形、四角锥形、六角锥形等，但不限于此。一般地，全息投影机器人100的整体外观呈现为一个长方体，相应地，锥形反光体114通常被设置为四角锥形。在本专利技术的实施例中，为了使影像116更加生动形象从而增强用户的交互体验，锥形反光体114内部的立体影像116通常为影像人物。需要说明的是，此处的“人物”指的是具有人体形态的人或物，例如，影像人物116可以是真实人形象、卡通人形象、拟人化的动物形象等，但不限于此。在图1所示的实施例中，影像人物116为一个拟人化的小蜜蜂。动作采集模块120用于采集用户的动作信号。用户的动作信号通常以图像的形式被采集，此处的“图像”包括单帧图像、多帧图像组成的视频、红外热力图等，但不限于此。根据一种实施例，动作采集模块本文档来自技高网...

【技术保护点】
1.一种全息投影机器人的交互方法，包括：/n获取用户的语音信号和动作信号；/n根据所述语音信号和/或动作信号确定反馈语音和反馈动作；/n播放所述反馈语音，并使所述机器人的全息影像人物做出所述反馈动作。/n

【技术特征摘要】
1.一种全息投影机器人的交互方法，包括：
获取用户的语音信号和动作信号；
根据所述语音信号和/或动作信号确定反馈语音和反馈动作；
播放所述反馈语音，并使所述机器人的全息影像人物做出所述反馈动作。


2.如权利要求1所述的方法，其中，所述反馈语音和反馈动作按照以下方法确定：
根据所述动作信号确定用户动作所对应的动作类型；
根据预置的动作类型与反馈语音和反馈动作的关联关系，确定所述用户动作所对应的反馈语音和反馈动作。


3.如权利要求2所述的方法，其中，所述动作类型按照以下方法确定：
从所述动作信号中提取出用户动作特征；
根据所述动作特征，确定用户动作与预置的多种动作类型的匹配度；
根据所述匹配度确定用户动作所对应的动作类型。


4.如权利要求3所述的方法，其中，所述动作特征包括人体关节点信息。


5.如权利要求4所述的方法，其中，所述机器人包括体感识别模块，所述人体关节点信息采用所述体感识别模块来确定。


6.如权利要求1所述的方法，其中，所述动作信号包括动作视频。


7.如权利要求1所述的方法，其中，所述反馈语音和反馈动作按照以下方法确定：
将所述语音信号转化为文本信息；
确定所述文本信息所对应的目标问题；
根据预置的输入问题与反馈语音和反馈动作的对应关系，确定所述目标问题所对应的反馈语音和反馈动作。


8.如权利要求1所述的方法，其中，采用麦克风阵列来获取用户的语音信号，所述麦克风阵列包括多个麦克风；
根据所述麦克风所采集到的语音信号来确定声源方向；
定向拾取源自于所述声源方向的语音信号。


9.如权利要求1所述的方法，还包括：
当采集到人脸图像或采集到指定语音信号时，唤醒所述机器人。


10.如权利要求1所述的方法，还包括：
当用户离开所述机器人的动作采集区域后，所述机器人进入待机状态。


11.一种全息投影机器人，包括：
至少一个处理器；和
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-10中任一项所述方法的指令。


12.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-10中任一项所述的方法。


13.一种交互系统，包括：全息投影机器人和服务...

【专利技术属性】
技术研发人员：李胜，孙辉，张泽旋，王思杰，吴淑明，徐辉，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY