人机交互方法、装置、存储介质、程序产品及机器人制造方法及图纸

本申请涉及一种人机交互方法、装置、机器人、存储介质和计算机程序产品，其中，方法包括：定位桌面区域；将预设物品选择界面投射至所述桌面区域；基于平面拟合技术识别用户在所述桌面区域的点击位置；对所述点击位置进行位置换算，确定已选择物品。整个过程中，采用投射的方式将预设物品选择界面展示给到用户，以供用户选择，并且基于平面拟合技术确定已选择物品，无需依赖固定的人机交互设备，可以灵活适用于不同的应用场景，给用户带来便捷。给用户带来便捷。给用户带来便捷。

【技术实现步骤摘要】
人机交互方法、装置、存储介质、程序产品及机器人


[0001]本申请涉及智能交互
，特别是涉及一种人机交互方法、装置、存储介质、计算机程序产品以及机器人。

技术介绍

[0002]随着科学技术的发展，出现了智能交互技术，在智能交互技术应用场景中用户(人)可以与机器进行交互、互动，通过这些交互用户可以控制机器执行所需操作。
[0003]传统技术中，这类交互与互动的方式多数是基于显示屏或语音控制的交互，例如显示屏上显示用户可选菜单，用户点击显示屏进行点餐，或者是用户通过语音控制的方式控制设备调大、调小声音或切换歌曲等。
[0004]上述这些交互方式虽然可以实现人机交互，并且可以给用户带来一定程度上的便捷，但是在实际应用中用户的需求是多样的，上述这种需要依赖固定设备的人机交互方式方法无法适用于不同的应用场景。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够灵活适用于不同应用场景的人机交互方法、装置、存储介质、计算机程序产品以及机器人。
[0006]第一方面，本申请提供了一种人机交互方法。所述方法包括：
[0007]定位桌面区域；
[0008]将预设物品选择界面投射至所述桌面区域；
[0009]基于平面拟合技术识别在所述桌面区域的点击位置；
[0010]对所述点击位置进行位置换算，确定已选择物品。
[0011]在其中一个实施例中，所述定位桌面区域包括：
[0012]采集环境图像数据；
[0013]根据所述环境图像数据，识别设置于桌面的预设标识；
[0014]根据所述预设标识，定位桌面区域。
[0015]在其中一个实施例中，所述基于平面拟合技术识别在所述桌面区域的点击位置包括：
[0016]对所述桌面区域进行三维扫描，建立桌面三维点云；
[0017]对所述桌面三维点云进行平面拟合，提取差异三维点云；
[0018]识别所述差异三维点云中与预设点击点云特征匹配的点云数据，得到目标点云数据；
[0019]根据所述目标点云数据，识别在所述桌面区域的点击位置。
[0020]在其中一个实施例中，所述识别所述差异三维点云中与预设点击点云特征匹配的点云数据，得到目标点云数据包括：
[0021]获取点击姿势对应的预设点击点云；
[0022]将所述差异三维点云与所述点击姿势对应的预设点击点云进行特征匹配，得到目标点云数据。
[0023]在其中一个实施例中，所述物品为菜品，所述桌面区域设置有用餐区域；
[0024]所述对所述点击位置进行位置换算，确定已选择物品之后，还包括：
[0025]获取用餐区域尺寸，并定位投影光源与用餐区域之间的相对位姿关系；
[0026]根据所述用餐区域尺寸以及预设投射画面尺寸转换比例，确定所需投射画面尺寸；
[0027]根据所述所需投射画面尺寸以及所述相对位姿关系，将已选择菜品的画面投射至所述用餐区域内。
[0028]在其中一个实施例中，所述对所述点击位置进行位置换算，确定已选择物品之后，还包括：
[0029]获取已选择物品的配送路径与路径宽度；
[0030]将所述配送路径与路径宽度投射至地面；
[0031]当行进中侦测到障碍物时，采取图像分类算法识别障碍物类型；
[0032]根据所述障碍物类型，推送避障提醒消息。
[0033]第二方面，本申请还提供了一种人机交互装置。所述装置包括：
[0034]定位模块，用于定位桌面区域；
[0035]第一投射模块，用于将预设物品选择界面投射至所述桌面区域；
[0036]拟合模块，用于基于平面拟合技术识别在所述桌面区域的点击位置；
[0037]位置换算模块，用于对所述点击位置进行位置换算，确定已选择物品。
[0038]第三方面，本申请还提供了一种机器人，包括机器人本体和处理器，处理器设置于机器人本体，处理器加载有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0039]定位桌面区域；
[0040]将预设物品选择界面投射至所述桌面区域；
[0041]基于平面拟合技术识别在所述桌面区域的点击位置；
[0042]对所述点击位置进行位置换算，确定已选择物品。
[0043]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0044]定位桌面区域；
[0045]将预设物品选择界面投射至所述桌面区域；
[0046]基于平面拟合技术识别在所述桌面区域的点击位置；
[0047]对所述点击位置进行位置换算，确定已选择物品。
[0048]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0049]定位桌面区域；
[0050]将预设物品选择界面投射至所述桌面区域；
[0051]基于平面拟合技术识别在所述桌面区域的点击位置；
[0052]对所述点击位置进行位置换算，确定已选择物品。
[0053]上述人机交互方法、装置、机器人、存储介质和计算机程序产品，在实际应用中，首
先定位桌面区域；将预设物品选择界面投射至所述桌面区域；基于平面拟合技术识别在所述桌面区域的点击位置；再对所述点击位置进行位置换算，最终确定已选择物品。整个过程中，采用投射的方式将预设物品选择界面展示给用户，以供用户选择，并且基于平面拟合技术确定已选择物品，无需依赖固定的人机交互设备，可以灵活适用于不同的应用场景，给用户带来便捷。
附图说明
[0054]图1为一个实施例中人机交互方法的应用环境图；
[0055]图2为一个实施例中人机交互方法的流程示意图；
[0056]图3为另一个实施例中人机交互方法的流程示意图；
[0057]图4为一个实施例中S300的子流程示意图；
[0058]图5为一个实施例中人机交互装置的结构框图；
[0059]图6为一个实施例中计算机设备的内部结构图。
具体实施方式
[0060]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0061]本申请实施例提供的人机交互方法，可以应用于如图1所示的应用环境中。具体应用于智能点餐场景中，智能点餐交互系统执行本申请人机交互方法，整个智能点餐交互系统具备照相和投影功能，其具体可以由相机、投影组件以及控制软件，相机可以选择rgbd相机。智能点餐交互系统可以设置于机器人前面的顶部，向下45度投射，相机组件和投影组件的视场角接近。在实际应用时，智能点餐交互系统采集环境图像，基于采集到的环境图像定位桌面(餐桌)区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法包括：定位桌面区域；将预设物品选择界面投射至所述桌面区域；基于平面拟合技术识别在所述桌面区域的点击位置；对所述点击位置进行位置换算，确定已选择物品。2.根据权利要求1所述的方法，其特征在于，所述定位桌面区域包括：采集环境图像数据；根据所述环境图像数据，识别设置于桌面的预设标识；根据所述预设标识，定位桌面区域。3.根据权利要求1所述的方法，其特征在于，所述基于平面拟合技术，识别在所述桌面区域的点击位置包括：对所述桌面区域进行三维扫描，建立桌面三维点云；对所述桌面三维点云进行平面拟合，提取差异三维点云；识别所述差异三维点云中与预设点击点云特征匹配的点云数据，得到目标点云数据；根据所述目标点云数据，识别在所述桌面区域的点击位置。4.根据权利要求3所述的方法，其特征在于，所述识别所述差异三维点云中与预设点击点云特征匹配的点云数据，得到目标点云数据包括：获取点击姿势对应的预设点击点云；将所述差异三维点云与所述点击姿势对应的预设点击点云进行特征匹配，得到目标点云数据。5.根据权利要求1所述的方法，其特征在于，物品为菜品，所述桌面区域设置有用餐区域；所述对所述点击位置进行位置换算，确定已选择物品之后，还包括：获取用餐区域尺寸，并定位投影光源与用餐区域之间的相对位姿关系；根据所述用餐区域...

【专利技术属性】
技术研发人员：郭阳，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：