一种人机交互方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种人机交互方法、装置、电子设备及可读存储介质。该方法包括：当接收到人机交互指令时，调用电子设备所配置的摄像头采集用户的肢体动作视频；将肢体动作视频输入至预先构建的肢体动作识别模型，得到肢体动作视频中所包含的肢体动作的动作标识；查找预设的人机交互表，得到动作标识所对应的控制指令；其中，人机交互表中记录有：预设的动作标识和预设的控制指令的映射关系；执行控制指令。这样，使用户无需通过鼠标与电子设备进行人机交互，满足用户直接与电子设备进行人机交互的需求。而且，用户只需要执行简单的肢体动作即可实现人机交互，提高了用户进行人机交互的体验。

【技术实现步骤摘要】
一种人机交互方法、装置、电子设备及可读存储介质
本专利技术涉及计算机
，特别是涉及一种人机交互方法、装置、电子设备及可读存储介质。
技术介绍
目前，用户常常通过鼠标来与电子设备进行人机交互，例如，通过点击鼠标左键并移动鼠标来选中文章中的内容。但是，在很多情况下用户无法使用鼠标进行人机交互，使得无法满足用户与电子设备进行人机交互的需求。这些情况包括：手指和手臂移动不灵活的具有输入障碍的用户操作鼠标比较困难的情况，以及，鼠标故障的情况等。
技术实现思路
本专利技术实施例的目的在于提供一种人机交互方法、装置、电子设备及可读存储介质，以满足用户与电子设备进行人机交互的需求。具体技术方案如下：第一方面，本专利技术实施例提供了一种人机交互方法，应用于电子设备，该方法可以包括：当接收到人机交互指令时，调用电子设备所配置的摄像头采集用户的肢体动作视频；将肢体动作视频输入至预先构建的肢体动作识别模型，得到肢体动作视频中所包含的肢体动作的动作标识；查找预设的人机交互表，得到动作标识所对应的控制指令；本文档来自技高网...

【技术保护点】
1.一种人机交互方法，其特征在于，应用于电子设备，所述方法包括：/n当接收到人机交互指令时，调用所述电子设备所配置的摄像头采集用户的肢体动作视频；/n将所述肢体动作视频输入至预先构建的肢体动作识别模型，得到所述肢体动作视频中所包含的肢体动作的动作标识；/n查找预设的人机交互表，得到所述动作标识所对应的控制指令；其中，所述人机交互表中记录有：预设的动作标识和预设的控制指令的映射关系；/n执行所述控制指令。/n

【技术特征摘要】
1.一种人机交互方法，其特征在于，应用于电子设备，所述方法包括：
当接收到人机交互指令时，调用所述电子设备所配置的摄像头采集用户的肢体动作视频；
将所述肢体动作视频输入至预先构建的肢体动作识别模型，得到所述肢体动作视频中所包含的肢体动作的动作标识；
查找预设的人机交互表，得到所述动作标识所对应的控制指令；其中，所述人机交互表中记录有：预设的动作标识和预设的控制指令的映射关系；
执行所述控制指令。


2.根据权利要求1所述的方法，其特征在于，所述肢体动作包括：点头、抬头、摇头、眨眼、张口、闭口、握拳和倾斜身体中的一项或多项。


3.根据权利要求1所述的方法，其特征在于，所述控制指令包括：翻页指令、内容选中指令、复制指令、粘贴指令、暂停指令、播放指令和截屏指令中的一项或多项。


4.根据权利要求1所述的方法，其特征在于，在所述当接收到人机交互指令时，调用所述电子设备所配置的摄像头采集用户的肢体动作视频的步骤之前，所述方法还包括：
在快捷方式设置模式下，调用所述摄像头采集所述用户的肢体动作视频，作为目标视频；
确定所述目标视频所包含的肢体动作的动作标识，作为目标动作标识；
获得用户设置的所述目标视频对应的控制指令，作为目标控制指令；
将所述目标动作标识和所述目标控制指令关联存储至所述人机交互表。


5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述将所述肢体动作视频输入至预先构建的肢体动作识别模型，得到所述肢体动作视频中所包含的肢体动作的动作标识的步骤之前，所述方法还包括：
获得多个预设的肢体动作视频；
获得每个预设的肢体动作视频中所包含的肢体动作的动作标识；
利用预设的机器算法对训练样本进行训练，得到肢体动作识别模型；其中，一个训练样本中包括：一个预设的肢体动作视频和该肢体动作视频中所包含的肢体动作的动作标识。


6.一种人机交互装置，其特征在于，应用于电子设备，所述装置包括：
第一调用模块，用于当接收到人机交互指令时，调用所述电子设备所配置的摄像头采集用户的肢体动作视频；
输入模块，用于将所述肢体动作视频输入至预先构建的肢体动作识别模型，得到所述肢体动作视频中所包含的肢体动作的动作标识；<...

【专利技术属性】
技术研发人员：冷志峰，宁廷泽，
申请(专利权)人：珠海金山办公软件有限公司，北京金山办公软件股份有限公司，广州金山移动科技有限公司，
类型：发明
国别省市：广东;44