实现非接触式鼠标控制的人机交互方法和系统技术方案

本发明专利技术公开了一种实现非接触式鼠标控制的人机交互方法和系统，以解决现有技术中实现非接触式鼠标控制时操作难度大的技术问题。所述人机交互方法包括接收手掌的空间三维坐标和速度信息的步骤和接收手指尖的空间三维坐标和速度信息的步骤；其中，所述速度信息至少包括速度方向；还包括根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速度信息，控制光标在操作界面上的鼠标事件的步骤。本发明专利技术通过对手掌和手指尖的空间三维坐标和速度信息的分析和比较，依据判断的结果将用户的手掌和手指尖的运动关联为用户熟知的鼠标事件，简化了用户的操作，降低了操作者的控制难度。

【技术实现步骤摘要】
实现非接触式鼠标控制的人机交互方法和系统
本专利技术涉及电子
，尤其涉及一种实现非接触式鼠标控制的人机交互方 法和系统。
技术介绍
在用户与计算机的人机交互方式中，除了鼠标和键盘等传统的人机交互方式，近 年来出现了语音控制、触控控制和手势控制等新式的人机交互方式，尤其是以手势控制为 代表的非接触式人机交互方式，通过深度传感器检测人体动作，计算机再根据检测到的数 据将人体动作转换为对计算机的交互命令，使得人机交互显得更直接更自然。 运用鼠标控制计算机是最传统最直接的人机交互方式，但在一些卫生条件要求很 高的环境中，不宜用手直接操控鼠标，在需要随时调取计算机资料时，常常感到不方便，例 如医生在手术室内，厨师在烹饪过程中，实验人员在无尘、无菌工作室中等；因此需要将手 势控制与鼠标操作结合起来，进行一种非接触式的操作。 现有技术中的实现非接触式鼠标控制中，一种方法是：使用深度传感器捕获手部 的深度图，在手部的深度图中确定手指的数量和形状，并根据手指的数量和形状确定手部 的姿势，同时根据手部的位移情况确定手部的运动轨迹，将确定的手部的运动轨迹和手部 的姿势结合，对应成为不同的操作动作，例如将手指全部张开变化为伸直一根手指对应成 为选中目标的动作，将伸直一根手指变化为弯曲一根手指对应成为鼠标左键点击动作等， 这种方法的缺点在于：需要通过多帧手部深度图分析手部的姿势变化轨迹，再将手部的姿 势变化映射成为鼠标的操作动作，需要操作者记住手部姿势与鼠标动作的对应关系，增加 了操作者的控制难度。
技术实现思路
本专利技术的目的是提供一种实现非接触式鼠标控制的人机交互方法和系统，以解决 现有技术中实现非接触式鼠标控制时操作难度大的技术问题。 本专利技术的目的是通过以下技术方案实现的： 提供了一种实现非接触式鼠标控制的人机交互方法，所述方法包括以下步骤：接收手 掌的空间三维坐标和速度信息；接收手指尖的空间三维坐标和速度信息；其中，所述速度 信息至少包括速度方向；根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空 间三维坐标和速度信息，控制光标在操作界面上的鼠标事件。 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：判断所述手掌的速度 方向与所述手指尖的速度方向是否一致；若一致，则将所述手掌的空间三维坐标映射到所 述操作界面的二维坐标系中；根据映射的二维坐标更新所述光标在所述操作界面上的位 置。 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：当所述手掌的速度方 向与所述手指尖中的一个手指尖的速度方向不一致时，或当所述手指尖中的一个手指尖的 速度方向与其他手指尖的速度方向不一致时，判断所述一个手指尖是否是定义手指尖；若 是，则关联所述光标执行鼠标按键动作。 进一步的，所述关联所述光标执行鼠标按键动作，还包括：当所述定义手指尖为第 一定义手指尖时，关联所述光标执行鼠标左键动作；当所述定义手指尖为第二定义手指尖 时，关联所述光标执行鼠标右键动作；当所述定义手指尖为第三定义手指尖时，关联所述光 标执行鼠标中键动作。 进一步的，所述关联所述光标执行鼠标按键动作，具体为：当所述定义手指尖下移 时，关联所述光标执行一次鼠标键下按动作；当所述定义手指尖上移时，关联所述光标执行 一次鼠标键上抬动作。 进一步的，所述关联所述光标执行鼠标按键动作，还包括：当所述第一定义手指尖 下移后，在预设时间内没有上移，并且所述第一定义手指尖的速度方向与所述手掌的速度 方向一致时，关联所述光标执行选择拖动动作。 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：当所述手掌的速度方 向与所述手指尖中至少两个手指尖的速度方向不一致时，关联所述光标执行鼠标滚轮动 作。 还提供了一种实现非接触式鼠标控制的人机交互系统，包括操作界面和深度传感 器，所述系统还包括：接收单元，用于接收所述深度传感器检测到的手掌的空间三维坐标和 速度信息，以及手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方 向；控制单元，用于根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维 坐标和速度信息，控制光标在操作界面上的鼠标事件。 进一步的，所述控制单元具体包括：判断模块，用于判断所述接收到的手掌的速度 方向与所述手指尖的速度方向是否一致；映射模块，用于将所述手掌的空间三维坐标和所 述手指尖的空间三维坐标映射到所述操作界面的二维坐标系中；第一关联模块，用于当所 述判断模块判断所述手掌的速度方向与所述手指尖的速度方向一致时，根据所述映射的二 维坐标更新所述光标在所述操作界面上的位置。 进一步的，所述判断模块还用于当判断出所述手掌运动的速度方向与所述手指指 尖中的一个手指尖的速度方向不一致时，或当所述手指尖中的一个手指尖的速度方向与其 他手指尖的速度方向不一致时，进一步判断所述一个手指尖是否是定义手指指尖，所述定 义手指尖包括第一定义手指尖、第二定义手指尖和第三定义手指尖。 进一步的，所述系统还包括第二关联模块，所述第二关联模块还用于，当所述定义 手指尖为第一定义手指尖时，关联所述光标执行鼠标左键动作；当所述定义手指尖为第二 定义手指尖时，关联所述光标执行鼠标右键动作；当所述定义手指尖为第三定义手指尖时， 关联所述光标执行鼠标中键动作。 进一步的，所述第二关联模块还用于当所述定义手指尖下移时，关联所述光标执 行一次鼠标键下按动作；当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动 作。 进一步的，所述第二关联模块还用于当所述第一定义手指尖下移后，在预设时间 内没有上移，并且所述第一定义手指尖的速度方向与所述手掌的速度方向一致时，关联所 述光标执行选择拖动动作。 进一步的，所述第二关联模块还用于当所述判断模块判断出所述手掌的速度方向 与所述手指尖中至少两个手指尖的速度方向不一致时，关联所述光标执行鼠标滚轮动作。 本专利技术提供的技术方案的有益效果或者优点是：在本专利技术提供的实现非接触式鼠 标控制的人机交互方法和系统中，深度传感器获取手掌和手指尖等精细部位的深度信息， 这些深度信息包括手掌和五个手指尖的空间三维坐标以及至少包括速度方向的速度信息， 系统仅需根据上述信息的分析和比较来确定光标在操作界面上的鼠标事件；相比于现有技 术，本专利技术提供的技术方案不需要分析用户手部的深度图，不需要定义用户的手势模型，更 不需要将用户的手势模型与鼠标事件建立映射模型，因此用户不需记忆繁琐的手势操作， 简化了用户的操作，用户在进行非接触式鼠标操作时，仅需按照常规鼠标操作非接触式的 控制操作界面上的光标即可，降低了操作者的控制难度。 【附图说明】 图1为本申请实施例提供的实现非接触式鼠标控制的人机交互方法的流程图； 图2为本申请实施例提供的实现非接触式鼠标控制的人机交互系统的架构图； 图3为本申请实施例中实现非接触式鼠标控制的具体方法流程图； 图4为本申请实施例提供的关联光标执行鼠标滚轮动作的示意图； 图5本申请实施例中实现非接触式鼠标控制的具体方法流程图； 图6为本申请实施例提供的实现非接触式鼠标的人机交互系统的系统架构图。 【具体实施方式】 下面本文档来自技高网...

【技术保护点】
实现非接触式鼠标控制的人机交互方法，其特征在于，所述方法包括以下步骤：接收手掌的空间三维坐标和速度信息；接收手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方向；根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速度信息，控制光标在操作界面上的鼠标事件。

【技术特征摘要】
2014.08.21 CN 201410411116.41. 实现非接触式鼠标控制的人机交互方法，其特征在于，所述方法包括以下步骤： 接收手掌的空间三维坐标和速度信息； 接收手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方向； 根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速度信 息，控制光标在操作界面上的鼠标事件。2. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 判断所述手掌的速度方向与所述手指尖的速度方向是否一致； 若一致，则将所述手掌的空间三维坐标映射到所述操作界面的二维坐标系中； 根据映射的二维坐标更新所述光标在所述操作界面上的位置。3. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 当所述手掌的速度方向与所述手指尖中的一个手指尖的速度方向不一致时，或当所述 手指尖中的一个手指尖的速度方向与其他手指尖的速度方向不一致时，判断所述一个手指 尖是否是定义手指尖； 若是，则关联所述光标执行鼠标按键动作。4. 根据权利要求3所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 关联所述光标执行鼠标按键动作，还包括： 当所述定义手指尖为第一定义手指尖时，关联所述光标执行鼠标左键动作； 当所述定义手指尖为第二定义手指尖时，关联所述光标执行鼠标右键动作； 当所述定义手指尖为第三定义手指尖时，关联所述光标执行鼠标中键动作。5. 根据权利要求3-4任一项权利要求所述的实现非接触式鼠标控制的人机交互方法， 其特征在于，所述关联所述光标执行鼠标按键动作，具体为： 当所述定义手指尖下移时，关联所述光标执行一次鼠标键下按动作； 当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动作。6. 根据权利要求5所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 关联所述光标执行鼠标按键动作，还包括： 当所述第一定义手指尖下移后，在预设时间内没有上移，并且所述第一定义手指尖的 速度方向与所述手掌的速度方向一致时，关联所述光标执行选择拖动动作。7. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 当所述手掌的速度方向与所述手指尖中至少两个手指尖的速度方向不一致时， 关联所述光标执行鼠标滚轮动作。8. 实现非接触式鼠标控制的人机交...

【专利技术属性】
技术研发人员：周谆，
申请(专利权)人：周谆，
类型：发明
国别省市：山东;37