虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备制造方法及图纸

本发明专利技术公开了一种虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备，涉及人机交互技术领域，通过光栅模块和图像处理模块，对用户手部在背景辅助模块上的各种手势及操作进行识别，实现了基于手部的操作就可以对终端进行控制，无需依赖实体鼠标，将用户由于长时间握持实体鼠标而患病的风险降到最低，避免对用户的手部造成伤害，提高了用户粘度。所述虚拟鼠标驱动装置包括：背景辅助模块、光栅模块、图像处理模块和事件处理模块；背景辅助模块包括手势识别区域；光栅模块产生红外变化值；图像处理模块生成手部运动变化值和手势识别区域；事件处理模块根据包括红外变化值和手部运动变化值的运动参数和手势识别区域，确定及触发目标事件。

Virtual Mouse Driver, Gesture Recognition Method and Equipment for Virtual Mouse

【技术实现步骤摘要】
虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备
本专利技术涉及人机交互
，特别是涉及一种虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备。
技术介绍
随着互联网技术的飞速发展，计算机日益普及，已经成为人们生活和工作中必不可缺的一部分。鼠标是人们与计算机进行“沟通和交流”的主要途径，现今的许多计算机上都会配备鼠标，用户只需按下鼠标按键或移动鼠标，即可在计算机上输入不同的指令，从而实现对计算机上的应用程序进行控制。相关技术中，鼠标上设置有多个按键，计算机的屏幕上设置有作为鼠标映射对象的光标。当鼠标移动时，计算机屏幕上的光标会与鼠标移动相同的轨迹，且当鼠标检测到按键被触发时，光标会根据按键的触发方式执行一系列诸如对象选择、对象覆盖等操作。在实现本专利技术的过程中，专利技术人发现相关技术至少存在以下问题：用户在使用鼠标时，需要长时间采用同一姿势握持鼠标，容易导致用户产生诸如腕管综合征等病症，对用户的手部造成伤害，用户粘度较低。
技术实现思路
有鉴于此，本专利技术提供了一种虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备，主要目的在于解决目前长时间采用同一姿势握持鼠标，容易导致用户产生诸如腕管综合征等病症，对用户的手部造成伤害，用户粘度较低的问题。依据本专利技术第一方面，提供了一种虚拟鼠标驱动装置，所述虚拟鼠标驱动装置包括：背景辅助模块、光栅模块、图像处理模块和事件处理模块；所述背景辅助模块规定了用户手部的放置位置，包括手势识别区域；所述光栅模块设置于所述背景辅助模块左右边缘的上方，生成多条红外线，当检测到所述多条红外线阻断或联通时，产生红外变化值，并将所述红外变化值传输至所述事件处理模块；所述图像处理模块采集所述背景辅助模块完整的多个图像数据，对所述多个图像数据进行识别，得到手部运动变化值和手势识别区域，并将所述手部运动变化值和所述手势识别区域传输至所述事件处理模块；所述事件处理模块与所述光栅模块和所述图像处理模块连接，接收所述光栅模块返回的红外变化值，并接收所述图像处理模块返回的手部运动变化值和所述手势识别区域，将所述红外变化值和所述手部运动变化值作为运动参数，根据所述运动参数和所述手势识别区域，确定及触发目标事件。在另一个实施例中，所述光栅模块包括：多个基础对射单元和单片机；所述多个基础对射单元生成所述多条红外线；所述单片机与所述事件处理模块相连，当检测到所述多条红外线中任一红外线被阻断，生成所述阻断信号作为红外变化值，当检测到所述多条红外线中被阻断的红外线联通时，生成所述联通信号作为红外变化值，并将所述红外变化值传输至所述事件处理模块。在另一个实施例中，所述多个基础对射单元中每个基础对射单元均包括红外发射单元和红外接收单元；所述红外发射单元设置于所述背景辅助模块的左边缘或右边缘的上方，所述红外发射单元的发射口与所述红外接收单元相对，向所述红外接收单元发射红外线；所述红外接收单元设置于所述背景辅助模块与所述红外发射单元相对边缘的上方，所述红外接收单元的接收口与所述红外发射单元相对，接收所述红外发射单元发射的红外线。在另一个实施例中，所述图像处理模块包括图像采集单元和图像处理单元；所述图像采集单元采集所述背景辅助模块完整的所述多个图像数据；所述图像处理单元接收所述图像采集单元返回的所述多个图像数据，采用漫水填充算法在所述多个图像数据中识别所述手势识别区域，采用光流算法对所述多个图像数据的像素值变化进行追踪，确定所述像素值的像素运动方向和像素运动分量，将所述像素运动方向和所述像素运动分量作为所述手部运动变化值，并将所述手部运动变化值和所述手势识别区域传输至所述事件处理模块。依据本专利技术第二方面，提供了一种用于虚拟鼠标的手势识别方法，所述方法包括：图像处理模块采集背景辅助模块的多个图像数据，所述背景辅助模块上存在光栅模块生成的多条红外线；当检测到所述用户手部开始运动时，所述光栅模块和所述图像处理模块对所述多个图像数据进行识别，得到运动参数和手势识别区域，并将所述运动参数和所述手势识别区域传输至事件处理模块，所述运动参数至少包括手部运动变化值或红外变化值中的一种或两种；所述事件处理模块根据所述运动参数和所述手势识别区域确定目标事件，并触发所述目标事件。在另一个实施例中，得到所述手势识别区域，包括：所述图像处理模块采集多个图像数据，对于所述多个图像数据中的每个图像数据，定义所述图像数据中背景辅助模块的至少一个角点坐标；所述图像处理模块采用漫水填充算法对所述至少一个角点坐标进行处理，获取所述至少一个角点坐标的漫水图像；所述图像处理模块根据结果阀值对所述至少一个角点坐标的漫水图像进行过滤，在所述至少一个角点坐标的漫水图像中提取目标漫水图像，所述目标漫水图像符合所述结果阀值的标准；所述图像处理模块对所述目标漫水图像进行调整，得到所述手势识别区域。在另一个实施例中，得到运动参数，包括：当检测到所述用户手部开始运动时，所述图像处理模块获取所述多个图像数据的像素值，采用光流算法对所述像素值的变化进行追踪，确定所述像素值的像素运动方向和像素运动分量，将所述像素运动方向和所述像素运动分量作为所述手部运动变化值；和/或，所述光栅模块对所述多条红外线的当前状态进行检测，确定所述多条红外线的红外当前值，并获取所述多条红外线的红外原始值，根据所述多条红外线中所述红外当前值与所述红外原始值不同的红外线，生成所述红外变化值；所述图像处理模块和/或所述光栅模块将所述手部运动变化值和/或所述红外变化值作为所述运动参数。在另一个实施例中，所述根据所述多条红外线中所述红外当前值与所述红外原始值不同的红外线，生成所述红外变化值，包括：对于所述多条红外线中的任一条红外线，所述光栅模块将所述红外线的红外当前值与红外原始值进行比对；如果所述红外当前值为阻断状态，所述红外原始值为联通状态，则生成阻断信号作为所述红外变化值；如果所述红外当前值为联通状态，所述红外原始值为阻断状态，则生成联通信号作为所述红外变化值。在另一个实施例中，所述事件处理模块根据所述运动参数和所述手势识别区域确定目标事件，并触发所述目标事件，包括：当所述手部运动变化值中的像素运动分量大于等于所述预设阀值时，所述事件处理模块确定所述目标事件为移动事件，控制所述用户手部在终端上的映射体由当前位置向所述手指运动方向指示的方向移动指定距离，所述映射体用于在所述终端上执行所述用户手部请求执行的操作，所述指定距离的取值根据所述手部运动变化值中像素运动分量生成；和/或，所述事件处理模块统计所述红外变化值的变化个数，确定所述变化个数对应的点击事件为所述目标事件，控制所述映射体在当前位置按照所述目标事件的指示执行目标操作。依据本专利技术第三方面，提供了一种设备，包括存储器和处理器，所述存储器存储有程序，所述处理器执行所述程序时实现上述第二方面所述方法的步骤。借由上述技术方案，本专利技术提供的一种虚拟鼠标驱动装置、基于光栅的手势识别方法及设备，与目前使用实体鼠标实现人机交互的方式相比，本专利技术通过光栅模块和图像处理模块，对用户手部在背景辅助模块上的各种手势及操作进行识别，实现了基于手部的操作就可以对终端进行控制，无需依赖实体鼠标，将用户由于长时间握持实体鼠标而患病的风险降到最低，避免对用户的手部造成伤害，提高了用户粘度本文档来自技高网...

【技术保护点】
1.一种虚拟鼠标驱动装置，其特征在于，所述虚拟鼠标驱动装置包括：背景辅助模块、光栅模块、图像处理模块和事件处理模块；所述背景辅助模块规定了用户手部的放置位置，包括手势识别区域；所述光栅模块设置于所述背景辅助模块左右边缘的上方，生成多条红外线，当检测到所述多条红外线阻断或联通时，产生红外变化值，并将所述红外变化值传输至所述事件处理模块；所述图像处理模块采集所述背景辅助模块完整的多个图像数据，对所述多个图像数据进行识别，得到手部运动变化值和手势识别区域，并将所述手部运动变化值和所述手势识别区域传输至所述事件处理模块；所述事件处理模块与所述光栅模块和所述图像处理模块连接，接收所述光栅模块返回的红外变化值，并接收所述图像处理模块返回的手部运动变化值和所述手势识别区域，将所述红外变化值和所述手部运动变化值作为运动参数，根据所述运动参数和所述手势识别区域，确定及触发目标事件。

【技术特征摘要】
1.一种虚拟鼠标驱动装置，其特征在于，所述虚拟鼠标驱动装置包括：背景辅助模块、光栅模块、图像处理模块和事件处理模块；所述背景辅助模块规定了用户手部的放置位置，包括手势识别区域；所述光栅模块设置于所述背景辅助模块左右边缘的上方，生成多条红外线，当检测到所述多条红外线阻断或联通时，产生红外变化值，并将所述红外变化值传输至所述事件处理模块；所述图像处理模块采集所述背景辅助模块完整的多个图像数据，对所述多个图像数据进行识别，得到手部运动变化值和手势识别区域，并将所述手部运动变化值和所述手势识别区域传输至所述事件处理模块；所述事件处理模块与所述光栅模块和所述图像处理模块连接，接收所述光栅模块返回的红外变化值，并接收所述图像处理模块返回的手部运动变化值和所述手势识别区域，将所述红外变化值和所述手部运动变化值作为运动参数，根据所述运动参数和所述手势识别区域，确定及触发目标事件。2.根据权利要求1所述的虚拟鼠标驱动装置，其特征在于，所述光栅模块包括：多个基础对射单元和单片机；所述多个基础对射单元生成所述多条红外线；所述单片机与所述事件处理模块相连，当检测到所述多条红外线中任一红外线被阻断，生成所述阻断信号作为红外变化值，当检测到所述多条红外线中被阻断的红外线联通时，生成所述联通信号作为红外变化值，并将所述红外变化值传输至所述事件处理模块。3.根据权利要求2所述的虚拟鼠标驱动装置，其特征在于，所述多个基础对射单元中每个基础对射单元均包括红外发射单元和红外接收单元；所述红外发射单元设置于所述背景辅助模块的左边缘或右边缘的上方，所述红外发射单元的发射口与所述红外接收单元相对，向所述红外接收单元发射红外线；所述红外接收单元设置于所述背景辅助模块与所述红外发射单元相对边缘的上方，所述红外接收单元的接收口与所述红外发射单元相对，接收所述红外发射单元发射的红外线。4.根据权利要求1所述的虚拟鼠标驱动装置，其特征在于，所述图像处理模块包括图像采集单元和图像处理单元；所述图像采集单元采集所述背景辅助模块完整的所述多个图像数据；所述图像处理单元接收所述图像采集单元返回的所述多个图像数据，采用漫水填充算法在所述多个图像数据中识别所述手势识别区域，采用光流算法对所述多个图像数据的像素值变化进行追踪，确定所述像素值的像素运动方向和像素运动分量，将所述像素运动方向和所述像素运动分量作为所述手部运动变化值，并将所述手部运动变化值和所述手势识别区域传输至所述事件处理模块。5.一种用于虚拟鼠标的手势识别方法，其特征在于，所述方法包括：图像处理模块采集背景辅助模块的多个图像数据，所述背景辅助模块上存在光栅模块生成的多条红外线；当检测到所述用户手部开始运动时，所述光栅模块和所述图像处理模块对所述多个图像数据进行识别，得到运动参数和手势识别区域，并将所述运动参数和所述手势识别区域传输至事件处理模块，所...

【专利技术属性】
技术研发人员：李锦华，
申请(专利权)人：李锦华，
类型：发明
国别省市：北京,11