一种基于光流的双手空间交互方法与设备技术

本发明专利技术属于鼠标控制技术领域，公开了一种基于光流的双手空间交互方法与设备，方法包括以下步骤：两个带按键的光流跟踪器

【技术实现步骤摘要】
一种基于光流的双手空间交互方法与设备


[0001]本专利技术属于鼠标控制
，尤其涉及一种基于光流的双手空间交互方法与设备
。

技术介绍

[0002]随着科学技术的发展以及人们生活水平的不断提高，计算机的应用范围越来越广，已经成为普通家庭或者企业的必备之物之一，大屏幕中三维目标空间交互成为很多企业展示成果的一种方式，大屏幕交互控制对鼠标不方便操作，而当用户想要操控计算机时，需要回到计算机桌旁，非常不方便，因此需要寻求解决方案
。
常见的模拟鼠标方法包括采用游戏手柄的方式
、
识别特定的手势姿势
、
手指定位等方式，这些方式主要是缺乏在屏幕中精准控制，而且易受环境光的影响
。

技术实现思路

[0003]有鉴于此，本专利技术结合高精度光流的位移特性，公布了一种基于光流的双手空间交互方法与设备，左右手各拿一个带按键的光流跟踪器
(Optical Flow Tracker
，简称
OFT)
，
OFT
能够持续跟踪手部在空间的移动，判断
OFT
上的按键是否按下，然后通过
2.4GHz
无线通信线路，向中央计算器
(Central Computing Unit
，简称
CCU)
发送
OFT
计算出的空间移动距离与按键状态，
CCU
接收到两个
OFT
输出的左右手的运动距离和按键状态后，按照事先定义的规则，计算出双手交互动作
。
[0004]本专利技术第一方面公开的基于光流的双手空间交互方法，包括以下步骤：
[0005]两个带按键的光流跟踪器
OFT
上电，进行初始化，光流自检
、
复位，设置鼠标参数与光流对应参数；
[0006]左右手各拿一个光流跟踪器
OFT
，
OFT
用于持续跟踪手部在空间的移动；
[0007]判断
OFT
上的按键是否按下，计算出的空间移动距离与按键状态；
[0008]向中央计算器
CCU
发送空间移动距离与按键状态；
[0009]CCU
接收到两个
OFT
输出的左右手的运动距离和按键状态后，计算出双手交互动作
。
[0010]进一步地，
OFT
的工作步骤如下：
[0011]自检：检测
OFT
中光流是否工作正常
、OFT
按键状态，向
CCU
发送请求响应信息；
[0012]封装报文：把
OFT
中光流移动位置和按键信息封装为报文，左右手采用不同的
2.4GHz
工作频段发送给
CCU
；
[0013]休眠：设定时间段
T
，当在时间
T
内未发生光流移动，则进入休眠状态不通过
2.4GHz
无线通信发送数据，否则发送数据
。
[0014]进一步地，当在模拟移动鼠标的同时，检测在时间范围
T
内移动光流的位置，如果移动光流的位置小于阈值
T
v
则
OFT
进行休眠状态，不往外发送数据，当大于
T
v
时则发送数据，具体为：
[0015][0016]其中
D
Send
为
OFT
向
CCU
发送数据状态标志，当
D
Send
为1时，则发送数据，否则不发送数据，
T
OFT
为
OFT
中的光流在时间范围
T
内移动的位置
。
[0017]进一步地，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式形成对应关系，包括：
[0018](u,v)
为屏幕坐标，
(x,y)
为光流坐标；
[0019]光流移动过程中：记录当前大屏幕上光标的位置为
(u,v)
，下一步预计的光标的位置为
(u',v')
，差值为
Δ
u
＝
u'
‑
u
，
Δ
v
＝
v'
‑
v
，光流只获取像素点累计时间内的累加平均位移，两个方向分别为
Δ
x
和
Δ
y
，其中
Δ
x
＝
k*
Δ
u
，
Δ
y
＝
k*
Δ
v
，
k
为灵敏度系数；
[0020]光标初始化定位中：记录屏幕的分辨率为
w
和
h
，同时按下左右光流的按键，光标移动到
u
＝
w/2
和
v
＝
h/2
处
。
[0021]进一步地，
OFT
中光流移动与按键状态映射到空间中三维目标运动状态的关系如下：
[0022]右
OFT
上下左右移动，对应于目标上下左右移动；同时按下左右
OFT
的按键，光流向外移动为放大，对应于目标区域放大；同时按下左右
OFT
的按键，光流向里移动为缩小，对应于目标区域缩小；右
OFT
按键按下，同时向下或向上移动，对应于目标俯仰；右
OFT
按键按下，同时向右下或左下移动，对应于目标滚转；右
OFT
按键按下，同时向右上或左上移动，对应于目标偏航
。
[0023]本专利技术第二方面公开地基于光流的双手空间交互设备，包括两个
OFT、
一台
CCU
以及
PC
端软件，其中，
[0024]两个
OFT
，每只手佩戴一个，左手佩戴的
OFT
为左
OFT
，右手佩戴的
OFT
为右
OFT
；
OFT
佩戴于食指上，每个
OFT
有一个按钮，安装在大拇指和食指之间，大拇指朝食指方向移动，按下按键；
[0025]所述
CCU
与
PC
机相连，
CCU
负责收
OFT
计算出的空间移动距离与按键状态，并封装为
USB
鼠标数据格式，发送给
PC
端软件；
[0026]所述
PC
端软件接收
...

【技术保护点】

【技术特征摘要】
1.
一种基于光流的双手空间交互方法，其特征在于，包括以下步骤：两个带按键的光流跟踪器
OFT
上电，进行初始化，光流自检
、
复位，设置鼠标参数与光流对应参数；左右手各拿一个光流跟踪器
OFT
，
OFT
用于持续跟踪手部在空间的移动；判断
OFT
上的按键是否按下，计算出的空间移动距离与按键状态；向中央计算器
CCU
发送空间移动距离与按键状态；
CCU
接收到两个
OFT
输出的左右手的运动距离和按键状态后，计算出双手交互动作
。2.
根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，
OFT
的工作步骤如下：自检：检测
OFT
中光流是否工作正常
、OFT
按键状态，向
CCU
发送请求响应信息；封装报文：把
OFT
中光流移动位置和按键信息封装为报文，左右手采用不同的
2.4GHz
工作频段发送给
CCU
；休眠：设定时间段
T
，当在时间
T
内未发生光流移动，则进入休眠状态不通过
2.4GHz
无线通信发送数据，否则发送数据
。3.
根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，当在模拟移动鼠标的同时，检测在时间范围
T
内移动光流的位置，如果移动光流的位置小于阈值
T
v
则
OFT
进行休眠状态，不往外发送数据，当大于
T
v
时则发送数据，具体为：其中
D
Send
为
OFT
向
CCU
发送数据状态标志，当
D
Send
为1时，则发送数据，否则不发送数据，
T
OFT
为
OFT
中的光流在时间范围
T
内移动的位置
。4.
根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式形成对应关系，包括：
(u,v)
为屏幕坐标，
(x,y)
为光流坐标；光流移动过程中：记录当前大屏幕上光标的位置为
(u,v)
，下一步预计的光标的位置为
(u',v')
，差值为
Δ
u
＝
u'
‑
u
，
Δ
...

【专利技术属性】
技术研发人员：张茂军，刘煜，徐玮，肖华欣，彭杨，陈琛，曾向荣，钟志伟，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：