System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于超声三维手势定位的人机交互方法及系统技术方案_技高网

一种基于超声三维手势定位的人机交互方法及系统技术方案

技术编号:41209642 阅读:2 留言:0更新日期:2024-05-09 23:31
本发明专利技术涉及一种基于超声三维手势定位的人机交互方法及系统,其中方法包括:基于IFFT/FFT的超声信号生成和发射;基于频率脉冲响应加权平均计算加权平均距离、极坐标序列,定义速度近似指标,估计超声三维手势定位;生成二维手势移动轨迹;利用定位的三维极坐标及速度近似指标生成手部的移动轨迹,并将移动轨迹在屏幕中显示,从而达到类似操控鼠标的人机交互功能,实现基于三维手势移动轨迹的人机交互,能够实现包括移动速度、移动距离、位置在内的对于设备的精细控制,准确性高,稳定性好;本发明专利技术可在通用喇叭和麦克风阵列上实现,具有计算复杂度低,消耗内存小的特点,能方便应用到现有智能设备上。

【技术实现步骤摘要】

本专利技术涉及,尤其是一种基于超声三维手势定位的人机交互方法及系统


技术介绍

1、随着可穿戴设备、智能家居、智能车载的快速发展,人们对非接触式的人机交互提出了越来越多的需求。基于超声手势识别的人机交互系统能够获得手势的三维空间信息,且操作简单方便。同时可使用设备自带的喇叭和麦克风阵列,无需增加额为的硬件成本,引起了研究者的关注。

2、现有的超声手势识别系统一般是基于深度学习的手势分类模型。基于深度学习的手势分类模型中,首先需要定义多个手势种类,例如”左划”,”右划”,”上划”,”下划”等,然后将每个类别的超声训练数据提取特征后送入神经网络进行分类训练。这类系统通常只能完成基本的手势方向检测,用户无法通过控制手部移动速度、移动距离、位置对设备进行更加精细的控制。例如在”上划”过程中通过移动速度控制页面滚动的速度,或者将屏幕中的光标移动到某一指定的位置等。

3、另外,基于手势分类模型的超声手势识别系统,在部分手势中还存在较高的动作误判,例如在连续进行”左划”动作时,人手划过去后再收回进行第二次左划的过程中,手收回这个动作容易被系统误判为“右划”。


技术实现思路

1、为解决上述技术问题,本申请提供一种结构合理的基于超声三维手势定位的人机交互方法及系统,从而达到类似操控鼠标的人机交互功能,能够实现包括移动速度、移动距离、位置在内的对于设备的精细控制,准确性高。稳定性好。

2、本专利技术所采用的技术方案如下:

3、一种基于超声三维手势定位的人机交互方法,包括如下步骤:

4、生成超声信号,取复数超声信号实部作为实数信号,重复发送实数信号;

5、由麦克风阵列采集信号,进行超声信号解调,利用解调信号计算频率响应,得到静态脉冲响应信号;由静态脉冲响应信号减去背景脉冲响应信号,得到动态脉冲响应信号;

6、由动态脉冲响应信号经加权平均进行距离和角度计算,获得加权平均距离和极坐标序列,由静态脉冲响应信号获得速度近似指标;

7、由极坐标序列获得二维移动轨迹,由加权平均距离和速度近似指标对二维移动轨迹进行过滤,过滤后的二维移动轨迹为最终的手势平面移动轨迹,将手势平面移动轨迹和速度近似指标送入智能设备,完成手势定位的人机交互。

8、作为上述技术方案的进一步改进:

9、所述生成超声信号的方式为:

10、从随机序列理论生成长度为m的自相关序列zc(n),将序列zc(n)的左右两端进行补零,得到长度为l的序列tf(n),序列tf(n)计算公式如下:

11、

12、其中,f1、f2、fs分别表示超声信号的起始频率、终止频率和采样率,向量tf为超声信号的频域表示,频谱分布范围为(f1,f2)。

13、对向量tf进行ifft操作,将信号从频域转换为时域,完成超声信号的调制,获得复数超声信号,取实部得到实数信号s;所述实数信号的发射周期为t=l/fs。

14、麦克风阵列采集信号,将信号同步得到信号o(k,n),对各通道以周期t进行分帧,每帧包含l个采样点,得到信号o(k,n,i),其中k表示通道下标,n表示帧内采样点下标,i表示帧下标;

15、对信号o(k,n,i)下标号n所在的维度,即第二维度,进行fft操作,转换到频域;将下标号n∈[a,b]范围内的数据取出,完成超声信号解调,得到解调信号p(k,n,i)。

16、利用解调信号p(k,n,i)与原始调制信号zc(n)计算每一帧的频率响应,得到频率响应信号h(k,n,i):

17、

18、其中σ为自定义常量;

19、对频率响应信号h(k,n,i)的第二维度进行ifft操作,得到静态脉冲响应信号h(k,n,i);静态脉冲响应信号h(k,n,i)的下标n与时间延迟对应,第二维度下每间隔一个点对应的时间延迟为t/n,n为ifft的窗长,时间延迟乘以声速c再除以2就是反射物体与麦克风之间的距离。

20、对距离5cm到40cm范围内的动态脉冲响应信号h′(k,n,i),进行加权平均获得手势的加权平均距离r(i):

21、

22、其中δd=ct/n,表示最小距离单位,c表示声速,u表示距离5cm对应的下标,v表示距离40cm对应的下标;

23、对距离正负5cm范围内的动态脉冲响应信号h′(k,n,i),进行加权平均获得极坐标(θ,ψ):

24、

25、

26、

27、其中,φ1(i)、φ2(i)分别表示水平方向和垂直方向阵列信号在r(i)正负5cm距离内的加权平均相位差,e、f表示r(i)正负5cm对应的下标,d表示麦克风阵列中麦克风之间的间距,λ表示超声的波长,angle()表示相位计算操作,*表示取共轭操作;θ,ψ分别表示极坐标中的方位角和俯仰角。

28、对距离正负5cm范围内的静态脉冲响应信号h(k,n,i),定义表征手势移动速度的速度近似指标vs,

29、w(k,n,i)=h(k,n,i)h*(k,n,i-1)

30、

31、其中,w(k,n,i)为中间变量,angle(w(k,n,i))表示当前帧与上一帧信号在通道、距离维度上的相位差。

32、使用极坐标序列(θ(i),ψ(i))乘以系数ρ,作为手势的二维移动轨迹坐标(x(i),y(i));使用距离r(i)和速度近似指标vs(i),对(x(i),y(i))进行过滤,剔除距离大于距离阈值dthresh,速度小于速度阈值vthresh的轨迹。

33、一种基于超声三维手势定位的人机交互系统,包括:

34、超声信号生成模块,用于生成超声数字信号;

35、喇叭,用于重复发出超声数字信号;

36、麦克风阵列,用于采集手势超声信号;

37、脉冲响应估计模块,用于对信号进行分帧、解调,计算得到静态脉冲响应信号;

38、三维极坐标及速度估计模块,用于计算动态脉冲响应信号、加权平均距离、极坐标序列、速度近似指标;

39、轨迹生成模块,用于根据极坐标序列生成手势的原始平面移动轨迹,利用加权平均距离和速度近似指标对平面移动轨迹进行过滤,得到最终的手势平面移动轨迹。

40、与现有技术相比,本专利技术具有以下有益效果:

41、本专利技术利用定位的三维极坐标及速度近似指标生成手部的移动轨迹,并将移动轨迹在屏幕中显示,从而达到类似操控鼠标的人机交互功能,实现基于三维手势移动轨迹的人机交互;用户通过控制手势能够实现包括移动速度、移动距离、位置在内的对于设备的精细控制,准确性高,稳定性好;

42、本专利技术还包括如下优点:

43、本专利技术使用位置信息和速度信息对手势移动轨迹进行过滤,从而有效避免了连续”上划”、”下划”等操作中可能存在的动作误判;

44、本专利技术可在通用喇叭和麦克风本文档来自技高网...

【技术保护点】

1.一种基于超声三维手势定位的人机交互方法,其特征在于:包括如下步骤:生成超声信号,取复数超声信号实部作为实数信号,重复发送实数信号;

2.如权利要求1所述的一种基于超声三维手势定位的人机交互方法,其特征在于:所述生成超声信号的方式为:

3.如权利要求2所述的一种基于超声三维手势定位的人机交互方法,其特征在于:对向量tf进行IFFT操作,将信号从频域转换为时域,完成超声信号的调制,获得复数超声信号,取实部得到实数信号s;所述实数信号的发射周期为T=L/fs。

4.如权利要求2所述的一种基于超声三维手势定位的人机交互方法,其特征在于:麦克风阵列采集信号,将信号同步得到信号o(k,n),对各通道以周期T进行分帧,每帧包含L个采样点,得到信号o(k,n,i),其中k表示通道下标,n表示帧内采样点下标,i表示帧下标;

5.如权利要求4所述的一种基于超声三维手势定位的人机交互方法,其特征在于:利用解调信号p(k,n,i)与原始调制信号zc(n)计算每一帧的频率响应,得到频率响应信号H(k,n,i):

6.如权利要求1所述的一种基于超声三维手势定位的人机交互方法,其特征在于:对距离5cm到40cm范围内的动态脉冲响应信号h′(k,n,i),进行加权平均获得手势的加权平均距离r(i):

7.如权利要求6所述的一种基于超声三维手势定位的人机交互方法,其特征在于:对距离正负5cm范围内的静态脉冲响应信号j(k,n,i),定义表征手势移动速度的速度近似指标vs,

8.如权利要求7所述的一种基于超声三维手势定位的人机交互方法,其特征在于:使用极坐标序列(θ(i),ψ(i))乘以系数ρ,作为手势的二维移动轨迹坐标(x(i),y(i));使用距离r(i)和速度近似指标vs(i),对(x(i),y(i))进行过滤,剔除距离大于距离阈值dthresh,速度小于速度阈值vthresh的轨迹。

9.一种基于超声三维手势定位的人机交互系统,其特征在于:包括:

...

【技术特征摘要】

1.一种基于超声三维手势定位的人机交互方法,其特征在于:包括如下步骤:生成超声信号,取复数超声信号实部作为实数信号,重复发送实数信号;

2.如权利要求1所述的一种基于超声三维手势定位的人机交互方法,其特征在于:所述生成超声信号的方式为:

3.如权利要求2所述的一种基于超声三维手势定位的人机交互方法,其特征在于:对向量tf进行ifft操作,将信号从频域转换为时域,完成超声信号的调制,获得复数超声信号,取实部得到实数信号s;所述实数信号的发射周期为t=l/fs。

4.如权利要求2所述的一种基于超声三维手势定位的人机交互方法,其特征在于:麦克风阵列采集信号,将信号同步得到信号o(k,n),对各通道以周期t进行分帧,每帧包含l个采样点,得到信号o(k,n,i),其中k表示通道下标,n表示帧内采样点下标,i表示帧下标;

5.如权利要求4所述的一种基于超声三维手势定位的人机交互方法,其特征在于:利用解调信号p(k,n,i)与原...

【专利技术属性】
技术研发人员:唐浩元黄正林李霄王欢良王佳珺
申请(专利权)人:苏州奇梦者科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1