基于精细手势识别的四旋翼无人机人机交互系统技术方案

一种基于精细手势识别的四旋翼无人机人机交互系统，属于无人机控制技术领域，解决现有的精细手势识别算法准确率低以及现有的动态场景下PID控制算法鲁棒性不足的问题；本发明专利技术的技术方案采用基于空洞残差的特征融合网络对IMU传感器手套发送的数据进行手势识别，将浅层特征送入空洞残差网络中提取浅层特征与深层特征并进行特征融合，以保证提取的特征更加可靠、精细，不但包含浅层的细节信息以及深层的高语义信息，并且降低了噪声信息，提高了精细手势识别准确率；利用强化学习将串级PID控制器参数进行动态调整，提高了PID控制的鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
基于精细手势识别的四旋翼无人机人机交互系统


[0001]本专利技术属于无人机控制
，涉及一种基于精细手势识别的四旋翼无人机人机交互系统。

技术介绍

[0002]在过去十年中，无人驾驶飞行器(UAVs,Unmanned Aerial Vehicles)的使用大幅增加，从包裹递送服务、军事用途和灾难管理到摄影和娱乐，应用不胜枚举。
[0003]手势作为人机交互中一种方式，以其便利性、用户友好型等受到广泛的研究。但手势交互的隐蔽性作为商用和军用的主要应用需求，仍需要进一步的研究。IMU(Inertial Measurement Unit，惯性测量单元)传感器作为手势交互的一种媒介，相较于视觉方式，IMU传感器不受设备、光线的影响，可以用于隐蔽环境下的手势交互，但在复杂隐蔽环境下常见的手势交互方式易被发现，而实现隐蔽交互的精细手势识别准确率低。
[0004]在四旋翼无人机的设计中，四旋翼无人机控制器的设计是四旋翼无人机能够实现轨迹跟踪的重要部分，PID控制器结构简单、易于实现而且适合大多数的控制对象，因此应用非常广泛。在隐蔽环境下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于精细手势识别的四旋翼无人机人机交互系统，其特征在于，所述的四旋翼无人机系统包括：用户端和PC端；所述用户端的用户在隐蔽环境下佩戴IMU传感器手套，实时观察无人机所处环境并采取对应的精细手势控制无人机的飞行，所述的IMU传感器手套用于捕获用户的精细手势，并将其发送给环境交互模块；所述PC端包括：环境交互模块以及自适应串级PID控制模块；所述的四旋翼无人机人机交互系统的控制方法如下：所述的环境交互模块采用基于空洞残差的特征融合网络对IMU传感器手套发送的数据进行手势识别，并将识别的手势指令发送给自适应串级PID控制模块；所述的自适应串级PID控制模块根据接收到的手势指令设置需要跟踪的位置坐标，利用基于位置的串级PID控制系统进行轨迹跟踪，并使用连续动作强化学习机将串级PID控制系统参数转化为动作选择函数，以最小化损失函数为目标，动态的进行动作选择，从而进行串级PID控制系统参数的选择，以实现PID参数的整定。2.根据权利要求1所述的基于精细手势识别的四旋翼无人机人机交互系统，其特征在于，所述的环境交互模块采用基于空洞残差的特征融合网络对IMU传感器手套发送的数据进行手势识别的方法具体如下：(1)使用CNN卷积核进行信号间特征的提取，并通过一个BN层对特征进行归一化处理，获得浅层特征；(2)利用空洞卷积中的“孔”来获取跨传感器之间的融合特征，并利用残差网络来避免网络的过拟合或梯度下降，具体的公式如下所示：其中，空洞率为r来用来扩大感受野，V
dcnn
为输出特征；经过两层空洞卷积(r＝1,r＝2)，获得残差D(X)，将空洞卷积获取的残差与特征X进行跳跃连接，如下式所示：R(X)＝(X)+其中，通过线性单元函数以及BatchNorm对输入进行预激活和预归一化；(3)将浅层特征与深层特征进行拼接融合，融合后的特征F(X)如下式所示：F(X)＝Cat(D
low
(),D
high
())其中，D
low
()表示浅层特征，D
high
()表示深层特征，CAT()为特征拼接函数；(4)通过GRU神经网络学习融合特征之间的时序关系，利用门控单元进行信息的选择与丢弃，GRU神经网络学习到的特征经过全连接层以及Softmax函数，获得精细手势识别分类结果，从而完成精细手势的识别的过程。3.根据权利要求2所述的基于精细手势识别的四旋翼无人机人机交互系统，其特征在于，所述的基于位置的串级PID控制系统包括：位置串级PID控制器、姿态解算模块、姿态角串级PID控制器，强化学习参数整定模块；所述的利用基于位置的串级PID控制系统进行轨迹跟踪的方法如下：(1)位置串级PID控制器的输出包括两部分：水平位置通道以及高度通道；所述的水平位置通道包括：外环水平通道以及内环水平通道；外环水平通道的速度期望值通过比例控
制器求得，内环水平通道使用比例、积分、微分控制器求得，具体如下：V
hd
＝K
ph
e
h
其中，e
h
＝P
hd
‑
P
h
，P
hd
＝[x
d y
d
]
T
，P
h
＝[x y]
T
；K
ph
＝diag(k
px
,k
py
)，e
vh
＝[e
vx e
vy
]
T
，K
pvh
＝diag(k
pvx
,k
pvy
)；K
ivh
＝diag(k
ivx
,k
ivy
)，K
dvh
＝diag(k
dvx
,k
dvy
)；所述的高度通道的输出如下所示：v
zd
＝R
pz
e
z
其中，e
Z
＝Z
d
‑
Z
r
,e
vz
＝v
zd
‑
v
z
；得到位置串级PID控制器的12个需要整定的PID参数分别为：k
...

【专利技术属性】
技术研发人员：许璟，孟津，牛玉刚，马磊，张迪，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：