一种基于手势识别的无人机航迹指引方法技术

本发明专利技术公开了一种基于手势识别的无人机航迹指引方法，通过使用协同神经网络(Synergetic Neural Network，SNN)的方法构建神经网络，通过采集大量的无人机操作指引的手势图像作为样本，对神经网络进行训练，最终使得神经网络能够识别无人机地面站摄像头采集到的手势图像，并通过本发明专利技术所构建的系统对应出相应的操作指令，对无人机飞行器的飞行动作做出相对应的指示，实现无人机手势指引飞行。

Route guidance method for UAV Based on gesture recognition

The invention discloses a UAV route guidance method based on gesture recognition, through the use of synergetic neural network (Synergetic Neural Network SNN) neural network construction method, through the acquisition of UAV operational guidelines of the gesture image as a sample to train the neural network, the neural network can identify the UAV Ground Station gesture image collected by the camera system, and through the constructed corresponding to the corresponding operation instructions, make corresponding instructions on the UAV flight movements, unmanned flight guidance sign machine.

【技术实现步骤摘要】

本专利技术属于通信
，更为具体地讲，涉及一种基于手势识别的无人机航迹指引方法。
技术介绍
目前，传统的无人机飞行器都是采用遥控器或地面站的方式来指引无人机飞行的。但是无论是操作无人机飞行器的遥控器还是地面站均需要相当熟练操作水平，否则极易造成无人机的损坏，甚至对操作者的人身安全产生一定的影响。然而培养一名有经验的飞手需要一定的周期以及不菲的代价。无人机最早在20世纪20年代出现，最初在军事上作为训练时的靶机使用，随着科学技术的发展进步，无人机飞行器在社会生产生活中得到了广泛的应用，无人机飞行器的产品种类也越来越丰富。但是，目前传统的无人机飞行器都是采用遥控器和地面站共同作用的方式来指引无人机飞行的。无人机飞行器的遥控器和地面站却均设置了较多的按钮和拨杆，且其结构功能复杂，在实际操作中经常需要多个按钮同时配合使用，才能满足所期望的飞行要求，这对操作者的操作水平有较高的要求。同时由于遥控器采用的是拨杆和按钮的设计，在飞行操作的过程中只能凭借人的肉眼观察调整飞行状态，使得飞行精度难以保证。本专利技术针对上述问题，提出了采用手势识别技术的方法，通过手势信息指引无人机的操作，使得无人机飞行器在操作上更为便捷精确。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于手势识别的无人机航迹指引方法，通过在无人机地面站系统中添加手势指引，使无人机操作者能入门轻松、操作简单。为实现上述专利技术目的，本专利技术为一种基于手势识别的无人机航迹指引方法，其特征在于，包括以下步骤：(1)、图像采集利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；(2)、图像预处理无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；(3)、构建图像识别的动力学方程按照协同理论，利用行向量q作为待识别模式构建图像识别的动力学方程： q · = Σ k λ k v k ( v k + q ) - B Σ k = k ′ ( v k ′ + q ) 2 ( v k + q ) v k - C ( q + q ) q + F ( t ) ]]>其中，λk为注意参数，只有当它为正时，模式才能被识别；vk为原型模式，且vk满足零均值和归一化的条件；为vk的正交伴随向量；F(t)为涨落力；q+表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；(4)、引入序参量ξk，将动力学过程转化成原型向量空间序参量ξk表示行向量q在最小二乘意义下于vk上的投影，即：进而把动力学过程转化成原型向量空间： ξ k = λ k ξ k - Σ k ′ ≠ k B kk ′ ξ k ′ 2 ξ k - C ( Σ k ′ ξ k ′ 2 ) ξ k ]]>(5)、利用协同神经网络模型来识别操作者的手势将手势图像转换为灰度图像后作为训练样本，以训练样本中提取的序参量ξk作为协同神经网络的输入，根据先验知识确定训练样本中的操作手势，如果手掌展开且向上，则设置协同神经网络的输出为“000”；如果手掌展开且向下，则设置协同神经网络的输出为“001”；如果拇指指向上，则设置协同神经网络的输出为“010”；如果拇指指向下，则设置协同神经网络的输出为“011”；如果拇指指向左，则设置协同神经网络的输出为“100”；如果拇指指向右，则设置协同神经网络的输出为“101”；最后通过调整内部的权值和阈值，训练协同神经网络；(6)、识别待监测手势图像中操作者手势将待监测的手势图像经过上述步骤(1)到步骤(4)处理后提取出序参量ξk，再将序参量ξk输入到经过训练后的协同神经网络，根据协同神经网络的输出结果识别出操作者的手势；(7)、根据操作者的手势发送对应的操作指令如果协同神经网络的输出为“000”，则无人机地面站系统发送降落指令，控制无人机飞行器执行起操作；如果协同神经网络的输出为“001”，则无人机地面站系统发送起飞指令，控制无人机飞行器执行降落操作；如果协同神经网络的输出为“010”，则无人机地面站系统发送向上飞行指令，控制无人机飞行器执行向上飞行操作；如果协同神经网络的输出为“011”，则无人机地面站系统发送向下飞行指令，控制无人机飞行器执行向下飞行操作；如果协同神经网络的输出为“100”，则无人机地面站系统发送向左飞行指令，控制无人机飞行器执行向左飞行操作；如果协同神经网络的输出为“101”，则无人机地面站系统发送向右飞行指令，控制无人机飞行器执行向右飞行操作。本专利技术的专利技术目的是这样实现的：本专利技术一种基于手势识别的无人机航迹指引方法，通过使用协同神经网络(Synergetic Neural Network，SNN)的方法构建神经网络，通过采集大量的无人机操作指引的手势图像作为样本，对神经网络进行本文档来自技高网...

【技术保护点】
一种基于手势识别的无人机航迹指引方法，其特征在于，包括以下步骤：(1)、图像采集利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；(2)、图像预处理无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；(3)、构建图像识别的动力学方程按照协同理论，利用行向量q作为待识别模式构图像识别的动力学方程：q·=Σkλkvk(vk+q)-BΣk=k′(vk′+q)2(vk+q)vk-C(q+q)q+F(t)]]>其中，λk为注意参数，只有当它为正时，模式才能被识别；vk为原型模式，且vk满足零均值和归一化的条件；为vk的正交伴随向量；F(t)为涨落力；q+表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；(4)、引入序参量ξk，将动力学过程转化成原型向量空间序参量ξk表示行向量q在最小二乘意义下于vk上的投影，即：进而把动力学过程转化成原型向量空间：ξk=λkξk-Σk≠kBkk′ξk′2ξk-C(Σk′ξk′2)ξk]]>(5)、利用协同神经网络模型来识别操作者的手势将手势图像转换为灰度图像后作为训练样本，以训练样本中提取的序参量ξk作为协同神经网络的输入，根据先验知识确定训练样本中的操作手势，如果手掌展开且向上，则设置协同同神经网络的输出为“000”；如果手掌展开且向下，则设置协同神经网络的输出为“001”；如果拇指指向上，则设置协同神经网络的输出为“010”；如果拇指指向下，则设置协同神经网络的输出为“011”；如果拇指指向左，则设置协同神经网络的输出为“100”；如果拇指指向右，则设置协同神经网络的输出为“101”；最后通过调整内部的权值和阈值，训练协同神经网络；(6)、识别待监测手势图像中操作者手势将待监测的手势图像经过上述步骤(1)到步骤(4)处理后提取出序参量ξk，再将序参量ξk输入到经过训练后的协同神经网络，根据协同神经网络的输出结果识别出操作者的手势；(7)、根据操作者的手势发送对应的操作指令如果协同神经网络的输出为“000”，则无人机地面站系统发送起飞指令，控制无人机飞行器执行起飞操作；如果协同神经网络的输出为“001”，则无人机地面站系统发送降落指令，控制无人机飞行器执行降落操作；如果协同神经网络的输出为“010”，则无人机地面站系统发送向上飞行指令，控制无人机飞行器执行向上飞行操作；如果协同神经网络的输出为“011”，则无人机地面站系统发送向下飞行指令，控制无人机飞行器执行向下飞行操作；如果协同神经网络的输出为“100”，则无人机地面站系统发送向左飞行指令，控制无人机飞行器执行向左飞行操作；如果协同神经网络的输出为“101”，则无人机地面站系统发送向右飞行指令，控制无人机飞行器执行向右飞行操作。...

【技术特征摘要】
1.一种基于手势识别的无人机航迹指引方法，其特征在于，包括以下步骤：(1)、图像采集利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；(2)、图像预处理无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；(3)、构建图像识别的动力学方程按照协同理论，利用行向量q作为待识别模式构图像识别的动力学方程： q · = Σ k λ k v k ( v k + q ) - B Σ k = k ′ ( v k ′ + q ) 2 ( v k + q ) v k - C ( q + q ) q + F ( t ) ]]>其中，λk为注意参数，只有当它为正时，模式才能被识别；vk为原型模式，且vk满足零均值和归一化的条件；为vk的正交伴随向量；F(t)为涨落力；q+表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；(4)、引入序参量ξk，将动力学过程转化成原型向量空间序参量ξk表示行向量q在最小二乘意义下于vk上的投影，即：进而把动力学过程转化成原型向量空间： ξ k = λ k ξ k - Σ k ≠ k ...

【专利技术属性】
技术研发人员：孟继成，沈宗辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51