基于视觉的人-无人机交互用人体姿态指令识别方法技术

本发明专利技术属于人机交互领域，公开了基于视觉的人‑无人机交互用人体姿态指令识别方法。本方法包括图像采集、人体姿态估计、特征提取、姿态分类和指令查询五个步骤。通过神经网络处理摄像头获取的视频流，获取图像中人体的关节点坐标；计算关节点间的距离作为姿态的特征向量；对特征向量进行分类，识别出对应的类别；根据人体姿态识别的结果，查询该人体姿态所对应的指令，完成对无人机的控制；若为目标跟踪指令，则捕获当前帧人体所在区域，并在之后的视频流中将该区域截取出来作为输入数据。本发明专利技术实现了一种更加自然的人‑无人机交互方式，具有实时性、鲁棒性和较高精度的特点，可以实时地运行在无人机等低功耗嵌入式平台。

Recognition method of human posture command for human UAV interaction based on vision

【技术实现步骤摘要】
基于视觉的人-无人机交互用人体姿态指令识别方法
本专利技术属于人机交互领域，更具体的涉及机器视觉和目标跟踪的相关技术，尤其是神经网络、支撑向量机等技术在嵌入式低功耗平台上的使用。
技术介绍
人机交互是一个充满活力、具有巨大应用前景的高新
，有许多有待解决与突破的问题。随计算机技术的发展和人类生活方式的改变，人机交互方式也在发生着改变。当前的人机交互的媒介已不仅仅局限于用户界面、鼠标、键盘等，而是越来越多地使用人体本身的固有特征，比如人体姿态、手势等，来使得人机交互更加自然。人体姿态识别已广泛应用于人机交互、医疗辅助、汽车工业和公共安全等领域。目前，人体姿态识别是一个非常活跃的研究课题。人类希望机器能够理解人类的需求，准确地解释人类命令，并与人类合作。为了满足这些要求，除了正确解释语音命令外，机器还应准确理解人类手势、姿势和动作等非语言指令。尤其是外界的背景噪声可能显著地影响语音命令传输的有效性，对于人类和微型无人机之间的直接通信，非语言指令可能更为重要。然而，使用人体姿势对微型无人机平台进行控制面临着巨大的挑战，主要表现在两个方面本文档来自技高网...

【技术保护点】
1.基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，包括以下步骤：/n第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；/n第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；/n第三步：对上...

【技术特征摘要】
1.基于视觉的人-无人机交互用人体姿态指令识别方法，其特征在于，包括以下步骤：
第一步：使用无人机搭载的相机采集视频流，并且将其作为初始输入数据；
第二步：首先，通过神经网络处理步骤一传入的图像数据，获取图像中人体关节点坐标；其次，使用卷积神经网络提取图片中所有的可能关节点集合，包括并不限于人体左耳、右耳、左眼、右眼、鼻尖、锁骨中央、左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝、右脚踝等，再根据关节点相关关系拼接为完整的单独的人，完成姿态估计；最后，将每一个人体的关节点在图中的坐标按照固定顺序组织形成数据集合，数据组织的顺序可自行定义，但需要固定；
第三步：对上一步形成的数据集合进行异常检测，针对数据集合中没有人体姿态信息或者目标操控者的关节点不完整的情况，做出异常反馈并且舍弃当前数据返回步骤一重新开始执行；
第四步：将步骤二中的姿态估计结果进行进一步处理，通过去除冗余数据，对数据进行归一化的操作形成对应姿态的特征向量，具体操作如下：
(1)计算关节点两两之间的距离，构造特征向量，其中，关节点之间的距离表征方式包括但不限于欧氏距离、曼哈顿距离、余弦距离等；
(2)去除特征向量中冗余数据，降低特征向量的维度，其中，在第(1)步的计算中，关节点之间的距离会重复计算，通过去除重复的数据降低特征向量的维度；
(3)对特征向量进行归一化计算，通过线性计算将特征向量的数值进行归一化，归一化之后的数值范围按照实际情况确定；
第五步：使用有...

【专利技术属性】
技术研发人员：杨绍武，杨文婧，蔡成林，黄达，徐利洋，吴慧超，郭晖晖，陈伯韬，杨懿，胡古月，闫培丰，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43