一种手势互动方法及手势互动装置制造方法及图纸

本申请公开了一种手势互动方法及手势互动装置，该方法包括：获取当前场景图像；对当前场景图像进行手部区域检测；对从检测到的手部区域提取的子图像进行特征点检测；利用检测到的特征点生成待匹配二值遮罩图像；将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；根据相匹配的参考二值遮罩图像确定手部区域所对应的手势。通过上述方式，本申请能够实时检测出手势，响应速度快。

A gesture interaction method and device

【技术实现步骤摘要】
一种手势互动方法及手势互动装置
本申请涉及机器人
，具体涉及一种手势互动方法及手势互动装置。
技术介绍
目前教育机器人发展趋势持续上升，且市场潜力较大，其对孩子们的健康成长起着积极的引导启蒙作用；在教学角色与影响上，教育机器人可扮演教师、同学以及工具三种角色，通过程序设定和设计改造，可以使得机器人实现既定的教学目标或教学功能。目前教育机器人的手势交互方法主要有两种，第一种方法：基于深度图分割手部区域，估计手关节的运动，从而识别手势，该方法需要特定的相机来获取深度图，比如双目相机、结构光相机或ToF(TimeofFlight，飞行时间)相机，这些相机的成本较高，会提高教育机器人的成本；第二种方法：基于深度学习，通过采集各种手势的数据训练手部检测深度模型，深度模型一般要求较高的计算力，由于需要特定的计算芯片支持，也会提高教育机器人的成本；而且现有的手势互动系统关注如何提高单人或多人手势识别的准确度及鲁棒性，在互动方面比较单一，在识别出手势的情况下，机器人执行相应的指令，在教育实践上，没有系统地设计出一种机制，使得机器人扮演好教学角色。本文档来自技高网...

【技术保护点】
1.一种手势互动方法，其特征在于，所述方法包括：/n获取当前场景图像；/n对所述当前场景图像进行手部区域检测；/n对从检测到的手部区域提取的子图像进行特征点检测；/n利用检测到的特征点生成待匹配二值遮罩图像；/n将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；/n根据相匹配的所述参考二值遮罩图像确定所述手部区域所对应的手势。/n

【技术特征摘要】
1.一种手势互动方法，其特征在于，所述方法包括：
获取当前场景图像；
对所述当前场景图像进行手部区域检测；
对从检测到的手部区域提取的子图像进行特征点检测；
利用检测到的特征点生成待匹配二值遮罩图像；
将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；
根据相匹配的所述参考二值遮罩图像确定所述手部区域所对应的手势。


2.根据权利要求1所述的手势互动方法，其特征在于，所述对所述当前场景图像进行手部区域检测的步骤，包括：
利用基于局部损失函数的单步多框检测模型对所述当前场景图像进行手部区域检测。


3.根据权利要求1所述的手势互动方法，其特征在于，所述对从检测到的手部区域提取的子图像进行特征点检测的步骤，包括：
利用基于FHOG的特征点检测回归模型对所述子图像进行特征点检测。


4.根据权利要求1所述的手势互动方法，其特征在于，所述利用检测到的特征点生成待匹配二值遮罩图像的步骤，包括：
按照预设的顺序对所述特征点进行连线，以形成一闭合区域；
将所述闭合区域内的像素设置成第一像素值，并将所述闭合区域外的像素设置成第二像素值。


5.根据权利要求1所述的手势互动方法，其特征在于，所述将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配的步骤，包括：
计算所述待匹配二值遮罩图像的胡矩与所述多个参考二值遮罩图像的胡矩之间的差异；
选择所述差异小于预设阈值或所述差异最小的所述参考二值遮罩图像作为所述相匹配的所述参考二值遮罩图...

【专利技术属性】
技术研发人员：罗志平，程骏，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44