一种面向投影增强的基于机器视觉的手势交互方法技术

本发明专利技术公开了一种面向投影增强的基于机器视觉的手势交互方法，包括以下步骤：步骤1，对投影仪和相机进行联合标定；步骤2，打开相机采集无手势图像；步骤3，将无手势图像转化为背景图像并进行预处理；步骤4，采用帧差法对当前图像的背景信息进行消除，获得手势图像，然后利用Canny算子对手势信息进行边缘轮廓检测，从而获取手势轮廓；步骤5，对获取的手势轮廓进行遍历，获得指尖点坐标；步骤6，对指尖点坐标进行位置和时间判断，然后将判断结果传输至计算机；步骤7，分析判断结果，计算机执行相应的操作。本发明专利技术在装配现场时，装配工人只需要简单手势就可以实现交互，不需要配戴设备，真正实现了自然交互，提高了系统的实用性。

A projection enhancement oriented gesture interaction method based on machine vision

【技术实现步骤摘要】
一种面向投影增强的基于机器视觉的手势交互方法
本专利技术属于人机交互
，具体涉及一种面向投影增强的基于机器视觉的手势交互方法。
技术介绍
随着信息技术的快速发展，人与各种计算机系统的交互活动已经变得不可避免，因此人机交互技术受到了越来越多的重视。像VR这种新技术新设备如雨后春笋般出现，同时，与这些设备进行高效的、人性化的操作也成为技术难点和重要的研究方向。相比于鼠标、键盘和触摸屏，手势具有灵活、直观和非接触性等特点；手势识别不仅在VR中扮演重要角色，在AR、无人机控制、智能家居和手语识别等众多领域都有广泛应用，而且发挥着越来越重要的作用。在航空宇航制造领域，由于飞机等重大装备在装配方面存在零部件多和手工装配多，容易造成错装漏装等问题，这些问题极大的影响日后乘客的安全。而基于增强现实的智能装配引导系统可以很好的解决上述问题，在实际装配中，投影增强现实系统更加适应装配现场，但是却存在交互不自然的问题。在投影增强现实系统中，传统的交互方式是键盘鼠标交互，通过敲击键盘和点击鼠标实现交互，并将装配引导信息进行显示，然而在装配现场无法安装计算本文档来自技高网...

【技术保护点】
1.一种面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤如下：/n步骤1：投影仪与相机进行联合标定，先利用实体的非对称圆标定板对相机进行标定，接着利用非实体的棋盘格标定板对投影仪进行标定，使非实体的棋盘格标定物与实体的非对称圆标定物在同一块标定板上，并通过相机同时捕获非对称圆标定板和棋盘格标定板，从而使投影仪与相机在同一个坐标系；/n步骤2：打开相机并手动调节相机的光圈大小和曝光时间，接着设置相机帧率和图像尺寸，然后进行无手势图像的采集；/n步骤3：将采集到的无手势图像转换为背景图像，并通过预处理对背景图像中的噪点和无关的信息进行消除，恢复背景图像中有用的真实信息；/n步骤4：利用相机...

【技术特征摘要】
1.一种面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤如下：
步骤1：投影仪与相机进行联合标定，先利用实体的非对称圆标定板对相机进行标定，接着利用非实体的棋盘格标定板对投影仪进行标定，使非实体的棋盘格标定物与实体的非对称圆标定物在同一块标定板上，并通过相机同时捕获非对称圆标定板和棋盘格标定板，从而使投影仪与相机在同一个坐标系；
步骤2：打开相机并手动调节相机的光圈大小和曝光时间，接着设置相机帧率和图像尺寸，然后进行无手势图像的采集；
步骤3：将采集到的无手势图像转换为背景图像，并通过预处理对背景图像中的噪点和无关的信息进行消除，恢复背景图像中有用的真实信息；
步骤4：利用相机采集虚拟场景中的当前图像，将当前图像与背景图像通过帧差法进行做差，消除当前图像中的背景信息且得到其绝对值，从而获取当前图像中的手势信息，然后通过现有的Canny算子对手势信息进行边缘轮廓检测，从而获取手势轮廓；
步骤5：对获取的手势轮廓通过OpenCV进行遍历像素点，然后对像素点的坐标进行判断，获取最高点，从而提取出手势轮廓中的指尖点坐标；
步骤6：通过矩阵转换并以世界坐标系为中转，将虚拟场景中的交互区域坐标和交互按钮坐标与指尖点坐标进行位置和时间判断，当指尖点的位置长时间位于某一个交互按钮上，即激活交互操作，然后将判断结果传输至计算机；
步骤7：分析判断结果，然后根据预先定义的交互操作的交互类型，计算机执行相应的操作。


2.根据权利要求1所述的面向投影增强的基...

【专利技术属性】
技术研发人员：徐光耀，李亮，白晓亮，常壮，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：江苏;32