一种基于双目视觉的摄像投影交互系统及方法技术方案

本发明专利技术公开了一种基于双目视觉的摄像投影交互系统及方法，USB摄像头采集包含脚部的垫子图像作为待检测图像，对图像进行畸变矫正及立体校正，得到校正后的图像，对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图像，在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标，利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特征提取及目标识别，脚尖动作识别，所述脚尖动作包括抬起与放下，将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。

An interactive system and method of camera projection based on binocular vision

The invention discloses a camera projection interaction system and method based on binocular vision, USB camera image acquisition includes mat feet as detecting image, image distortion correction and calibration, get the corrected image, the corrected image segmentation of moving target foreground, moving target image obtained after the shadow removal in the two, the segmented binary image, to toe point positioning, coordinate point of the toes, toes point coordinates to step around a rectangle, then toe template feature extraction and target recognition, toe action recognition, the toe action includes the rise and fall, the toe position mapping to PC after identifying, call the mouse API, the realization of the corresponding function.

【技术实现步骤摘要】
一种基于双目视觉的摄像投影交互系统及方法
本专利技术涉及图像处理领域，具体涉及一种基于双目视觉的摄像投影交互系统及方法。
技术介绍
随着图像处理技术、计算机视觉算法等的日益成熟，基于不同应用场景的投影交互系统研究与应用正当蓬勃发展。2010年，张正友、高睿等人设计一套基于投影仪摄像并应用于移动电子设备的人机交互系统，实现了对3D交互投影面的自由切换。该系统主要是利用目标物对平行光的反射信息，并结合高速摄像机记录场景中目标物的深度数据，以实现目标的检测，其精确度可达1～2cm。该系统使用的高速摄像机对场景的物体进行采样，它的造价高昂且精确度无法达到毫米级，因此该方案的性价比较低，不利于产品化。2012年，意大利的HirokiGoto等人提出利用手部肤色分别在HSV和YCbCr空间下的颜色聚类特性进行前景手势和复杂背景的分离。同时，他使用了帧差法消除背景，并对交互手势运动的频率进行学习，辅助去除复杂背景的干扰。最后，在上述的基础上结合模板匹配法识别指尖，实现用户与投影场景之间的互动效果。然而，该系统所识别的对象为用户手部在投影光线下的阴影区域。而阴影区域对比度的强弱，直接影响了图像算法对本文档来自技高网...

【技术保护点】
一种基于双目视觉的摄像投影交互系统，其特征在于，包括投影仪、两个USB摄像头，PC机及一块垫子，所述投影仪与PC机连接，将PC机的屏幕图像投影在垫子上，所述垫子在USB摄像头的视场内，所述两个USB摄像头并排设置在相机架上，所述PC机分别与两个USB摄像头连接，所述两个USB摄像头添加红外滤光片。

【技术特征摘要】
1.一种基于双目视觉的摄像投影交互系统，其特征在于，包括投影仪、两个USB摄像头，PC机及一块垫子，所述投影仪与PC机连接，将PC机的屏幕图像投影在垫子上，所述垫子在USB摄像头的视场内，所述两个USB摄像头并排设置在相机架上，所述PC机分别与两个USB摄像头连接，所述两个USB摄像头添加红外滤光片。2.根据权利要求1所述的摄像投影交互系统，其特征在于，所述红外滤光片为直径11mm且厚度为1mm的850nm红外滤光片。3.根据权利要求1-2任一项所述的一种基于双目视觉的摄像投影交互系统的方法，其特征在于，包括如下步骤：S1USB摄像头采集包含脚部的垫子图像作为待检测图像；S2对图像进行畸变矫正及立体校正，得到校正后的图像；S3对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图像；S4在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标；S5利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特征提取及目标识别；S6脚尖动作识别，所述脚尖动作包括抬起与放下；S7将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。4.根据权利要求3所述的方法，其特征在于，所述S3对校正后的图像进行运动目标前景分割，具体为：S3.1基于Vibe算法分割运动目标；S3.2去除运动目标的阴影，具体为：S3.2.1基于色度的方法从Vibe检测到的前景像素中选取可能得到的阴影像素，记阴影像素集合为：SPC＝{p1,p2,…,pn}；其中，SP(x,y)＝1的像素被认为是阴影像素，分别表示像素p在H,S,V3个空间中的值，表示背景像素在H,S,V3个空间中的值，α,β,τs,τH表示根据实际设定的阈值，SPC表示阴影像素集合，SP表示阴影像素；n为基于色度的方法取出图像中所有可能的阴影像素；S3.2.2基于区域连通原理，将SPC分为不同的连通区域块，记为连通区域块集合CB＝{cb1,cb2,…cbn}；S3.2.3计算每一个连通区域块cbn内像素的梯度和梯度方向，由满足的像素构成新的集合，τm是根据实际设定的阈值cbsi∈[1,n]＝{p1,p2,…,pm}；1其中，θp分别表示像素p的梯度和梯度方向；S3.2.4计算cbsi中的每个像素p(x,y)在当前帧F与背景图像B中的梯度之差：计算cbsi在当前图像与背景图...

【专利技术属性】
技术研发人员：谢巍，何伶珍，张浪文，周忠太，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44