基于Kinect的PPT演示辅助系统技术方案

为了克服现有的PPT演示辅助工具的不足，本发明专利技术提供一种基于Kinect的PPT演示辅助系统及方法。用户无需使用传统的鼠标、光笔即可进行演讲，扩大了使用者的活动范围，同时提供了一种更好的人机交互方式。一种基于Kinect的PPT演示辅助系统，系统主要模块分为数据采集模块、手势识别模块、位置计算模块和PPT功能控制模块。数据采集模块，包括Kinect，安放于云台上并通过电机控制云台旋转角度，利用Kinect采集深度信息和骨骼信息，深度信息用于计算用户(演讲者)的位置，骨骼信息用于手势识别。手势识别模块根据采集数据识别出用户(演讲者)手势，进而能够执行用户所需要的操作。位置计算模块，根据采集数据识别出用户(演讲者)手势头部位置操控云台转动，实现实时跟踪。

【技术实现步骤摘要】

本专利技术涉及Kinect体感摄像头应用开发领域，具体地说是基于Kinect的PPT演示辅助系统及方法。
技术介绍
随着科技日新月异的发展，越来越多的老师会使用PPT来辅助进行教学活动，越来越多的企业会用PPT演示的形式来发布他们的产品或者是总结他们近期各方面的状况。PPT这一软件无论在教学领域还是在商业领域都有十分广泛的应用。但目前使用PPT教学的老师，往往需要使用鼠标控制，这样就把演讲者的活动范围局限在了电脑的旁边。虽然光笔或者无线鼠标得到了推广，但与此同时PPT原有的强大的注释笔功能也随之淡出了人们的视线。光笔虽然能用激光点来提示听众演讲的重点，但是无法在屏幕上留下注释痕迹。
技术实现思路
为了克服现有的PPT演示辅助工具的不足，本专利技术提供一种基于Kinect的PPT演示辅助系统及方法。用户无需使用传统的鼠标、光笔即可进行演讲，扩大了使用者的活动范围，同时提供了一种更好的人机交互方式。本专利技术需要保护的系统技术方案概括为：一种基于Kinect的PPT演示辅助系统，特征在于，系统主要模块分为数据采集模块、手势识别模块、位置计算模块和PPT功能控制模块。数据采集模块，包括Kinect，安放于云台上并通过电机控制云台旋转角度，主要是利用Kinect采集深度信息和骨骼信息，深度信息用于计算用户(演讲者)的位置，骨骼信息用于手势识别。手势识别模块根据采集数据识别出用户(演讲者)手势，进而能够执行用户所需要的操作。位置计算模块，根据采集数据识别出用户(演讲者)手势头部位置操控云台转动，实现实时跟踪。PPT功能控制模块是向用户提供的一系列服务，基于C#编程语言的相关控件和Microsoft Office PowerPoint公开的API，实现演讲者手势对于PPT演示的控制功能，包括画笔注释、PPT(快速)翻页、图片展示、视频播放等功能的使用。系统打破传统演示需要点击才能控制的现状，基于头部识别，控制云台转动以此扩大使用者的活动空间，结合传统鼠标和光笔的优点，使注释笔更加易用，PPT播放时可即时查看库中图片和影片，达到展示图片细节的目的以及更方便地控制影片播放。所述数据采集模块直接利用Kinect SDK的深度和骨骼获取函数来采集信息。所述手势识别模块,根据Kinect采集到的深度和骨骼信息，根据预先定义的手势库，识别演讲者进行PPT演示时的手势。包括翻页手势识别、唤出手势识别、暂停手势识别、挥手手势等基本手势的识别，以及图片拖动和缩放、视频播放、注释笔、快速翻页功能的手势识别等子模块。所述翻页手势识别模块采用Microsoft.Samples.Kinect.SwipeGestureRecognizer库中定义的两个手势手势SwipeLeftDetected以及SwipeRightDetected。SwipeLeftDetected手势的定义为左手自然抬起至胸口，向右水平挥动过人体中心线，模拟鼠标左键“←”。SwipeRightDetected手势的定义为右手自然抬起至胸口，向左水平挥动过人体中心线，模拟鼠标右键“→”。所述唤出手势识别子模块又包括了注释笔、左右边栏、上边栏的唤出识别子模块。所述注释笔唤出识别子模块，当用户第一次右手握住放开后，屏幕上会出现进行注释的十字光标，十字光标会随着演讲者的右手移动。演讲者可以选择一个他需要进行注释的地点，然后握住右手，此时用户就可以添加注释了。为避免发生注释笔误唤出，系统对注释笔唤出区域进行了限制：1).dis1-dis2<-0.2，其中，dis1是颈部到右手的距离，dis2是头部到胯部的距离。2).RightHand.Position.Y-RightShoulder.Position.Y>＝-0.1，其中RightHand.Position.Y表示右手中心点的Y轴坐标，RightShoulder.Position.Y表示右肩中心点的Y轴坐标。所述左右边栏唤出识别子模块，用户自然抬起左右手即可唤出左右边栏。考虑到用户正常的肢体语言，系统对左右栏唤出方式进行了限制：1).dis1-dis2>0，其中dis1是颈部到右手的距离，dis2是头部到胯部的距离。2).左(右)手的与左(右)肩方向和水平角度必须小于26°。3).只有当用户抬手时间超过1秒，左右边栏才会唤出。所述上边栏唤出识别子模块，用户只需将右手稍稍抬过头，即可唤出上边栏。所述暂停手势识别子模块，设定了两个向量：左手小臂的方向向量(x1,y1)以及右手小臂的方向向量(x2,y2)。x1＝LeftHand.Position.X-LeftElbow.Position.Xx2＝RightHand.Position.X-RightElbow.Position.Xy1＝LeftHand.Position.Y-LeftElbow.Position.Yy2＝RightHand.Position.Y-RightElbow.Position.Y其中，LeftHand.Position.X表示左手中心点的X轴坐标，LeftElbow.Position.X表示左肘中心点的X轴坐标，RightHand.Position.X表示右手中心点的X轴坐标，RightElbow.Position.X表示右肘中心点的X轴坐标，LeftHand.Position.Y表示左手中心点的Y轴坐标，LeftElbow.Position.Y表示左肘中心点的Y轴坐标，RightHand.Position.Y表示右手中心点的Y轴坐标，RightElbow.Position.Y表示右肘中心点的Y轴坐标。在视频播放的情况下，当|x1*x2+y1*y2|＜0.008时，两个小臂几乎垂直时，系统认为此时构成暂停手势。为了减少误触发率，系统对于暂停手势识别设置了如下限制：1).左右手的水平中点应该在头部的水平中点附近|(LeftHand.Position.X+RightHand.Position.X)/2-head.Position.X|＜0.08，其中head.Position.X表示头部中心点X轴坐标。2).左右手应该在两肩之间(LeftShoulder.Position.X<LeftHand.Position.X)&&(RightShoulder.Position.X>RightHand.Position.X)，其中LeftShoulder.Position.X和RightShoulder.Position.X分别表示左肩和右肩中心点X轴坐标。所述挥手手势识别子模块，使用“挥手”这样一个手势来实现功能的退出，挥手这一手势识别的最长时间为1秒。Kinect在1秒内识别左右挥动的次数至少为3次则判断其为挥手手势。当手的位置高于手肘的位置时开始识别。每当手过中线到达对侧时，计数器加1。计数器超过挥动判定最少次数则被判定为挥手。所述图片拖动和缩放手势识别子模块在PPT演示的时候唤出右边栏，能显示出该工程目录下图像文件夹内所有拓展名为jpg、png、bmp等的图片，可以将它们拖入PPT内进行展示，向右伸出右手1秒便可以唤出右边的图片栏，把右手缩回图片栏则会消失。通过右手的上下摆动完成图片栏的滑动和图片的选择，演讲者右手上下移动本文档来自技高网...

【技术保护点】
一种基于Kinect的PPT演示辅助系统，特征在于，包括数据采集模块、手势识别模块、位置计算模块和PPT功能控制模块；数据采集模块，包括Kinect，Kinect安放于云台上并通过电机控制云台旋转角度，主要是利用Kinect采集深度信息和骨骼信息，深度信息用于计算用户(演讲者)的位置，骨骼信息用于手势识别；手势识别模块根据采集数据识别出用户(演讲者)手势，进而能够执行用户所需要的操作；位置计算模块，根据采集数据识别出用户(演讲者)手势头部位置操控云台转动，实现实时跟踪；PPT功能控制模块是向用户提供的一系列服务，包括画笔注释、PPT(快速)翻页、图片展示、视频播放等功能的使用。

【技术特征摘要】
1.一种基于Kinect的PPT演示辅助系统，特征在于，包括数据采集模块、手势识别模块、位置计算模块和PPT功能控制模块；数据采集模块，包括Kinect，Kinect安放于云台上并通过电机控制云台旋转角度，主要是利用Kinect采集深度信息和骨骼信息，深度信息用于计算用户(演讲者)的位置，骨骼信息用于手势识别；手势识别模块根据采集数据识别出用户(演讲者)手势，进而能够执行用户所需要的操作；位置计算模块，根据采集数据识别出用户(演讲者)手势头部位置操控云台转动，实现实时跟踪；PPT功能控制模块是向用户提供的一系列服务，包括画笔注释、PPT(快速)翻页、图片展示、视频播放等功能的使用。2.如权利要求1所述的基于Kinect的PPT演示辅助系统，特征在于，所述手势识别模块,根据Kinect采集到的深度和骨骼信息，根据预先定义的手势库，识别演讲者进行PPT演示时的手势，包括翻页手势识别、唤出手势识别、暂停手势识别、挥手手势等基本手势的识别，以及图片拖动和缩放、视频播放、注释笔、快速翻页功能的手势识别等子模块。3.如权利要求2所述的基于Kinect的PPT演示辅助系统，特征在于，所述翻页手势识别模块采用Microsoft.Samples.Kinect.SwipeGestureRecognizer库中定义的两个手势手势SwipeLeftDetected以及SwipeRightDetected。SwipeLeftDetected手势的定义为左手自然抬起至胸口，向右水平挥动过人体中心线，模拟鼠标左键“←”。SwipeRightDetected手势的定义为右手自然抬起至胸口，向左水平挥动过人体中心线，模拟鼠标右键“→”。4.如权利要求2所述的基于Kinect的PPT演示辅助系统，特征在于，所述注释笔唤出识别子模块，当用户第一次右手握住放开后，屏幕上会出现进行注释的十字光标，十字光标会随着演讲者的右手移动；对注释笔唤出区域进行了限制：1).dis1-dis2<-0.2，其中，dis1是颈部到右手的距离，dis2是头部到胯部的距离。2).RightHand.Position.Y-RightShoulder.Position.Y>＝-0.1，其中RightHand.Position.Y表示右手中心点的Y轴坐标，RightShoulder.Position.Y表示右肩中心点的Y轴坐标。5.如权利要求2所述的基于Kinect的PPT演示辅助系统，特征在于，所述左右边栏唤出识别子模块，用户自然抬起左右手即可唤出左右边栏。考虑到用户正常的肢体语言，对左右栏唤出方式进行限制：1).dis1-dis2>0，其中dis1是颈部到右手的距离，dis2是头部到胯部的距离；2).左(右)手的与左(右)肩方向和水平角度必须小于26°；3).只有当用户抬手时间超过1秒，左右边栏才会唤出。6.如权利要求2所述的基于Kinect的PPT演示辅助系统，特征在于，所述暂停手势识别子模块，设定了两个向量：左手小臂的方向向量(x1,y1)以及右手小臂的方向向量(x2,y2):x1＝LeftHand.Position.X-LeftElbow.Position.Xx2＝RightHand.Position.X-RightElbow.Position.Xy1＝LeftHand.Position.Y-LeftElbow.Position.Yy2＝RightHand.Position.Y-RightElbow.Position.Y其中，LeftHand.Position.X表示左手中心点的X轴坐标，LeftElbow.Position.X表示左肘中心点的X轴坐标，RightHand.Position.X表示右手中心点的X轴坐标，RightElbow.Position.X表示右肘中心点的X轴坐标，LeftHand.Position.Y表示左手中心点的Y轴坐标，LeftElbow.Position.Y表示左肘中心点的Y轴坐标，RightHand.Position.Y表示右手中心点的Y轴坐标，RightElbow.Position.Y表示右肘中心点的Y轴坐标；在视频播放的情况下，当|x1*x2+y1*y2|＜0.008时，两个小臂几乎垂直时，系统认为此时构成暂停手势；对于暂停手势识别设置了如下限制：1).左右手的水平中点应该在头部的水平中点附近|(LeftHand.Position.X...

【专利技术属性】
技术研发人员：张冬冬，虞世泽，忻成杰，赵一儒，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31