一种定位交互方法及系统技术方案

本发明专利技术公开了一种定位交互方法及系统，定位交互方法包括以下步骤：1）通过投影系统投影形成投影场景，并通过摄像系统拍摄投影场景内的交互物体以及交互物体阴影的图像；2）处理交互物体以及交互物体阴影的图像得到交互物体尖端的位置信息；3）将步骤2）得到的位置信息转化为投影信息，投影到屏幕区域上。本发明专利技术的定位交互方法及系统，整个定位交互过程中，用户不需手持特定的交互设备，同时投影屏幕为普通投影屏幕并可实现上述定位交互过程。

【技术实现步骤摘要】

本专利技术涉及定位交互技术，特别是涉及一种可在普通屏幕上徒手实现交互的定位交互系统。
技术介绍
基于计算机视觉技术的发展，近年来已出现多种基于计算机视觉技术和投影显示技术来构造交互系统，给用户营造一种自然、舒畅的交互操作感受。现有的交互系统中，主要是通过人手持的交互设备与投影屏幕，计算机系统等建立有接触，或者无接触的交互方式实现。例如，基于压感技术的交互书写装置，需要将交互书写装置与投影屏幕接触，将接触的压力信息通过通讯模块发送给计算机系统，计算机系统将接触时的压力信息转化为相关文字笔迹信息投影输出至屏幕上。再有，基于激光技术、电磁波技术、红外线技术，超声波技术的交互书写装置，不需要交互书写装置与投影屏幕接触，主要依赖于交互书写设备中 各组件模块进行工作。上述接触式的交互设备，需要与投影屏幕接触，因此将用户的活动范围限制在投影屏幕区域前；且接触的投影屏幕需要利用特定的交互式电子白板，安装和使用均存在局限性。同时，两种方式下的交互，都需要利用到特定的交互设备，需用户始终持有交互设备。如用户没有携带相关交互设备，则无法实现交互。且由于需要用户手持交互设备，因此会涉及用户手部遮挡信号的问题，导致交互过程中数据丢失，交互过程无法实时准确地进行。
技术实现思路
本专利技术所要解决的技术问题是弥补上述现有技术的不足，提出一种定位交互方法及系统，可通过普通的投影屏幕实现徒手交互，不再需要依赖特定的交互设备，也不需要特定的电子白板。本专利技术的技术问题通过以下的技术方案予以解决 一种定位交互方法，包括以下步骤1)通过投影系统投影形成投影场景，并通过摄像系统拍摄所述投影场景内的交互物体以及交互物体阴影的图像；2)根据如下步骤处理所述交互物体以及交互物体阴影的图像得到所述交互物体尖端的位置信息2-1)检测图像上交互物体尖端与交互物体尖端阴影之间的距离；2_2)判断所述距离是否大于设定值，如果大于设定值，则计算交互物体尖端的三维位置信息；如果小于设定值，则计算交互物体尖端的二维位置信息；3)将步骤2)得到的位置信息转化为投影信息，投影到屏幕区域上。本专利技术的技术问题通过以下进一步的技术方案予以解决 一种定位交互系统，包括投影系统(100)，摄像系统(200)和处理系统(300);所述投影系统(100)用于形成投影场景，将投影信息投射到屏幕区域；所述摄像系统(200)用于将所述投影场景内的交互物体以及交互物体阴影的图像拍摄下来；所述处理系统(300)接收所述摄像系统(200)拍摄的交互物体以及交互物体阴影图像，并根据上述所述步骤2)处理得到所述交互物体尖端的位置信息，并将得到的位置信息转化为投影信息，输出到所述投影系统。本专利技术与现有技术对比的有益效果是 本专利技术的定位交互方法及系统，通过摄像系统拍摄下投影场景内交互物体以及交互物体阴影的图像，配合处理系统对交互物体以及交互物体阴影的图像进行处理从而获取尖端的位置信息，将尖端的位置信息转化为投影信息输出到投影屏幕区域后，即可实现交互。整个定位交互过程中，用户不需手持特定的交互设备，通过手指或者普通细棒，笔等均可实现定位交互。同时投影屏幕为普通投影屏幕并可实现上述定位交 互过程，不再需要特定的交互式电子白板。附图说明图I是本专利技术具体实施方式中的定位交互方法的流程 图2是本专利技术具体实施方式中的定位交互方法中第二步的具体流程 图3是本专利技术具体实施方式中的定位交互系统的组成示意 图4是本专利技术具体实施方式中的定位交互系统的俯视示意图。具体实施例方式下面结合具体实施方式并对照附图对本专利技术做进一步详细说明。如图I所示，为本具体实施方式的定位交互方法的流程图，包括以下步骤 Pl)通过投影系统投影形成投影场景，并通过摄像系统拍摄所述投影场景内的交互物体以及交互物体阴影的图像。其中，交互物体可为人的手指，人手持的细棒，普通书写笔等。本具体实施方式中，交互物体直接为人的手指，以指示时通常会选择的食指为例说明。此步骤中，即人手在投影场景中指示投影屏幕区域上的内容时，投影系统投射的光线被人手遮挡，在投影的屏幕区域上形成阴影，此时摄像系统拍摄投影场景内人手指及人手指阴影的图像。食指指示内容时，可接触投影屏幕区域从而指示，也可不接触屏幕区域仅在投影场景内远距离指示。P2)处理交互物体以及交互物体阴影的图像得到所述交互物体尖端的位置信息。具体地，按照图2所示的步骤处理得到位置信息P21)检测图像上交互物体尖端与交互物体尖端阴影之间的距离；P22)判断所述距离是否大于设定值，如果大于设定值，则进入步骤P231)计算交互物体尖端的三维位置信息；如果小于设定值，则进入步骤P232)计算交互物体尖端的二维位置信息。本具体实施方式中，步骤Pl)得到人手及其阴影的图像后，本步骤中即对图像进行处理得到食指尖端的空间位置信息。从图像上判断食指尖端与食指尖端阴影之间的距离，如果该距离大于设定值，则表示食指并未触碰到投影屏幕区域上，则需要计算食指在三维空间中的位置信息；如果该距离小于设定值，则表示食指已触碰到投影屏幕区域上，则计算食指的二维位置信息。通过该步骤的处理，即可判断出食指对投影屏幕触控与否。优选地，从人手指以及手指阴影图像获取手指尖端阴影的图像时，可用人手指阴影上的点进行曲线拟合得到手指尖端阴影图像。这样，从步骤I)得到的图像上提取到手指尖端图像信息以及手指尖端阴影图像信息后，即可进而进入步骤P21)至P23)，从而得到手指尖端的位置信息。需说明的是，获取手指尖端阴影的图像信息时，除采用上述曲线拟合的方法外，还可采用其它图像处理操作如阴影检测算法来获取。上述三维空间的xyz轴分别为，z轴为与投影屏幕区域所在平面垂直的方向；投影屏幕区域所在平面即为χ-y平面，y轴为投影屏幕区域所在平面中沿所述投影系统与所述摄像系统连线的方向，X轴为投影屏幕区域所在平面中与所述投影系统与所述摄像系统连线方向垂直的方向。所述的二维位置信息，即为上述三维空间中z=0时，x-y平面的坐标信息。而判断触控与否的设定值，则可由定位交互方法的使用者根据经验情况设定，例如，实际已触控到投影屏幕时图像上两者距离为多少，而看上去已触控到投影屏幕但实际还未触控到时图像上两者距离为多少，取两个值之间的一个中间值作为设定值。P3)将步骤P2)得到的位置信息转换为投影信息，投影到屏幕区域上，从而实现定位后的交互输入。本具体实施方式中，还提供一种定位交互系统。如图3所示，为定位交互系统的组 成示意图。定位交互系统包括投影系统100，摄像系统200和处理系统300。其中，投影系统100用于形成投影场景，将投影信息投射到屏幕区域4内。摄像系统200用于将所述投影系统100的投影场景内的交互物体以及交互物体阴影的图像拍摄下来。交互物体可为人的手指，人手持的细棒，普通书写笔等。本具体实施方式中，交互物体直接为人的手指，以指示时通常会选择的食指为例说明。即拍摄下包含有人手5及其阴影6信息的图像，需要利用的是图像上人手5的食指尖端、人手阴影6的食指尖端阴影的相关信息。处理系统300接收摄像系统200拍摄的交互物体以及交互物体阴影图像，并根据前述定位交互方法中的所述步骤P2)处理得到所述交互物体尖端的位置信息，并将得到的位置信息转化为投影信息，输出到所述投影系统100。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位交互方法，其特征在于包括以下步骤1)通过投影系统投影形成投影场景，并通过摄像系统拍摄所述投影场景内的交互物体以及交互物体阴影的图像；2)根据如下步骤处理所述交互物体以及交互物体阴影的图像得到所述交互物体尖端的位置信息2-1)检测图像上交互物体尖端与交互物体尖端阴影之间的距离；2-2)判断所述距离是否大于设定值，如果大于设定值，则计算交互物体尖端的三维位置信息；如果小于设定值，则计算交互物体尖端的二维位置信息；3)将步骤2)得到的位置信息转化为投影信息，投影到屏幕区域上。2.根据权利要求I所述的定位交互方法，其特征在于所述步骤I)中还包括设置所述投影系统所在位置与所述摄像系统所在位置的连线平行于投影屏幕区域；所述步骤2)中根据如下公式计算得到所述交互物体尖端的三维位置信息中的z轴坐标，3.根据权利要求I所述的定位交互方法，其特征在于所述步骤I)中还包括在所述投影系统中设置红外光发射装置和在所述摄像系统上安装红外滤光片的步骤。4.根据权利要求I所述的定位交互方法，其特征在于所述交互物体为人的手指，人手持的细棒，普通书写笔。5.根据权利要求I所述的定位交互方法，其特征在于所述交互物体为人的手指，所述步骤I)中拍摄得到人...

【专利技术属性】
技术研发人员：周倩，乔晓蕊，倪凯，李阳，毛乐山，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：