投影触控显示装置及其交互方法制造方法及图纸

本发明专利技术提供的投影触控显示装置，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。本发明专利技术提供的投影触控显示装置有效提高了人机交互的稳定性及精度。

【技术实现步骤摘要】

本专利技术涉及智能交互领域，尤其涉及投影触控显示装置及其交互方法。
技术介绍
目前在空间中与电脑有许多交互方式。其中，以计算机视觉为建构现实的基础，虚拟现实(VR)与增强现实(AR)为下一代交互发展的方向，因此，计算机视觉领域被许多研究者所探讨。首先，计算机经过摄像机获取图片，透过对图片分析计算，得到推测出深度数据，还原位置对于空间的坐标，进而获取三维空间的模型，要达到此目的，需同时满足图像具有高清晰度及后期算法优化的高要求。为了准确探测深度，人们提出以下几种方法：目前光学测距方法有三角测距法、包含双目测距、结构光与基于飞行时间TOF原理等测距方法。其中，以双目测距的装置最为简洁，其性价比为最高，陈成钱在论文\基于投影仪—红外摄像机的多点触控系统\中提出采用投影仪为显示设备,以红外摄像机为光学传感器,多个用户通过该系统,采用手、手指与投影在桌面的信息进行交互。设计一个有效的目标识别跟踪算法，采用神经网络识别手指,分为手指和非手指两类,区分手指端和手臂端，实现多点处控。然而，基于双目视觉的测距中，仍存在着许多不稳定性，并且摄像机在获取图像时容易受到干扰，在匹配过程成容易误判断，导致定位精度差。
技术实现思路
为了解决现有存在的技术问题，本专利技术提供了投影触控显示装置及其交互方法，有效提高了人机交互的稳定性及精度。本专利技术提供了投影触控显示装置，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。优选地，所述信息处理单元包括：与所述多部摄像机连接的摄像机内参标定模块；与所述摄像机内参标定模块连接的图像处理模块；与所述图像处理模块连接的系统定义模块。优选地，所述摄像机为红外摄像机。优选地，所述摄像机为双目摄像机。本专利技术还提供了投影触控显示装置的交互方法，具体步骤如下：S1：所述投影仪向显示面上投出所述投影仪操控单元提供的一个标记面；S2：在所述辅助信息处理单元中进行动态阈值算法生成所述标记面的深度数值；S3：在所述摄像机内参标定模块中测量出所述多部摄像机的参数；S4：在所述图像处理单元中对所述多部摄像机的参数进行校正；S5：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；S6：在所述图像处理单元中根据比较所述触控物的深度数值与所述辅助信息处理单元生成的所述标记面的深度数值进行判断所述触控物是否接触到显示面上；S7：根据S6的判断结果，在所述系统定义模块中实现对应系统的响应。优选地，投影触控显示装置的交互方法包括：S1＇：所述投影仪向显示面上投出所述投影仪操控单元提供的一个由白色方块间接排列的标记面；S2＇：在所述辅助信息处理单元中根据所述两部摄像机拍到的图像信息对所述白色方块找出角点，对所述角点进行排序，生成角点坐标序列；S3＇：所述辅助信息处理单元接收所述两部摄像机对所述角点的图像信息，并且根据所述角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵；S4＇：在所述摄像机内参标定模块中测量出所述两部摄像机的参数；S5＇：在所述图像处理单元中对所述两部摄像机的参数进行校正；S6＇：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；S7＇：在所述图像处理单元中从所述辅助信息处理单元生成的所述深度矩阵中的所述深度数值减去所述触控物的深度数值，得到所述触控物到显示面的深度阈值；S7＇：根据所述的触控物到显示面的深度阈值判断触控物是否接触显示面；S8＇：根据S7＇判断结果，在所述系统定义模块中实现对应应用的响应。优选地，所述显示面为平面或者不规则曲面。优选地，所述标记面为棋盘格或者标记块。优选地，所述摄像机为红外摄像机。优选地，所述摄像机为双目摄像机。附图说明图1为本专利技术投影触控显示装置的示意图；图2为本专利技术投影触控显示装置的信息处理模块示意图；图3为由间接排列的白色方块组成的标记面；图4为本专利技术投影触控显示装置的工作示意图；图5为本专利技术投影触控显示装置的壳体示意图。具体实施方式以下结合具体实施方式进一步详细说明本专利技术的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本专利技术投影触控显示装置的示意图。如图1所示，本专利技术提供了投影触控显示装置，包括：壳体10；设置于壳体内的投影仪31；与投影仪连接的投影仪操控单元30，用于向投影仪31提供投影图像；设置于壳体10内的两部摄像机11、12；与两部摄像机连接的信息处理单元20，；与投影仪操控单元30和信息处理单元20连接的辅助信息处理单元40。图2为本专利技术投影触控显示装置的信息处理模块示意图。如图2所示，该信息处理单元20包括与两部摄像机连接的摄像机内参标定模块21、与摄像机内参标定模块连接的图像处理模块22，与图像处理模块连接的系统定义模块23。该摄像机11、12为红外摄像机，该摄像机为双目摄像机。图4为本专利技术投影触控显示装置的工作示意图。如图4所示，当本专利技术的投影触控显示装置在工作时，通过投影仪31向显示面1上投出一个图像，该显示面可以是任何平面或者是不规则曲面。图5为本专利技术投影触控显示装置的壳体示意图。如图5所示，在壳体10的一侧面的设置有投影仪31；在该投影仪31两侧均设有一部摄像机11、12。需要说明的是，本专利技术的投影触控显示装置中，投影仪操控单元30、信息处理单元20、辅助信息处理单元40，可以集成在壳体内部，或者也可以单独设于壳体外的其他设备中，均可以实现本专利技术。需要说明的是，本专利技术中使用两部以上摄像机均可以实现本专利技术，具体实施方式只举两部摄像机的方案。本专利技术还提供了投影触控显示装置的交互方法，具体地，首先由投影仪向显示面1上投出投影仪操控单元30提供的一个标记面；然后在辅助信息处理单元40中进行动态阈值算法生成标记面的深度数值；其次在摄像机内参标定模块21中测量出两部摄像机的参数，摄像机内参标定是基于张正友标定方法的理论基础上进行测量，分别得到单摄相机上所有镜头的参数，包含中心点、焦距、镜头畸变系数、平移矩阵、旋转矩阵等参数；接着在图像处理单元22中对两部摄像机的参数进行校正，修正对镜头所引起的畸变，确保相机读入的图像的正确性，提高图像的识别精度；接着根据的对两部摄像机获取的、已校正的无畸变的触控图像进行图像处理，得出触控物的深度数值；接着在图像处理单元22中根据比较触控物的深度数值与辅助信息处理单元40生成的标记面的深度数值进行判断触控物是否接触到显示面上；最后根据上一步的判断结果，在系统定义模块23中实现对应应用的响应。本专利技术提供的交互方法只需分别对红外相机进行单一标定，不需双目立体标定摄相机得到彼此之间关系，采取\动态阈值\的优化算法，可精准的判断对显示面有无触碰的动作。本专利技术所描述的标记面可以是棋盘格或者标记块。图3为由间接排列的白色方块组成的棋盘格标记面。下面由间接排列的白色方块组成的棋盘格(如图2所示)作为标记面进一步详细说明本专利技术的投影触摸显示装置的交互方法。首先由投影仪31向显示面1上投出投影仪操控单元30提供的一个由白色方块间接排列的标记面，此时由于在摄像头上加装了850波段的本文档来自技高网...

【技术保护点】
投影触控显示装置，其特征在于，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。

【技术特征摘要】
2016.04.29 CN 20161027408511.投影触控显示装置，其特征在于，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。2.根据权利要求书1所述的投影触控显示装置，其特征在于，所述信息处理单元包括：与所述多部摄像机连接的摄像机内参标定模块；与所述摄像机内参标定模块连接的图像处理模块；与所述图像处理模块连接的系统定义模块。3.根据权利要求1或2所述的投影触控显示装置，其特征在于，所述摄像机为红外摄像机。4.根据权利要求1或2所述的投影触控显示装置，其特征在于，所述摄像机为双目摄像机。5.通过权利要求1所述的投影触控显示装置的交互方法，其特征在于，S1：所述投影仪向显示面上投出所述投影仪操控单元提供的一个标记面；S2：在所述辅助信息处理单元中进行动态阈值算法生成所述标记面的深度数值；S3：在所述摄像机内参标定模块中测量出所述多部摄像机的参数；S4：在所述图像处理单元中对所述多部摄像机的参数进行校正；S5：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；S6：在所述图像处理单元中根据比较所述触控物的深度数值与所述辅助信息处理单元生成的所述标记面的深度数值进行判断所述触控物是否接触到显示面上；S7：...

【专利技术属性】
技术研发人员：谭登峰，杜响红，凌晨，
申请(专利权)人：北京仁光科技有限公司，
类型：发明
国别省市：北京;11