一种非接触式屏幕交互方法及系统技术方案

本发明专利技术实施例涉及计算机应用技术领域，公开了一种非接触式屏幕交互方法及系统。其中，该系统包括计算机、投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的两个激光指示器，该系统还包括：激光点定位模块，用于将两个激光指示器投射在所述屏幕上的两个激光点的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于识别两个激光指示器所指向的操控对象；操控动作识别模块，用于识别两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。通过本发明专利技术实施例，可使得使非接触式屏幕交互操作更自然和更人性化。

【技术实现步骤摘要】
一种非接触式屏幕交互方法及系统
本专利技术涉及计算机应用
，具体涉及一种非接触式屏幕交互方法及系统。
技术介绍
交互式大屏幕是近年来比较流行的演示交互系统，用户可通过一定的手段对到大屏幕显示的内容进行操控，例如，翻页浏览、移动、缩放等。准确的捕捉、理解用户操控动作的意图是实现交互的关键，同时，操控动作自然和人性化，符合用户习惯，满足用户交互体验需求，也是目前大屏幕交互研究中的一个热点。现有技术方案之一是，用户手持单支激光笔在大屏幕上画出一定的图案，摄像机实时捕捉、识别激光笔的轨迹，并与预定的图案进行匹配，匹配成功后，将其映射到计算机识别的指令、如鼠标、键盘动作等，从而实现与计算机的交互。但是，使用单个激光笔进行交互时，用户需要记住一些特别的图案，容易误动作，而且交互动作不够自然和人性化，交互能力不足。
技术实现思路
本专利技术实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。本专利技术实施例的第一方面提供一种非接触式屏幕交互系统，所述系统包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。在本专利技术实施例第一方面的第一种可能的实现方式中，所述激光点定位模块包括：标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。在本专利技术实施例第一方面的第二种可能的实现方式中，所述操控对象识别模块具体用于：当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。结合本专利技术实施例第一方面或本专利技术实施例第一方面的第一至第二种中的任一种可能的实现方式，在本专利技术实施例第一方面的第三种可能的实现方式中，所述操控动作识别模块具体用于：将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。结合本专利技术实施例第一方面或本专利技术实施例第一方面的第一至第二种中的任一种可能的实现方式，在本专利技术实施例第一方面的第四种可能的实现方式中，所述操控动作识别模块具体用于：将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。本专利技术实施例第二方面提供一种非接触式屏幕交互方法，所述方法包括：计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括：执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；执行器的操控动作识别模块根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；执行器的交互驱动模块将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。在本专利技术实施例第二方面的第一种可能的实现方式中，所述执行器的激光点定位模块从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标包括：执行器的激光点定位模块确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。在本专利技术实施例第二方面的第二种可能的实现方式中，所述执行器的操控对象识别模块根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象包括：执行器的操控对象识别模块在所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；在所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，若所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；在所述两个激光点均发生选择对象事件时，若两个事件出现的时间差本文档来自技高网...

【技术保护点】
一种非接触式屏幕交互系统，其特征在于，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在所述屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。

【技术特征摘要】
1.一种非接触式屏幕交互系统，其特征在于，包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在所述屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令；其中，所述操控对象识别模块具体用于：当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象。2.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述激光点定位模块包括：标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。3.根据权利要求1所述的非接触式屏幕交互系统，其特征在于，所述操控对象识别模块具体用于：当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。4.根据权利要求1～3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于：将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。5.根据权利要求1～3任一项所述的非接触式屏幕交互系统，其特征在于，所述操控动作识别模块具体用于：将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，当所述向量的模不断变小时，则所述两个激光指示器的操控动作的语义为图片缩小，当所述向量的模不断变大时，则所述两个激光指示器的操控动作的语义为图片放大，当所述向量的方向角发生变化时，则所述两个激光指示器的操控动作的语义为图片进行相应的旋转；或者，分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。6.一种非接触式屏幕交互方法，其特征在于，所述方法包括：计算机将图像信息送至投影仪、投影仪将所述图像信息显示在屏幕上、摄像机捕获投影在所述屏幕上的图像信息和激光发射装置产生激光束投射在所述屏幕上，所述激光发射装置包括两个激光指示器，所述方法还包括：执行器的激光点定位模块从所述摄像机捕获到的...

【专利技术属性】
技术研发人员：刘兆祥，胡伟，廉士国，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44