基于TOF传感器的投影仪触控识别方法、系统及装置制造方法及图纸

本申请提供基于TOF传感器的投影仪触控识别方法、系统及装置，方法包括：图像获取与预处理；采集背景数据：在投影仪开机且投影平面没有交互单元时，采集该投影平面的幅度图像数据和3D点云数据，然后根据3D点云数据拟合投影平面并进行保存；识别投影平面的交互单元：判断投影平面中是否出现交互单元；识别触碰点：判断交互单元是否触碰到投影平面，如果是，识别交互单元的触碰点的位置和记录触碰时间，并且设置触碰标志，并继续进行下一步；识别控制动作：将当前实时图像的识别结果与之前的实时图像的识别结果进行比较，从而判断交互单元的控制动作。本申请具有速度快，准确度高、成本低、使用方便等特点。使用方便等特点。使用方便等特点。

【技术实现步骤摘要】
基于TOF传感器的投影仪触控识别方法、系统及装置


[0001]本申请涉及图像领域，尤其涉及基于TOF传感器的投影仪触控识别方法、系统以及装置。

技术介绍

[0002]现如今我们在工作，生活，学习中经常使用投影仪，通过投影仪将图像或视频等进行投影观看，市场上现有的投影仪大部分不具备触控功能，缺少互动性。现有技术中主要是通过红外触控技术和光学触控笔来实现，但是这两种技术均存在不足，具体为：
[0003]传统红外触控技术一般要进行长、短边上的各个扫描方向的扫描，以确定长、短边上的每一个扫描方向上的被遮挡光路，然后根据扫描得到的所有被遮挡光路中，两两相交的被遮挡光路的位置，采用浮点运算的方式计算两两相交的被遮挡光路的交点的坐标值，以实现对触摸点的定位，其中扫描所有的被遮挡的光路不但花费时间长，导致触摸屏的响应时间较长、响应速率慢。
[0004]当使用光学触控笔时，内置的微型红外线发射器发出信号，这一信号会被配套的投影仪内置的红外摄像头捕捉到，然后经过图像处理器处理之后转化为触屏坐标，从而实现了将投影面转化为触摸屏。虽然有光学触控笔能满足基本触控使用，但是体验感较差，需要触控笔和专门投影仪配套使用，容易丢失，有点类似以前的电容屏触控手机，要拿笔在手机屏幕上操作，触控体验效果不好，而且造价昂贵，网上售卖最低价4000起。
[0005]而中国专利申请公告号CN208689559U公开了一种用于投影仪的外置触控插件和中国专利申请公告号CN109407901A公开一套投影仪外置触控系统，插件与系统配合使用。其中插件是自行设计的箱体，箱体内设有一置物腔，在所述置物腔内设有可放置红外灯的灯槽，在所述箱体的一面开设有一连通所述置物腔的狭缝，形成由所述红外灯发射的红外光经过所述狭缝传播、在距投影仪幕布一定距同角度设置的栅格构成，各所述栅格为按照对应的设定距离的空间内形成覆盖幕布的衍射光幕的结构，所述箱体上还设有光栅格，所述光栅格由至少三种与水平方向呈不角度开设于所述箱体上的凹槽状结构，形成供与各所述栅格平行的反射光束进入各所述栅格并到达各所述栅格底部的结构。从中我们可以看出结构复杂，做工要求很高，插件造价昂贵。外置触控系统：光源发射单元发射光线；光线接收单元接收由于光线被障碍物阻挡后形成的、与设定角度的栅格平行的反射光线；信号处理单元将反射光线光栅格一一对应的传感器产生相应唯一的、确定的响应信号进行处理后输入数据处理单元；数据处理单元计算出触碰点的空间坐标。其中坐标计算方法由各传感器感知的反射光线的空间轨迹三个角度的三种直线方程计算，并且由至少两个传感器感知的反射光线的直线方程计算出的交点的空间坐标即为触碰点的空间坐标。计算过程还是比较麻烦的，且只能计算出触碰点，并不能识别长按和拖动等常规触控操作。

技术实现思路

[0006]本申请提供一种基于TOF传感器的投影仪触控识别方法、系统以及装置，能够在解
决现在的传统的红外触控技术进行触摸点定位时，存在响应时间较长、响应速率慢等问题以及使用光学触控笔导致产品价格昂贵、容易丢失和使用不便等问题问题。
[0007]根据本申请的第一方面，本申请提供一种基于TOF传感器的投影仪触控识别方法，方法包括：图像获取与预处理：通过TOF传感器实时拍摄投影仪投影平面的实时图像，获取对应的幅度图像和深度图像，然后按照预设方式对实时图像对应的幅度图像和深度图像进行图像预处理；采集背景数据：在投影仪开机且投影平面没有交互单元时，采集该投影平面的幅度图像数据和3D点云数据，然后根据3D点云数据拟合投影平面并进行保存；识别投影平面的交互单元：判断投影平面中是否出现交互单元，如果是，继续进行下一步，否则，则跳到图像获取与预处理的步骤中；识别触碰点：判断交互单元是否触碰到投影平面，如果是，识别交互单元的触碰点的位置和记录触碰时间，并且设置触碰标志，并继续进行下一步，否则，认为没有触碰到投影平面，并跳到图像获取与预处理的步骤中；识别控制动作：将当前实时图像的识别结果与之前的实时图像的识别结果进行比较，从而判断交互单元的控制动作。
[0008]根据本申请的第二方面，本申请提供一种投影仪触控识别系统，系统包括：图像获取与预处理模块，用于通过TOF传感器实时拍摄投影仪投影平面的实时图像，获取对应的幅度图像和深度图像，然后按照预设方式对实时图像对应的幅度图像和深度图像进行图像预处理；采集背景数据模块，用于在投影仪开机且投影平面没有交互单元时，采集该投影平面的幅度图像数据和3D点云数据，然后根据3D点云数据拟合投影平面并进行保存；识别交互单元模块，用于判断投影平面中是否出现交互单元，如果是，继续进行下一步，否则，则跳到图像获取与预处理的步骤中；识别触碰点模块，用于判断交互单元是否触碰到投影平面，如果是，识别交互单元的触碰点的位置和记录触碰时间，并且设置触碰标志，并继续进行下一步，否则，认为没有触碰到投影平面，并跳到图像获取与预处理的步骤中；识别控制动作：将当前实时图像的识别结果与之前实时图像的识别结果进行比较，从而判断交互单元的控制动作。
[0009]根据本申请的第三方面，本申请提供投影仪触控识别系统，系统包括：投影仪，用于将投影图像画面；交互单元，其用于触碰图像画面以实现与图像画面内容的交互；TOF传感器，其用于实时拍摄图像画面，对得到的幅度图像和深度图像进行处理，并识别交互动作；以及控制单元，其用于根据交互动作控制投影仪对动作进行响应。
[0010]本申请的有益效果在于：通过TOF图像传感器实时拍摄投影仪投影的图像数据，进行图像预处理，无需借助外物，当手指等交互单元在投影平面上进行点击、拖动或滑动等控制时，TOF图像传感器能够识别该控制动作，系统根据控制动作控制投影仪进行相应的响应，本申请具有速度快，准确度高、成本低、使用方便等特点。
附图说明
[0011]图1是本申请投影仪触控识别系统的示意图；
[0012]图2是本申请TOF传感器的结构框架图；
[0013]图3是本申请的基于TOF传感器的投影仪触控识别方法的示例；
[0014]图4是本申请的基于TOF传感器的投影仪触控识别方法的流程图；
[0015]图5是本申请的采集投影平面步骤得到的拟合投影平面示意图；
[0016]图6是本申请的识别投影平面交互单元步骤的示例示意图；
[0017]图7是本申请的识别触碰点步骤的示例示意图；
[0018]图8是本申请的识别控制动作步骤的流程图。
具体实施方式
[0019]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
[0020]请参阅图1，图1为投影仪触控识别系统的示意图，该投影仪触控识别系统包括投影仪、TOF传感器、交互单元和控制单元。
[0021]其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TOF传感器的投影仪触控识别方法，其特征在于，所述方法包括：图像获取与预处理：通过所述TOF传感器实时拍摄投影仪投影平面的实时图像，获取对应的幅度图像和深度图像，然后按照预设方式对所述实时图像对应的幅度图像和深度图像进行图像预处理；采集背景数据：在所述投影仪开机且投影平面没有交互单元时，采集该投影平面的幅度图像数据和3D点云数据，然后根据所述3D点云数据拟合投影平面并进行保存；识别所述投影平面的交互单元：判断所述投影平面中是否出现交互单元，如果是，继续进行下一步，否则，则跳到所述图像获取与预处理的步骤中；识别触碰点：判断所述交互单元是否触碰到所述投影平面，如果是，识别所述交互单元的触碰点的位置和记录触碰时间，并且设置触碰标志，并继续进行下一步，否则，认为没有触碰到所述投影平面，并跳到所述图像获取与预处理的步骤中；识别控制动作：将当前所述实时图像的识别结果与之前的所述实时图像的识别结果进行比较，从而判断交互单元的控制动作。2.如权利要求1所述的识别方法，其特征在于，所述图像获取与预处理的步骤中，所述预设方式进行图像处理的方法包括：图像滤波、畸变矫正以及3D矫正，其中，所述3D矫正的方法具体包括：根据所述实时图像像素坐标与所述TOF传感器坐标关系：可得：其中，(u0，ν0)为所述TOF传感器的光学中心，(f
x
，f
y
)分别为所述TOF传感器沿X轴和Y轴的焦距，cosθ为所述TOF传感器坐标和实时图像像素坐标夹角的余弦值，所述实时图像的原始深度值乘以所述余弦值即可到矫正后所述图像的深度值。3.如权利要求1所述的识别方法，其特征在于，在所述采集背景数据的步骤中，根据所述3D点云数据拟合投影平面的方法采用最小二乘法。4.如权利要求1所述的识别方法，其特征在于，在所述识别交互单元的步骤中，所述判断投影平面中是否出现交互单元的方法，包括：获取所述实时图像各个像素的幅度值；遍历所述实时图像的像素，比较所述实时图像与所述投影平面各个像素位置的幅度值之差，若出现两者幅度值之差大于第一设定阈值的像素，则认为所述投影平面出现交互单元，并记录该些像素的位置，否则，跳回所述图像获取与预处理步骤。5.如权利要求4所述的识别方法，其特征在于，在所述判断所述交互单元是否触碰到投影平面的步骤中，包括：计算所述幅度值之差大于第一设定阈值的像素，亦即是所述交互单元，所对应的点云
三维坐标(x，y，z)到所述投影平面的距离，其中，已知A，B，C，D的值，x，y，z为所述像素点的三维坐标，d为所述像素点到投影平面的距离，则具体计算公式如下：保留d小于第二预设阈值的像素点；统计该些像素点中的邻域点，且不是所述投影平面的像素点的个数，若所述个数满足第三预设阈值，则认为所述交互单元触碰到所述投影平面，并且以该些像素点作...

【专利技术属性】
技术研发人员：林绍磊，周建华，姚浩东，
申请(专利权)人：深圳市繁维科技有限公司，
类型：发明
国别省市：