分布式红外视觉检测与投影融合自动矫正的触控显示系统技术方案

本发明专利技术属于计算机软件与投影的技术领域，具体涉及一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，旨在解决触摸事件检测的延时、拼接融合过程相对费时的问题，本系统包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块、检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块。本发明专利技术能够实时检测大型触控区域的触控事件，保证了触控检测的时效性；可以同时渲染多路投影影像画面，提升了渲染效率；方便系统投影融合校正前期的搭建和后期的维护。

【技术实现步骤摘要】
分布式红外视觉检测与投影融合自动矫正的触控显示系统
本专利技术属于计算机软件与投影的
，具体涉及一种分布式红外视觉检测与投影融合自动矫正的触控显示系统。
技术介绍
随着科技的发展，人机交互的体验趋于追求智能化、沉浸感、交互性，大型触摸屏幕集显示与互动功能为一体，在提供一种直觉性高的交互体验的同时，还可以支持多人同时观看体验，已成为在商业项目推介、博物馆主题展示、游戏互动娱乐等方面广泛应用的显示方式。目前大型触摸屏幕的工作方式采用在玻璃瓶和液晶屏之间加了一层电信号感应面，感应手指的触摸，达到实时检测反馈的效果，但其成本会随着显示屏幕尺寸的增加大幅度增长，大尺寸显示将花费极高的费用；另一方面内部的液晶屏难以承受高压力冲击，一些高强度的互动游戏极易损坏屏幕，增加了后期的维护运营成本。因此开发一款大屏幕、抗冲击、低成本的实时触摸显示方案，这是一个有待研发的课题。针对上述触控显示的需求，采用视觉检测触控结合的投影显示方案成为一种新的触控显示技术。中国专利(CN102236408A)提出一种“基于图像识别、多投影机融合大屏幕的多点人机交互系统”，对应着投影仪和投影幕设备，以实现基于图像识别、多投影机融合大屏幕为目的，设置图像布局模块、投影数据接收模块、投影数据拼合模块、标准效果模块、效果监测模块以及数据输出模块；以实现人机交互为目的，设置用户输出监测模块、用户输出识别模块、屏幕坐标转换模块以及用户输出结果数据融合模块，在增强场景沉浸感的同时又对应着场景使人机交互更加自然。中国专利(申请公布号CN102799317A)公开一种“智能互动投影系统”，系统由：红外摄像机，虚拟互动区域，投影仪单元，红外激光发射器单元，存储单元，处理单元，有线通信单元及无线通信单元组成，采用红外激光发射器平行触控感应平面发射红外“一字线”激光束，利用手指或其他触摸设备“点击”时阻断激光束场，通过红外摄像机成像形成“高亮”光斑的原理，检测触摸事件，再将红外摄像机坐标系下的位置信息映射到虚拟互动区域坐标系下的位置信息。实现利用单个红外相机在垂直方向上单点和多点触摸显示的功能。结合上述专利技术，多种基于视觉的互动投影产品已经出现。这些产品在一些领域成功应用的同时也暴露出一些问题：1.视觉触摸检测算法的前提是摄像机“看得见”，对于大型触摸区域单个摄像机的监视难以覆盖，因此需要布置多个摄像机并将采集到的收据统一到同一个坐标系下；2.随着接入处理器摄像机数量的增长读取摄像头帧率的明显下降，经统计摄像机分辨率设置为1280*720接入1～4个摄像机的帧率分别为32帧/秒、22帧/秒、14帧/秒、10帧/秒，这将导致触摸事件检测的延时；3.目前多路投影的拼接融合主要依靠物理对齐或者人工矫正，因此拼接融合过程相对费时，后期投影融合的维护需要专门人员。针对上述应用场景中存在的问题，本专利技术提出一种基于分布式红外视觉检测与自动投影融合矫正触控系统，设置了检测处理客户端，多线程数据融合中转模块，多线程影像渲染模块，自动投影融合校正模块。本专利技术经多项具体实例验证，能够实时检测大型场景的触控事件，检测刷新率可达到30帧/帧；多台(2～4)投影融合自动校正仅需30s，校正精度可达像素级。
技术实现思路
为了解决现有技术中的上述问题，即为了解决触摸事件检测的延时、拼接融合过程相对费时的问题，本方专利技术提出了一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块、检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；所述投影设备为多台，用于投影影像；所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；数据融合模块，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器；影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；自动投影融合校正模块，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。进一步地，所述自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。进一步地，所述“对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域”，其方法为：将需要投影的触控区域平面通过网格化等分成若干大小相等的网格；计算所述网格在投影平面的像，将投影的影像采用纹理贴图的方式映射到网格中，再根据相位信息调整颜色亮度。进一步地，所述“计算所述网格在投影平面的像”，其方法为：根据下式计算触控区域平面的网格在投影平面的像其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。进一步地，触控区域平面到投影设备平面的单应矩阵Hp的计算方法为：Hp＝Hc×Hcp其中，Hc为触控区域平面到摄像机平面的单应矩阵，Hcp为相机平面到投影仪平面的单应矩阵。进一步地，所述“根据相位信息调整颜色亮度”，其方法为：根据对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者根据对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；其中，r为调节系数。进一步地，相机平面到投影仪平面的单应矩阵Hcp，其生成方法为：通过投影设备向触控区域平面投影棋盘格，通过可见光摄像机采集棋盘格的角点，通过下式计算Hcp，其中，(μn,νn)为投影平面的第n个像素坐标，(Xn,Yn,0)为触控区域平面的对应的第n个坐标。进一步地，触摸位置在投影平面的像素坐标(μ,ν)的计算方法为：其中，f(i,j)为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标，Ω表示触摸位置区域。进一步地，根据下式对不同摄像机的监视融合区的数据判断：其中，Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。进一步地，所述检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。进一步地，所述数据融合模块通过多线程并行接收视觉检测客户端传送的数据，并校正所有接入的检测处理客户端的时间轴。本专利技术采用检测处理客户端实时处理摄像机的图像，能够实时检测大型触控区域的触控事件，保证了触控检测的时效性；多线程投影渲染模块实时捕捉影像处理器窗口，可以同时渲染多路投影影像画面，提升了渲染效率；自动投影融合校正模块对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域，方便系统投影融合校正前期的搭建和后期的维护。附图说明图1为本专利技术实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统硬件构成示意图；图2为本专利技术实施例的分布式红外视觉检本文档来自技高网...

【技术保护点】
1.一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块，其特征在于，还包括检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；所述投影设备为多台，用于投影影像；所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；数据融合模块，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器；影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；自动投影融合校正模块，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。

【技术特征摘要】
1.一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块，其特征在于，还包括检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；所述投影设备为多台，用于投影影像；所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；数据融合模块，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器；影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；自动投影融合校正模块，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。2.根据权利要求1所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。3.根据权利要求2所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述“对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域”，其方法为：将需要投影的触控区域平面通过网格化等分成若干大小相等的网格；计算所述网格在投影平面的像，将投影的影像采用纹理贴图的方式映射到网格中，再根据相位信息调整颜色亮度。4.根据权利要求3所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述“计算所述网格在投影平面的像”，其方法为：根据下式计算触控区域平面的网格在投影平面的像其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐...

【专利技术属性】
技术研发人员：王波，于海涛，朱晓阳，蒋永实，
申请(专利权)人：中国科学院自动化研究所，中科奇创天津科技有限公司，
类型：发明
国别省市：北京,11