一种基于3D扫描和Slam的投影融合方法技术

本发明专利技术公开了一种基于3D扫描和Slam的投影融合方法，首先通过矩阵的运算，可以实现将规则的矩形画面显示到不规则目标区域；然后通过画面的映射，可以实现超大屏幕的显示；接着通过三角化欲显示的矩形区域，可以做到小于一个像素级别的更加精细的调整，进而实现投影机之间无缝隙无重叠的显示，而且画面整体感很强，几乎没有色差；最后结合3D眼镜和支持3D的显示软件，得到一个完整无缝无重叠的超大屏幕的3D画面，给观看者一个更好的视觉体验。

【技术实现步骤摘要】
一种基于3D扫描和Slam的投影融合方法
本专利技术属于显示投影
，具体涉及一种基于3D扫描和Slam的投影融合方法的设计。
技术介绍
在传统的显示系统中通常只使用一个显示设备，这样的显示画面内容较少，覆盖范围也很小。采用多台投影机分割显示一个较大的画面能够较好的解决上面的问题。每个投影机各自显示各自的画面，投影机之间按照整体画面的需要按照一定的规则相隔排列。根据投影机摆放的位置，可以做出3面的环幕、cave系统等。但是由于投影机显示的原理，多个投影机之间经常会出现重叠区域，造成显示上的异常，如重影、亮带。要解决重叠区域的问题，可以采用购买更加专业可调节性更强的硬件的办法，也可以采用软件去重叠的方式。采用硬件的方式成本太高，而且对手工操作的要求很高，而且很难做到完全无重叠。采用纯软件的方式虽然能够将重叠区域的亮度调整成跟非重叠区域基本一致，但还是存在重影的问题，而且在切分画面时会出现较大的画面延迟。近年来，智能机器人技术在世界范围内得到了大力发展，在大多数场合中，研究机器人会碰到一个基础性的困难，那就是定位和建图，即Slam技术。与Slam密切相关的就是传感器，传感器分为激光传感器和视觉传感器两大类，后者由于价格便宜而得到广泛的应用。视觉Slam主要分为三大类：单目、双目(或多目)、RGBD。一个Slam系统分为四个模块(除去传感器数据读取)：视觉里程计VO、后端、建图、回环检测。视觉里程计模块用于估计两个时刻机器人的相对运动，即在欧氏空间里估计一个三维空间的变换矩阵，求解这个矩阵可以分为基于特征的方法和不使用特征的直接方法。基于特征的方法，首先提取图像中的特征(如Harris角点、SIFT、SURF、ORB)，然后根据两幅图的特征匹配，计算相机的变换矩阵。直接方法把图像中的所有像素写进一个位姿估计方程，采用迭代最近邻ICP等算法，求出帧间相对运动，如SVO和LSD-SLAM。
技术实现思路
本专利技术的目的是为了解决现有技术中采用多台投影机分割显示一个较大的画面时，投影机之间经常会出现重叠区域，造成显示上的异常的问题，提出了一种基于3D扫描和Slam的投影融合方法。本专利技术的技术方案为：一种基于3D扫描和Slam的投影融合方法，包括以下步骤：S1、将一个需要投影的区域映射到一个规则的矩形区域A；S2、将矩形区域A分成N个子区域Si；S3、将所有的子区域Si三角化，生成一张三角形列表；S4、对每个子区域Si生成一张Intensity图和一张offset图；其中Intensity图的每个像素都作为最终RGB值调整的系数，offset图的每个像素作为最终RGB值调整的偏移值；S5、将生成的Intensity图、offset图以及三角形列表利用支持融合的显卡相关接口送入到显卡中；S6、显卡将需要显示的视频流的每帧图像分割成N个子画面，每个子画面都应用之前传入的三角形列表数据以及Intensity图、offset图的数据；S7、每个子画面从DVI或者VGA接口送出，通过独立的HDMI线送入到N个对应的投影机显示；S8、结合3D眼镜和支持3D的显示软件，即可得到3D画面。进一步地，步骤S1包括以下分步骤：S11、通过画线程序，在显示系统中每个投影机的投影画面中画一组均匀的横线和竖线，使横线和竖线填充满整个投影机屏幕；使用Tof摄像头，对每个投影机画面采集一帧RGB和深度信息，再将所有投影机分成若干个等分，针对每个等分的全部画面采集一帧RGB和深度信息；S12、以第一个投影机信息为基准，手动建立其他投影机与第一个投影机的关联关系，即在显示区域上面做一组标记，在RGB信息图上手动绑定不同投影机画面中相同的点；S13、以左上第一个投影机为全局空间，通过标定点，将其他投影机空间转换到第一个投影机的所在的全局空间中；S14、在全局空间中将所有投影机通过矩阵变换或者小孔成像技术，将所有投影机的投影区域转换到一个平面空间中；S15、设投影机个数为n，将欲显示画面切分成r行、c列同等大小的矩形区域Ti，并且n＝r×s；定义整个计算机桌面确定的区域为uv空间，矩形区域Ti所代表的就是对应投影机需要显示的内容区域，各个投影机显示内容共享同一个uv坐标系；S16、根据步骤S11中投影机显示的横线和竖线，再手工标定一组横线和竖线，并设置好它们在投影机中的xy坐标，同时对每条横线和竖线的xy坐标和uv坐标进行绑定；S17、手工标定最终显示区域的上下左右4条边界线，并将4条边界上所有顶点的xy坐标和uv坐标进行绑定；S18、手工标定每个投影机显示的矩形区域的4个顶点，并将4个顶点的xy坐标和uv坐标关联起来，即将一个需要投影的区域映射到一个规则的矩形区域A。进一步地，步骤S13具体为：两次拍摄的两个投影机之间会标定很多物理上重合的点，设第一次拍摄的点集为Y，第二次拍摄的点集为X，并且存在一个矩阵M使得Y＝X*M，其中X和Y是一个n*4的矩阵，而M是一个4*4的矩阵；为了求出M，这里使用最小二乘法得出M＝(XT*X)-1*XT*Y，求出M矩阵后，通过Yi＝M*Xi可以将所有其他投影机上的点转换到第一个投影机的空间中，其中XT表示X的转置矩阵，(XT*X)-1表示(XT*X)的逆矩阵，i＝1,2,3,…,N，N为摄影机数量。进一步地，步骤S2具体为：用横线和竖线进行切割，交出的交点中以2条横线和3条竖线共6个点为一组，在6个交点中做两组每组两个对角线共交出2个交点，2个交点连线的延长线与3条竖线再交出3个交点，新交出的3个交点与原始的6个交点再以6个交点为一组与横线和竖线相交；新交出交点的xy坐标和uv坐标使用横线和竖线端点的xy坐标和uv坐标进行填充；如此反复切割，直到矩形区域内的每个像素点均有xy坐标和uv坐标，最后生成一张xy坐标和uv坐标对应表；最后得到N个子区域Si，同时每个子区域Si都对应生成一张xy坐标和uv坐标对应表。进一步地，步骤S3具体为：将4条边界围住的最终显示区域以一定的大小切分成相同的矩形，再将矩形延着对边切分成两个小三角形；小三角形会被各投影机的矩形区域进一步切分，形成更小的三角形，直到所有小三角形都不能被矩形区域切分为止；通过查找每个小三角形所属的投影机，根据所属投影机的xy坐标和uv坐标对应表，找到每个三角形的三个顶点的xy坐标，整理每个小三角形的位置坐标x、y和内容坐标u、v，生成一张三角形列表。本专利技术的有益效果是：本专利技术通过硬件本身的融合技术使分割后的各个子画面显示非常流畅，没有卡顿感。首先通过矩阵的运算，可以实现将规则的矩形画面显示到不规则目标区域；然后通过画面的映射，可以实现超大屏幕的显示；接着通过三角化欲显示的矩形区域，可以做到小于一个像素级别的更加精细的调整，进而实现投影机之间无缝隙无重叠的显示，而且画面整体感很强，几乎没有色差；最后结合3D眼镜和支持3D的显示软件，得到一个完整无缝无重叠的超大屏幕的3D画面，给观看者一个更好的视觉体验。附图说明图1为本专利技术提供的一种基于3D扫描和Slam的投影融合方法流程图。图2为本专利技术实施例的映射转换示意图。图3为本专利技术实施例的矩形区域切割示意图。图4为本专利技术实施例的三角形被矩形区域切分示意图。具体实施方式下面结合附图对本专利技术的实施例作进一步的说明。本专利技术本文档来自技高网...

【技术保护点】
一种基于3D扫描和Slam的投影融合方法，其特征在于，包括以下步骤：S1、将一个需要投影的区域映射到一个规则的矩形区域A；S2、将矩形区域A分成N个子区域Si；S3、将所有的子区域Si三角化，生成一张三角形列表；S4、对每个子区域Si生成一张Intensity图和一张offset图；其中Intensity图的每个像素都作为最终RGB值调整的系数，offset图的每个像素作为最终RGB值调整的偏移值；S5、将生成的Intensity图、offset图以及三角形列表利用支持融合的显卡相关接口送入到显卡中；S6、显卡将需要显示的视频流的每帧图像分割成N个子画面，每个子画面都应用之前传入的三角形列表数据以及Intensity图、offset图的数据；S7、每个子画面从DVI或者VGA接口送出，通过独立的HDMI线送入到N个对应的投影机显示；S8、结合3D眼镜和支持3D的显示软件，即可得到3D画面。

【技术特征摘要】
1.一种基于3D扫描和Slam的投影融合方法，其特征在于，包括以下步骤：S1、将一个需要投影的区域映射到一个规则的矩形区域A；S2、将矩形区域A分成N个子区域Si；S3、将所有的子区域Si三角化，生成一张三角形列表；S4、对每个子区域Si生成一张Intensity图和一张offset图；其中Intensity图的每个像素都作为最终RGB值调整的系数，offset图的每个像素作为最终RGB值调整的偏移值；S5、将生成的Intensity图、offset图以及三角形列表利用支持融合的显卡相关接口送入到显卡中；S6、显卡将需要显示的视频流的每帧图像分割成N个子画面，每个子画面都应用之前传入的三角形列表数据以及Intensity图、offset图的数据；S7、每个子画面从DVI或者VGA接口送出，通过独立的HDMI线送入到N个对应的投影机显示；S8、结合3D眼镜和支持3D的显示软件，即可得到3D画面。2.根据权利要求1所述的投影融合方法，其特征在于，所述步骤S1包括以下分步骤：S11、通过画线程序，在显示系统中每个投影机的投影画面中画一组均匀的横线和竖线，使横线和竖线填充满整个投影机屏幕；使用Tof摄像头，对每个投影机画面采集一帧RGB和深度信息，再将所有投影机分成若干个等分，针对每个等分的全部画面采集一帧RGB和深度信息；S12、以第一个投影机信息为基准，手动建立其他投影机与第一个投影机的关联关系，即在显示区域上面做一组标记，在RGB信息图上手动绑定不同投影机画面中相同的点；S13、以左上第一个投影机为全局空间，通过标定点，将其他投影机空间转换到第一个投影机的所在的全局空间中；S14、在全局空间中将所有投影机通过矩阵变换或者小孔成像技术，将所有投影机的投影区域转换到一个平面空间中；S15、设投影机个数为n，将欲显示画面切分成r行、c列同等大小的矩形区域Ti，并且n＝r×s；定义整个计算机桌面确定的区域为uv空间，矩形区域Ti所代表的就是对应投影机需要显示的内容区域，各个投影机显示内容共享同一个uv坐标系；S16、根据步骤S11中投影机显示的横线和竖线，再手工标定一组横线和竖线，并设置好它们在投影机中的xy...

【专利技术属性】
技术研发人员：熊效李，杨浩，毛春森，
申请(专利权)人：成都皓图智能科技有限责任公司，
类型：发明
国别省市：四川,51