一种基于结构光扫描的远程快速3D投影方法及系统技术方案

本发明专利技术涉及投影和图像处理技术领域，公开了一种基于结构光扫描的远程快速3D投影方法，包括步骤S1：将拍摄图片经构建的神经网络计算获得去除摩尔纹的图片，对去除摩尔纹的图片进行格雷码解码；步骤S2：对解码的图片处理后生成标记表，根据不同格雷码位数对应的标记表确定投影机像素点与图片像素点之间的映射关系；步骤S3：依据所述映射关系生成投影机视角影的二维映射图片；步骤S4：以二维映射图片为底稿进行编辑，将编辑的内容通过投影机输出到被投射物体上实现3D投影。本发明专利技术的提供的3D投影实现方法通过计算出投影机视角的二维映射图片，并直接对相应的二维映射图片进行相应的艺术操作即可，不再需要对图片进行任何畸变调整，操作简单。操作简单。操作简单。

【技术实现步骤摘要】
一种基于结构光扫描的远程快速3D投影方法及系统


[0001]本专利技术涉及投影和图像处理
，具体涉及一种基于结构光扫描的远程快速3D投影方法及系统。

技术介绍

[0002]目前市面上投影（mapping）主要应用分为两种：一种为针对2D平面内容精细投影，另一种为针对3D立体内容的3D投影技术。
[0003]3D立体内容的3D投影目前主要有两种实现方式，其一是类似于2D平面内容精细投影的依赖于人为调整输出画面畸变的方式。另一种则是通过多个高精度摄像机来以及实现对被投射物体进行三维场景重建，来准确的确定投影机和被投射物体对的空间关系进而实现实时追踪自动全自动修正畸变。在实现效果上第二种方案无论投影精度还是对投影机位置变化的抗干扰程度都远远强于第一种方案。但是其也有一些明显的不足：第一被投射的物体需要在事前准备出相对精度较高的三维建模，这一必要无疑极大的削减的此技术的应用场景。因为一些体积较大的建筑物或者其他设备进行较为精密的3D建模既需要选用相对专业的设备又需要投入大量的时间才可以得到一个相对满意的结果。此外，3D投影中所需要的硬件设备极为昂贵，至少需要使用2个高分辨率工业摄像头以及其他辅助设备，因此，成本较高。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种基于结构光扫描的远程快速3D投影方法以及系统，实现3D投影操作简单，硬件成本低，且应用场景广。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种基于结构光扫描的远程快速3D投影方法，包括：步骤S0：通过将格雷码编码的图片投射到被扫描物体上，进行逐一拍摄获取拍摄图片；步骤S1：将拍摄图片经构建的神经网络计算获得去除摩尔纹的图片，对去除摩尔纹的图片进行格雷码解码；步骤S2：对解码的图片处理后生成标记表，根据不同格雷码位数对应的标记表确定投影机像素点与图片像素点之间的映射关系；步骤S3：依据所述映射关系生成投影机视角影的二维映射图片；步骤S4：接收以所述二维映射图片为底稿编辑的内容并远程传输至投影机输出到被投射物体上实现3D投影。
[0006]在本专利技术中，进一步的，所述步骤S2包括：将图片转换为灰度图，依据灰度图中正反格雷码图片的灰度差值生成标记表，根据所述标记表确定投影机像素点所映射对应的图片像素点；其中，所述标记表中包括确定像素点和不确定的像素点，根据确定像素点的标记
表确定图片中每个像素对应的格雷码值，将格雷码值转换为十进制得到每个图片中的像素点对应的投影机的像素点，对应不确定的像素点先通过已确定的像素点验证缺失信息并确定填充位置。
[0007]在本专利技术中，进一步的，所述依据正反格雷码图片的灰度差值生成标记表包括：将图片中正反格雷码图片的灰度差值与设定的正负灰度值做对比，将灰度差值大于正设定灰度值在此张格雷码下状态值记为1，将灰度差值小于负设定灰度值在此张格雷码下状态值记为0，将灰度值在正灰度值与负灰度值之间的不确定的点记为2，对不同位数的格雷码重复上述操作生成一张包括0、1、2状态的标记表，其中，状态0、1代表确定的像素点，状态2代表不确定的像素点。
[0008]在本专利技术中，进一步的，根据所述标记表确定投影机像素点所映射对应的图片像素点包括：若一个投影机像素点仅对应一个图片像素点，则确定该图片像素点为对应的投影机像素点；若一个投影机像素点对应不少于一个图片像素点，则对所述图片像素点进行筛选确定唯一图片像素点与投影机中像素点对应。
[0009]在本专利技术中，进一步的，所述对应不确定的像素点先通过已确定的像素点验证缺失信息并确定填充位置包括：步骤S200：确定不确定的像素点是否仅最高位格雷码处于状态2，是则执行步骤S201；步骤S201：查找缺失一位格雷码的图片像素点对应的投影机像素点，判断对应的投影机像素点以及是否有对应图片像素，有则不填充到相应的缺失位置，没有则进行步骤S202；步骤S202：根据应缺失位置的图片像素点的水平和竖直坐标来对需要确定映射关系的投影机像素点进行判断，最终确定需要填充的位置坐标。
[0010]在本专利技术中，进一步的，将步骤S1神经网络的构建方法包括：步骤S10：对数据集中的原始图片使用卷积生成相关图像的特征图；步骤S11：对所述特征图进行池化实现下采样，获得低分辨率的特征图；步骤S12：对所述低分辨率的特征图进行多层卷积操作并进行等输入输出变换；步骤S13：对变换后的特征图反卷积操作后进行整合，获得神经网络输出的图片；步骤S14：将神经网络输出的图片与对应的不含摩尔纹的图片对比，获取误差函数并使用梯度下降算法来进行反向传播以修正整个神经网络。
[0011]在本专利技术中，进一步的，所述步骤S13包括步骤S13
‑
1：按照以下公式进行反卷积操作获得与原图尺寸等大的特征图：其中，o为输出尺寸，s为步长，i为输入尺寸，p为填充，k为卷积核尺寸；步骤S13
‑
2：对步骤S13
‑
1的所有特征图转换为通道3的特征图；步骤S13
‑
3：将步骤S13
‑
2中所有通道3的特征图的逐像素相加并求平均，得到神经网络所产生的去摩尔纹的图片。
[0012]在本专利技术中，进一步的，所述数据集的获取方法：
将不含摩尔纹的图片做为真值，将其呈现在不同的显示器上并用摄像机对其进行拍摄，获得与不含摩尔纹的图片相对应的原始图片。
[0013]在本专利技术中，优选的，所述对所述图片像素点进行筛选确定唯一图片像素点与投影机中像素点对应中筛选方法为：计算某个图片的像素点和其他像素点欧式距离的平均值，筛选出平均值小于3的像素点，并选取平均值最小的点为唯一图片像素点。
[0014]一种基于结构光扫描的远程快速3D投影系统，包括：结构光扫描模块，用于以投影一张格雷码图片拍摄一张照片的模式，对水平、竖直以及正、反格雷码分别通过投影机进行投射并通过摄像机采集相应的照片；二维映射图生成模块，用于对采集的照片进行格雷码解码，并通过神经网络去除摩尔纹，对去除摩尔纹的图片进行处理以生成若干张标记表，根据不同格雷码位数对应的标记表确定每个图片像素点与对应的投影机中的像素点之间的映射关系，根据该映射关系生成投影机视角的二维映射图片；艺术效果加工以及输出模块，用于接收以生成的二维映射图片为底稿进行编辑加工的图片或者视频，并将图片或者视频远程送至现场的投影机进行画面输出。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术的提供的3D投影实现方法使用结构光技术计算出投影机视角的二维映射图片，并直接对相应的二维映射图片进行相应的艺术操作即可，不再需要对图片进行任何畸变调整，操作简单，解决了现有技术中需要提前对投影物体的三维建模、对图像进行校正以及应用场景有限的问题。
[0016]此外，本专利技术还采用深度学习的方式来对采集的照片进行加工，通过构建神经网络去除图片中的摩尔纹，以防止对后续图片识别以及处理造成干扰。同时，本专利技术通过设置0、1、2三种状态的映射表，来确定投影机与摄像机之间的映射关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构光扫描的远程快速3D投影方法，其特征在于，包括：步骤S0：通过将格雷码编码的图片投射到被扫描物体上，进行逐一拍摄获取拍摄图片；步骤S1：将拍摄图片经构建的神经网络计算获得去除摩尔纹的图片，对去除摩尔纹的图片进行格雷码解码；步骤S2：对解码的图片处理后生成标记表，根据不同格雷码位数对应的标记表确定投影机像素点与图片像素点之间的映射关系；步骤S3：依据所述映射关系生成投影机视角的二维映射图片；步骤S4：接收以所述二维映射图片为底稿编辑的内容并远程传输至投影机输出到被投射物体上实现3D投影。2.根据权利要求1所述的一种基于结构光扫描的远程快速3D投影方法，其特征在于，所述步骤S2包括：将所述图片转换为灰度图，依据正反格雷码图片的灰度差值生成标记表，根据所述标记表确定投影机像素点所映射对应的图片像素点；其中，所述标记表中包括确定像素点和不确定的像素点，根据确定像素点的标记表确定图片中每个像素对应的格雷码值，将格雷码值转换为十进制得到每个图片中的像素点对应的投影机的像素点，对应不确定的像素点先通过已确定的像素点验证缺失信息并确定填充位置。3.根据权利要求2所述的一种基于结构光扫描的远程快速3D投影方法，其特征在于，所述依据正反格雷码图片的灰度差值生成标记表包括：将图片中正反格雷码图片的灰度差值与设定的正负灰度值做对比，将灰度差值大于正灰度值在此张格雷码下状态值记为1，将灰度差值小于负灰度值在此张格雷码下状态值记为0，将灰度值在正灰度值与负灰度值之间的不确定的点记为2，对不同位数的格雷码重复上述操作生成一张包括0、1、2状态的标记表，其中，状态0、1代表确定的像素点，状态2代表不确定的像素点。4.根据权利要求2所述的一种基于结构光扫描的远程快速3D投影方法，其特征在于，根据所述标记表确定投影机像素点所映射对应的图片像素点包括：若一个投影机像素点仅对应一个图片像素点，则确定该图片像素点为对应的投影机像素点；若一个投影机像素点对应不少于一个图片像素点，则对所述图片像素点进行筛选确定唯一图片像素点与投影机中像素点对应。5.根据权利要求4所述的一种基于结构光扫描的远程快速3D投影方法，其特征在于，所述对应不确定的像素点先通过已确定的像素点验证缺失信息并确定填充位置包括：步骤S200：确定不确定的像素点是否仅最高位格雷码处于状态2，是则执行步骤S201；步骤S201：查找缺失一位格雷码的图片像素点对应的投影机像素点，判断对应的投影机像素点以及是否有对应图片像素，有则不填充到相应的缺失位置，没有则进行步骤S202；步骤S202：根据应缺失位置的图片像素点的水平和竖直坐标来对需要确定映射关系...

【专利技术属性】
技术研发人员：于洋，吴雷，
申请(专利权)人：视田科技天津有限公司，
类型：发明
国别省市：