基于视觉反馈的三维扫描系统和方法技术方案

本发明专利技术公开了一种基于视觉反馈的三维扫描系统和方法，系统包括：一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；深度传感器，用于创建对象的点云；反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像。本发明专利技术能实时生成三维扫描图像和在本地对对象进行实时渲染操作，实时性好；通过在扫描和渲染过程中提供实时的视频反馈内容，方便了用户对扫描和渲染过程进行实时监视或检查，确保了扫描图像的质量，更加可靠和方便。本发明专利技术可广泛应用于成像和扫描技术领域。

3D scanning system and method based on visual feedback

The present invention discloses a three-dimensional scanning system and method based on visual feedback. One or more cameras are used to take at least one photograph of the object to be scanned; a depth sensor, a point cloud for creating an object; a feedback module is used to provide feedback on a display screen in real time, so that the user can be used in real time. At least one of the objects in the rendering and scanning process can be viewed in real time; the processor is used to render the object in real time by merging and processing at least one photograph taken by the camera with the point cloud to generate a three-dimensional scan image of the object. The invention can generate 3D scanning image in real time and real-time rendering operation on local object, and it can provide real-time video feedback in the process of scanning and rendering. It is convenient for users to monitor and inspect the process of scanning and rendering, so as to ensure the quality of the scanned image, more reliable and convenient. . The invention can be widely applied to the field of imaging and scanning technology.

【技术实现步骤摘要】
基于视觉反馈的三维扫描系统和方法
本专利技术涉及成像和扫描
，尤其是一种基于视觉反馈的三维扫描系统和方法。
技术介绍
三维扫描仪是一种科学仪器，用来侦测并分析环境或现实世界中物体的形状(几何构造，如高度、长度、宽度等)与外观数据(如颜色、表面反照率等性质)。三维扫描仪搜集到的数据常被用来进行三维重建计算，在虚拟世界中创建实际物体的三维数字模型。通常，三维激光扫描仪会创建物体表面的点云数据。此外，在三维扫描过程中，三维扫描仪会捕捉实体对象的实际大小和形状数据并将其以三维数字的形式进行存储。以三维数字的形式存储的数据可以用于进一步的计算。三维激光扫描仪通过在整个视场内发射激光束来测量水平角度。无论何时激光束照射到反射表面，其都会反射回三维激光扫描仪的方向。以TOF三维激光扫描仪例，其以点云形式提供扫描物体表面的三维数据的工作原理为：根据内部精密的测量系统提供发射出去的激光光束的水平方向角度和垂直方向角度；由脉冲激光发射到反射被接收的时间计算得到仪器到物体扫描点的距离值；根据提供的扫描反射接收的激光强度，对物体扫描点进行颜色灰度的匹配。然而，目前的三维扫描仪或三维扫描系统仍存在不少缺点或局限性。例如，其需要用户拍摄大量的图片才能进行360度漫游，导致三维扫描仪也需要花费更多的时间来拍摄图像或拍摄照片。而对越多数量的图片(或图像)进行组合或拼接，所需要花费的拼接时间也越多。类似地，处理更多数量的图片(或图像)，所需的处理时间也会增加。而由于图片数量变多，三维扫描仪或系统最终的扫描图片大小会增加，导致可能需要占用更多的存储空间。此外，目前的三维扫描仪只能相用户展示最终的扫描结果，不能向用户展示扫描的中间过程，无法对扫描的过程进行监视或查看，不够方便。另外，目前的三维扫描仪不支持点云和摄像机拍摄照片的实时合并操作，不能进行实时生成三维扫描图像，也不支持本地对对象进行实时渲染操作。
技术实现思路
为解决上述技术问题，本专利技术的第一目的在于：提供一种基于视觉反馈的三维扫描系统和方法，以为用户实时提供关于对象扫描过程和渲染过程的视觉反馈内容，并能进行实时合并和在本地进行实时渲染。用户可以根据该视觉反馈内容进行监视/检查并根据需要进行修改，以提升扫描的质量。本专利技术的第二目的在于：提供一种基于视觉反馈的三维扫描系统和方法，以为用户实时提供关于对象扫描过程和渲染过程的视觉反馈内容，并能进行实时合并和在云网络进行渲染。用户可以根据该视觉反馈内容进行监视/检查并根据需要进行修改，以提升扫描的质量。本专利技术所采取的第一技术方案是：基于视觉反馈的三维扫描系统，包括：一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；深度传感器，用于创建对象的点云；反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。进一步，所述用户提供的输入包括对象渲染的一个或多个属性信息。进一步，所述一个或多个摄像机根据激光中心坐标和摄像机第一次拍摄的第一张照片的相对宽度逐张地捕捉后续所述一张或多张照片，所述激光中心坐标根据摄像机第一次拍摄的第一张照片来确定。进一步，还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。本专利技术所采取的第二技术方案是：基于视觉反馈的三维扫描系统，包括扫描仪和基于云网络的处理器，其中，所述扫描仪包括：深度传感器，用于创建对象的点云；一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；第一反馈模块，用于实时在显示模块上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；所述基于云网络的处理器，用于依次执行以下操作：接收来自扫描仪的点云和至少一张照片；将视觉反馈内容实时发送给第二反馈模块以展示给用户；通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；将对象的扫描图像发送给扫描仪以向用户显示。其中，第一反馈模块用于方便扫描现场(即扫描仪旁)的用户观看，第二反馈模块用于方便非扫描现场(即云网络上)的用户观看。进一步，所述一个或多个摄像机根据激光中心坐标和摄像机第一次拍摄的第一张照片的相对宽度逐张地捕捉后续所述一张或多张照片，所述激光中心坐标根据摄像机第一次拍摄的第一张照片来确定。进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。进一步，所述用户提供的输入包括对象渲染的一个或多个属性信息。进一步，还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。进一步，所述对象包括对称对象和不对称对象中的至少一个。本专利技术所采取的第三技术方案是：一种基于视觉反馈的三维扫描方法，包括以下步骤：拍摄对象的至少一张照片以进行扫描；创建对象的点云；实时在反馈模块的显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。本专利技术所采取的第四技术方案是：一种基于视觉反馈的三维扫描方法，包括以下步骤：通过扫描仪的深度传感器创建对象的点云；通过扫描仪的一个或多个摄像机拍摄对象的至少一张照片以进行扫描；通过扫描仪的第一反馈模块实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；由基于云网络的处理器接收来自扫描仪的点云和至少一张照片；基于云网络的处理器将视觉反馈内容实时发送给第二反馈模块以展示给用户；基于云网络的处理器通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；由基于云网络的处理器将对象的三维扫描图像发送给扫描仪以向用户展示。进一步，还包括确定用于拍摄所述至少一张照片的精确位置坐标的步骤。进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。本专利技术的有益效果是：本专利技术基于视觉反馈的三维扫描系统和方法，通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，能实时生成三维扫描图像和在本地对对象进行实时渲染操作，实时性好；通过在扫描和渲染过程中提供实时的视频反馈内容，方便了用户对扫描和渲染过程进行实时监视或检查，从而使得用户可以根据实时的视频反馈内容来进行调整，确本文档来自技高网...

【技术保护点】
1.基于视觉反馈的三维扫描系统，其特征在于：包括：一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；深度传感器，用于创建对象的点云；反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。

【技术特征摘要】
2017.11.10 US 62/584,1341.基于视觉反馈的三维扫描系统，其特征在于：包括：一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；深度传感器，用于创建对象的点云；反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。2.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。3.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：所述用户提供的输入包括对象渲染的一个或多个属性信息。4.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：所述一个或多个摄像机根据激光中心坐标和摄像机第一次拍摄的第一张照片的相对宽度逐张地捕捉后续所述一张或多张照片，所述激光中心坐标根据摄像机第一次拍摄的第一张照片来确定。5.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。6.基于视觉反馈的三维扫描系统，其特征在于：包括扫描仪和基于云网络的处理器，其中，所述扫描仪包括：深度传感器，用于创建对象的点云；一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；第一反馈模块，用于实时在显示模块上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；所述基于云网络的处理器，用于依次执行以下操作：接收来自扫描仪的点云和至少一张照片；将视觉反馈内容实时发送给第...

【专利技术属性】
技术研发人员：李新福，
申请(专利权)人：广东康云多维视觉智能科技有限公司，
类型：发明
国别省市：广东,44