立体视频采集系统技术方案

本发明专利技术公开了一种立体视频采集系统，包括：围绕拍摄区域布置的至少三个采集设备，采集设备具有已知的相对位置关系，并且各自包括：红外光投射装置，用于向拍摄区域投射带纹理的红外光束；以及之间具有预定相对位置关系的两个图像传感器，用于获取拍摄区域中的拍摄对象反射的红外纹理图像；采集系统还包括：与每一个采集设备相连接的立体图像合成设备，用于将采集设备的图像传感器获取的至少六幅红外纹理图像合成为用于立体视频的立体图像帧。由此，通过主动投射的红外条纹进行双目识别和立体合成，能够大幅降低对系统硬件和计算时间的需求。

Stereo video acquisition system

The invention discloses a stereo video acquisition system, including: around the shooting area arranged at least three acquisition equipment, relative position between acquisition device has known, and each including: infrared light projection device for infrared light beam to the shooting area projection texture; two image sensor having a predetermined relative position as well as the relationship between used to obtain the area of the shooting, shooting infrared texture image object reflective; acquisition system also includes a stereo image synthesizing device connected to each acquisition device, is used to obtain the image sensor acquisition equipment at least six infrared texture image synthesis for stereo images for stereoscopic video frames. Thus, the binocular image recognition and stereo synthesis can be greatly reduced by the active infrared fringe.

【技术实现步骤摘要】

本专利技术涉及三维图像拍摄和处理领域，特别涉及一种立体视频采集系统及其涉及的相应采集和合成方法。
技术介绍
目前，有关三维图像拍摄的各种方案已广泛发展。一般而言，拍摄三维图像时，使用两个成像装置分别对拍摄区域或对象进行拍摄，从不同的视角同时获得两个二维图像，并将这两幅图像通过计算合成为带有深度信息的三维图像。双目成像技术只能实现单视角的三维图像。为了实现立体成像，现有技术中还给出了布置多个成像装置进行立体拍摄与合成的方案。但这些现有的技术方案需要对成像装置进行复杂的设置与调制，并且需要大量的计算来实现立体视频的合成。这样高的专业性和成本的要求使得立体视频的利用难以得到普及。因此还需要一种能够以相对简单的布置和低廉的造价实现立体视频采集的方法和装置。
技术实现思路
本专利技术的主要目的在于提供一种立体视频采集系统及其涉及的相应采集和合成方法，其能够以相对简单的布置和低廉的造价方便地实现立体视频的采集。根据本专利技术的一个方面，提供了一种立体视频采集系统，包括：围绕拍摄区域布置的至少三个采集设备，至少三个所述采集设备具有已知的相对位置关系，并且各自包括：红外光投射装置，用于向所述拍摄区域投射带有纹理的红外光束；以及两个图像传感器，两个所述图像传感器之间具有预定相对位置关系，并且用于获取所述拍摄区域中的拍摄对象反射的红外纹理图像；所述立体视频采集系统还包括：与每一个所述采集设备相连接的立体图像合成设备，用于将所述至少三台采集设备的图像传感器获取的至少六幅红外纹理图像合成为用于立体视频的立体图像帧。由此，通过主动投射的红外条纹进行双目识别和立体合成，能够相比于通常的色彩合成大幅降低对系统硬件和计算时间的需求。另外，通过获知采集设备及其包含的图像传感器的相对位置，就能够从获取的红外图像中快速构建立体图像帧，以实现成本相对低廉、可实现性强且系统效率高的立体视频采集。采集系统还可以包括用于使得至少三个采集设备进行同步成像的同步设备，所述同步设备与每一个所述采集设备相连接并且与所述立体图像合成设备相连接。优选地，同步设备可以与每一个采集设备有线连接。这样，通过直接的物理连接，能够用电信号实现各采集设备的同步，这就省却了采用其他信号(例如，无线信号等)进行同步所需的复杂装置和计算，由此在提升处理速度的同时降低了系统的复杂性。采集设备的红外光投射装置可以投射带有不同纹理编码(例如，点编码)的红外光束，由此确保各自的图像传感器不会受到来自其他采集设备的红外光束的干扰。可以在采集设备端进行一定的计算，为此采集设备还可以包括深度图生成装置，用于从两个所述图像传感器获得的红外纹理图像中生成深度点图，并且所述立体图像合成设备还可以包括点云合成装置，用于将至少三个所述采集设备生成的至少三个深度点图合成为三维点云。通过使用深度信息合成点云，能够更为简单且准确的计算来实现三维建模，从而进一步系统的可实现性和成本竞争力。深度图也可以在立体图像合成设备中生成，因此立体图像合成设备也可以包括用于从每一个所述采集设备的两幅红外纹理图像中生成深度点图并将至少三个所述采集设备生成的至少三个深度点图合成为三维点云的点云合成装置，立体图像合成设备还可以包括立体模型生成装置，用于对所述三维点云进行表面mesh处理以生成拍摄对象的立体模型图像帧。由此实现更为符合实际需求的立体模型。本采集系统还可以对可见光信息进行采集。由此，采集设备可以各自包括可见光图像传感器，用于获取所述拍摄区域中的拍摄对象的可见光图像。相应地，立体图像合成设备还可以包括可见光信息合并装置，用于将所述可见光图像所包含的图像信息并入所述立体图像帧，例如直接在经过表面mesh处理的模型上贴图。由此，能够以极低的计算代价实现对彩色信息的叠加。本采集系统可以是为一组采集设备配备一个立体图像合成设备的独立系统，也可以是在服务器端实现立体图像合成的大型系统。由此，立体图像合成设备是合成服务器，经由有线或无线网络连接与每一个所述采集设备相连接。采集系统包括多个采集设备组，分别用于对不同的拍摄区域进行成像，并且合成服务器为每一个所述采集设备组各自合成为用于立体视频的立体图像帧。根据本专利技术的另一个方面，提供了一种立体视频采集方法，包括：布置步骤，围绕拍摄区域布置至少三个采集设备，至少三个所述采集设备被布置成具有已知的相对位置关系；采集步骤，至少三个所述采集设备向所述拍摄区域投射带有纹理的红外光束，并且使用具有预定相对位置关系的两个图像传感器获取所述拍摄区域中的拍摄对象反射的红外纹理图像；发送步骤，至少三个所述采集设备向立体图像合成设备发送获取的至少六幅红外纹理图像以合成用于立体视频的立体图像帧。由此实现对信息的采集。优选地，采集步骤可以包括对可见光图像的采集，发送步骤可以相应地发送采集到的可见光图像信息以实现彩色立体图像合成。根据本专利技术的再一个方面，提供了一种立体视频合成方法，包括：接收步骤，接收来自围绕拍摄区域布置至少三个采集设备所采集的拍摄区域中的拍摄对象反射的至少六幅红外纹理图像，其中每个采集设备通过具有预定相对位置关系的两个图像传感器采集两幅红外纹理图像；以及合成步骤，基于至少所述三个采集设备已知的相对位置关系、以及每个采集设备各自两个图像传感器的预定相对位置关系，将获取的所述至少六幅红外纹理图像以合成用于立体视频的立体图像帧。同样地，接收步骤可以包括对可见光信息的接收，合成步骤则可将可见光图像信息并入立体图像帧。合成步骤可以包括基于来自同一采集设备的两幅红外纹理图像以及相应两个图像传感器的预定相对位置关系，生成深度点图；根据至少三幅深度点图生成三维点云；以及根据所述三维点云生成拍摄对象的立体模型图像帧。本专利技术的立体视频采集方案通过从主动投射的红外条纹中进行双目识别和立体合成，能够相比于通常的色彩合成大幅降低对系统硬件和计算时间的需求。通过获知采集设备及其包含的图像传感器的相对位置，就能够从获取的红外图像中快速构建立体图像帧，以实现成本相对低廉、可实现性强且系统效率高的立体视频采集。另外，通过充分利用红外点编码成像的天然属性，经由深度图合成三维点云，能够将立体建模过程大幅简化，进一步提升系统效率并降低成本。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1是示出了根据本专利技术一个实施例的立体视频采集系统的功能框图。图2是示出了根据本专利技术一个实施例的采集设备的示意性布置。图3是示出了根据本专利技术一个实施例的采集方法的示意性流程图。图4示出了根据本专利技术一个实施例的分布式采集系统的示意图。图5是示出了根据本专利技术一个实施例的合成方法的示意性流程图。图6示出了本专利技术的采集系统所获取的立体视频帧的一个例子。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。下面将参照图1至图4来具体地描述本专利技术的实施例。图1是示出了根据本专利技术一实施例的立体视频采集系统100的功能框图本文档来自技高网...

【技术保护点】
一种立体视频采集系统，包括：围绕拍摄区域布置的至少三个采集设备，至少三个所述采集设备具有已知的相对位置关系，并且各自包括：红外光投射装置，用于向所述拍摄区域投射带有纹理的红外光束；以及两个图像传感器，两个所述图像传感器之间具有预定相对位置关系，并且用于获取所述拍摄区域中的拍摄对象反射的红外纹理图像；所述立体视频采集系统还包括：与每一个所述采集设备相连接的立体图像合成设备，用于将所述至少三台采集设备的图像传感器获取的至少六幅红外纹理图像合成为用于立体视频的立体图像帧。

【技术特征摘要】
1.一种立体视频采集系统，包括：围绕拍摄区域布置的至少三个采集设备，至少三个所述采集设备具有已知的相对位置关系，并且各自包括：红外光投射装置，用于向所述拍摄区域投射带有纹理的红外光束；以及两个图像传感器，两个所述图像传感器之间具有预定相对位置关系，并且用于获取所述拍摄区域中的拍摄对象反射的红外纹理图像；所述立体视频采集系统还包括：与每一个所述采集设备相连接的立体图像合成设备，用于将所述至少三台采集设备的图像传感器获取的至少六幅红外纹理图像合成为用于立体视频的立体图像帧。2.如权利要求1所述的采集系统，还包括：用于使得至少三个采集设备进行同步成像的同步设备，所述同步设备与每一个所述采集设备相连接。3.如权利要求2所述的采集系统，其中，所述同步设备与每一个所述采集设备有线连接。4.如权利要求1所述的采集系统，其中，至少三个所述采集设备的所述红外光投射装置投射带有不同点编码的红外光束。5.如权利要求4所述的采集系统，其中，所述采集设备还包括深度图生成装置，用于从两个所述图像传感器获得的红外纹理图像中生成深度点图，并且所述立体图像合成设备还包括点云合成装置，用于将至少三个所述采集设备生成的至少三个深度点图合成为三维点云。6.如权利要求4所述的采集系统，其中，所述立体图像合成设备还包括点云合成装置，用于从每一个所述采集设备的两幅红外纹理图像中生成深度点图，并将至少三个所述采集设备生成的至少三个深度点图合成为三维点云。7.如权利要求5或6所述的采集系统，其中，所述立体图像合成设备还包括立体模型生成装置，用于对所述三维点云进行表面mesh处理以生成拍摄对象的立体模型图像帧。8.如权利要求1所述的采集系统，至少三个所述采集设备各自还可以包括：可见光图像传感器，用于获取所述拍摄区域中的拍摄对象的可见光图像，并且所述立体图像合成设备还包括可见光信息合并装置，用于将所述可见光图像所包含的图像信息并入所述立体图像帧。9.如权利要求1所述的采集系统，其中，所述立体图像合成设备是合成服务器，经由有...

【专利技术属性】
技术研发人员：王敏捷，粱雨时，
申请(专利权)人：上海图漾信息科技有限公司，
类型：发明
国别省市：上海;31