一种使用虚拟3D模型产生垂直或前向投影三维图像的方法技术

本发明专利技术公开了一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中3D模型通过真实对象的物理特征的同时定位和深度映射来创建，相机用于从第一视角拍摄第一图像，并从后续视角拍摄后续图像，其中自动聚焦系统提供第一组深度映射数据和随后的一组深度映射数据，第一组深度映射数据和随后的深度映射数据集用于生成视差映射，从视差映射创建虚拟3D模型，对虚拟3D模型进行成像以获得可被视为三维的图像，增强的3D效果被添加到虚拟3D模型中，其导致图像的各方面看起来在显示介质的上方或前方延伸。本发明专利技术一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，体现了增强的3D效果。

A Method of Producing Vertical or Forward Projected 3D Images Using Virtual 3D Models

The invention discloses a method for generating vertical or forward projected three-dimensional images using virtual 3D models, in which the 3D models are created by simultaneous positioning and depth mapping of physical characteristics of real objects. The camera is used to take the first image from the first perspective and subsequent images from the subsequent perspective, in which the autofocus system is used. For the first set of depth mapping data and the subsequent set of depth mapping data, the first set of depth mapping data and the subsequent depth mapping data set are used to generate disparity mapping, create virtual 3D model from disparity mapping, image the virtual 3D model to obtain images that can be regarded as three-dimensional, and the enhanced 3D effect is added to virtual 3D. In the model, all aspects of the image appear to extend above or in front of the display medium. The invention provides a method for generating vertical or forward projection three-dimensional images using virtual 3D models, which embodies the enhanced 3D effect.

【技术实现步骤摘要】
一种使用虚拟3D模型产生垂直或前向投影三维图像的方法
本专利技术涉及用于使用虚拟3D模型创建虚拟立体和/或自动立体图像的方法，具体涉及一种使用虚拟3D模型产生垂直或前向投影三维图像的方法。
技术介绍
几十年前的相机有一个物镜必须指向正在成像的物体，然后物镜必须手动聚焦在该物体上。随着技术的进步，相机被开发出来，能够自动聚焦，也就是说，相机会自动聚焦在相机前面的目标物体上，自动聚焦通常使用飞行时间系统来完成。在飞行时间系统中，诸如红外光源之类的发射器在摄像机镜头指向的方向上发射红外光，然后红外光会传播到物体并被反射回相机，摄像机包含红外传感器，该红外传感器捕获发射器所使用的频率范围内的反射红外光，通过检测发射和接收之间发射能量的飞行时间，可以计算物体的距离，然后使用该信息自动聚焦照相机的镜头。现在许多人使用的相机不是专用设备，相反，摄像机已经集成到手持式智能手机和平板电脑中，因此，携带智能手机的任何人也携带相机，智能手机和平板电脑上使用的相机都有小物镜。此外，这些物镜不能手动聚焦，因此，智能手机上的相机必须依靠自动对焦系统来捕捉清晰的图像。虽然旅行时间系统仍然可以用来确定对象是从相机自动聚焦的距离，但通常使用深度映射获得更有用的信息。在智能电话中，基本深度映射通常使用结构化光系统来实现，在结构光系统中，将诸如网格的红外光图案投射到相机前面的物体上，由于网格图案是在红外中发射的，所以网格图案对于肉眼是不可见的，投影的网格图案被它所击中的物体的形状扭曲。使用智能手机或平板电脑中可用的处理能力，可以将网格图案中的失真转换成表示目标对象形状的深度图，深度图是包含深度相关信息的地图或每个像素数据，其对应于被映射的对象的物理形状。因此，深度值被分配给每个像素数据的单位，然后，这些数据可以被用来创建被映射对象的精确三维模型。一些智能手机有两个相机，它们被设置成立体的一对，通过比较左/右图像和计算对象和摄像机上的各个点之间的距离，可以容易地使用立体相机来实现一些深度映射。在其“项目Tango”立体深度测绘系统中使用了这样的系统，然而，大多数智能手机在智能手机的屏幕侧只有一个摄像头或一个摄像头，用来拍摄自拍。智能手机可以包含一个或多个红外发射器，用于自动聚焦系统或用于专用的深度映射系统，例如在苹果iPhoneX深度映射系统中。然而，从单个摄像机点获得精确的深度图是复杂的，利用单个摄像机，红外旅行时间系统和/或结构化光系统被用来获得关于单个图像的深度数据，然后通过比较连续图像中的归一化移位值来生成视差图。在许多现代智能手机中，使用同步定位和映射(SLAM)软件生成视差图，SLAM软件通过连续的摄像机帧跟踪一组目标像素点，并使用这些轨迹来对实际空间中的位置坐标进行三角测量。同时，在真实空间中的估计位置被用来计算能够观察到它们的摄像机位置。当智能手机的摄像头打开时，它没有两个不同的图像来计算距离，然而，一旦连续拍摄两幅图像，数据就变得可用。此外，可以使用智能电话的加速度计传感器从智能电话获得附加数据，其可用于估计第一图像和后续图像之间的相机位置的变化。因此，在随后的图像之间的光学差异变得已知，以及相机在智能手机上的位置和目标的相应差异。除了对后续图像中的每个目标特征进行三角测量之外，SLAM系统还对每个特征与图像中其他特征的关系之间的差异进行比较，结果是智能手机对目标对象有不同的看法，知道焦点的近似角度，知道摄像机使用的位置之间的距离，并且跟踪已知的特征和它们之间的关系。由此，智能手机可以很好地逼近每个特征如何与其他特征相关联地定位在真实空间中，基本上在所观察的空间中产生目标点的三维映射。一旦完成三维映射，二维图像可以通过匹配对应的图像点被包装到三维映射上，结果是一个虚拟三维模型，许多系统用于从虚拟三维模型创建立体和自动立体图像。然而，大多数现有技术系统产生三维图像，这些图像看起来存在于电子屏幕的平面后面或下方，在该平面上观察图像。创建3D效果会使图像在其上观看的屏幕上方或前面更加困难，为了创建显示在显示器上方或前面的虚拟图像，必须将复杂的调整纳入到图像的创建中。在现有技术中，通过从立体视点成像虚拟3D模型来实现这样的3D效果。改变立体视点之间的视差，或者将视点移位以添加3D效果。在成像之前仅对虚拟3D模型进行轻微的调整。已经发现，虚拟3D模型的3D图像可以更逼真和更清晰地创建，除了控制成像相机视点之外，创造性地改变3D模型，改进的技术代表了在下文中描述和要求的技术的进步。技术方案本专利技术主要解决的技术问题是提供一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中所述虚拟图像包含在所述显示介质上观看时看起来是三维的方面，其特征在于，所述方法包括以下步骤：在物理场景处提供相机，其中所述相机体现了自动对焦系统；从第一视角拍摄所述物理场景的第一图像，其中所述自动聚焦系统提供对应于所述第一图像的第一组深度映射数据；利用所述相机从后续视角拍摄所述物理场景的后续图像，其中所述自动聚焦系统提供对应于所述后续图像的后续深度映射数据集；使用所述第一组深度映射数据和所述后续深度映射数据集生成视差映射；从所述视差映射创建所述物理场景的虚拟3D模型；从立体视点成像所述虚拟3D模型以获得所述虚拟3D模型的立体图像；在所述显示介质上显示所述立体图像。可选的，还包括改变所述虚拟3D模型以向所述虚拟3D模型添加效果，所述虚拟3D模型在所述显示介质上观看时，使得所述虚拟3D模型的立体图像中的各方面看起来伸出所述显示介质。可选的，其中，改变所述虚拟3D模型包括倾斜所述虚拟3D模型中的至少一些。本专利技术的有益效果是：本专利技术一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，体现了增强的3D效果。附图说明图1示出了创建和利用本专利技术所需的系统硬件。图2是虚拟场景的示例性实施例的透视图。图3是图2的虚拟场景的侧视图。实施例下面对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。参照图1，可以理解，本专利技术用于产生具有增强3D效果的生产图像10，在显示介质(例如打印页面)或电子设备14的显示器12的图示示例上观看生产图像10，生产图像10可以是静止图像或视频。无论如何，当在显示器12上观看时，生产图像10看起来具有三维的方面。此外，至少一些生产图像10体现了增强的3D效果，使得生产图像10的各方面出现在显示器12的表面平面之上或前面。如果电子设备14是传统的LED或LCD显示器，则必须用3D眼镜观看生产图像10，以便观察生产图像10中的三维效果。同样，如果生产图像10被打印在纸介质上，则必须用3D眼镜来观看生产图像10。或者，如果电子设备14具有自动立体显示，那么可以用肉眼观察生产图像10中增强的3D效果。包含增强的3D效果的生产图像10开始作为由相机17捕获的物理场景15，相机17可以是单眼相机或立体相机，相机具有自动聚焦系统18，其发射信号并接收这些信号的反射，以确定与相机17前面的物体的距离。相机17优选地以智能电话或平板电脑的形式体现在手持电子设备14中。手持式电子设备14具有其自己的处理器20，并且运行自动聚焦系统18，该系统使用飞行时间和/或结构化光子系统来聚焦照相本文档来自技高网...

【技术保护点】
1.一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中所述虚拟图像包含在所述显示介质上观看时看起来是三维的方面，其特征在于，所述方法包括以下步骤：在物理场景处提供相机，其中所述相机体现了自动对焦系统；从第一视角拍摄所述物理场景的第一图像，其中所述自动聚焦系统提供对应于所述第一图像的第一组深度映射数据；利用所述相机从后续视角拍摄所述物理场景的后续图像，其中所述自动聚焦系统提供对应于所述后续图像的后续深度映射数据集；使用所述第一组深度映射数据和所述后续深度映射数据集生成视差映射；从所述视差映射创建所述物理场景的虚拟3D模型；从立体视点成像所述虚拟3D模型以获得所述虚拟3D模型的立体图像；在所述显示介质上显示所述立体图像。

【技术特征摘要】
1.一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中所述虚拟图像包含在所述显示介质上观看时看起来是三维的方面，其特征在于，所述方法包括以下步骤：在物理场景处提供相机，其中所述相机体现了自动对焦系统；从第一视角拍摄所述物理场景的第一图像，其中所述自动聚焦系统提供对应于所述第一图像的第一组深度映射数据；利用所述相机从后续视角拍摄所述物理场景的后续图像，其中所述自动聚焦系统提供对应于所述后续图像的后续深度映射数据集；使用所述第一组深度映射数据和所述后续深度映射数据集生成视差映射；从所述视差映射创建所述物理场景...

【专利技术属性】
技术研发人员：周冬，
申请(专利权)人：江阴嘉恒软件技术有限公司，
类型：发明
国别省市：江苏,32