图像处理方法和装置制造方法及图纸

本申请涉及图像处理方法及装置，其中该图像处理方法包括：获取数字全息图；根据预定条件，确定是否进行三维显示；以及当确定进行三维显示时，基于所述数字全息图生成用于三维显示的图像；或当确定不进行三维显示时，基于所述数字全息图生成用于二维显示的图像。通过本申请的图像处理方法和装置能够灵活地实现三维显示和二维显示之间的切换，从而增强了用户体验、提高了显示图像的连贯性以及各种应用展示图像的效果。

【技术实现步骤摘要】
图像处理方法和装置
本申请涉及一种图像处理方法和装置。优选的，本申请涉及一种用于在二维显示模式和三维显示模式之间进行切换的图像处理处理方法和装置。
技术介绍
虚拟现实技术是一种具沉浸感、交互性和构想性的技术，其实现的交互方式之一就是三维立体显示技术。三维立体显示可以全面的展现出图像的位置、层次和纵深，使观察者更直观地了解图像的现实分布状况，从而更全面了解图像或立体投影。目前，在虚拟现实中应用的是双目立体技术：人的左右眼分别从不同位置和角度观看同一物体时在双眼视网膜结像会出现的微小水平像位差，即水平视差。三维立体显示的基本原理就是要以人工方式来重现视差，即将具有水平视差的左眼图像和右眼图像分别输送给观察者的左眼和右眼，使得观察者能够感知到立体深度，形成立体感。在这个基础上发展出各式各样的三维立体显示技术，目前相对成熟的是基于眼镜的三维立体显示。实现虚拟现实的现有技术之一的方法流程如图26所示，其通过虚拟摄像机投影到屏幕上，并通过虚拟摄像机视锥体对人眼视域进行建模。然后将视锥体里的三维物体通过透视投影变化投影在视口上，最后将视口元素渲染到显示器屏幕。在得到空间任一点在左右图像中的对应坐标和两摄像机参数矩阵的条件下，即可进行空间点的重建，即实现基于人眼视觉原理的虚拟现实显示。上述现有技术是目前虚拟现实中立体显示的主流技术。其核心是获取三维场景中任一点满足人眼需求的左右图像，并将左右图像分别输入左眼和右眼，从而产生立体视觉效果。并且随着当今社会中图像处理技术的飞速发展，增强现实(AugmentedReality，简称AR)技术也广泛地应用在图像处理领域。增强现实(AR)技术是指将通过计算机生成的虚拟对象增加用户对现实世界感知的技术，可以将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。增强现实(AR)技术的最大特点是通过三维注册方法，将虚拟场景与真实场景进行叠加，并允许用户同时观看真实场景中的物体和虚拟环境的物体，获得超越真实景物的视觉感受和信息服务。增强现实(AR)的关键技术包括：虚实物体匹配(又可以称为三维注册过程)和三维显示技术。现有的三维注册技术主要包括：基于认知、基于数字图像分析和基于视觉的三维环境注册方法虚实物体匹配(即三维注册过程)是指对真实场景图像和计算机生成的虚拟对象进行无缝合成。上述无缝合成的具体过程为：首先根据真实场景中的真实对象确定虚拟对象与观察者之间的关系，然后，通过正确的投影将虚拟对象投影至观察者的视域范围。基于视觉的三维环境注册方法采用单摄像头，利用摄像成像原理对真实场景进行信息采集和转换，将三维物体图像转换为二维图像，实现把现实环境的坐标表示为虚拟环境的坐标；然后，通过识别和确定标识物数据模型，即将现实环境坐标系与通过摄像所得到的虚拟坐标系进行比对分析，便可以计算出摄像头相对于真实场景的位置、方向及角度；有了摄像头的位置和姿态参数后，通过坐标系变换，便可根据现实环境中的坐标信息计算出虚拟对象在真实场景中的相关信息，即确定所需要添加的虚拟三维物体在真实世界中的正确位置。概括来说，基于视觉的三维环境注册方法是通过真实场景进行信息采集和转换，并对坐标系进行对比和转换，计算出虚拟对象在真实场景中位置信息，达到增强现实的目的。无论是虚拟现实技术还是增强现实技术，都会向用户提供三维显示(或立体显示)。因此，均涉及三维显示技术，已形成立体视觉。然而，在实际应用中，仍然存在进行二维显示(即平面显示)的需求。例如，从用户体验的角度来说，有很多用户更喜欢二维显示的画面。即便是喜欢立体视觉效果的用户，在长时间观看立体视觉效果的影像后也会产生疲劳感，因此需要观看二维显示的画面来进行调节。此外，众所周知，相对于二维显示而言，三维显示会需要更大的运算量，因此也需要更高的资源配置。如果资源配置(例如，处理器的运算速度、存储器的容量、数据传输的速率等)达不到三维显示的要求时，画面的流畅度就会受到影响，甚至根本无法显示画面。这种情况下，则需要解决如何为用户提供能够观看的流畅画面的问题。此外，在游戏设计以及影视制品中，为了剧情或者展示效果的需要，可能会在特定的情节或场景下进行二维画面的显示，以达到特殊的效果，如果仅仅进行三维显示，则显然是不足的。由此可见，在现有技术中存在着对二维和三维显示进行切换的需求，以解决用户体验、硬件配置以及游戏和影视等设计需要所提出的上述问题。并且关于三维立体显示，从技术层面上讲，虚拟显示技术仍然存在以下问题：首先，双目立体技术仍然与观察自然环境的三维效果存在差距。究其根本原因是我们只将需要的主要信息通过左右图像的形式表示出来，而并没有将场景的全部信息呈现在人眼面前。所以，传统方法由于场景信息缺失而存在技术壁垒，只能在严苛条件下产生立体感，无法呈现出真实和舒适的三维效果。其次，从算法和成本上讲，传统方法通常利用两个以上的多相机阵列进行数据采集，利用多相机阵列来优化采集过程，此方法需要的相机数量大，成本过高，并且大量相机的标定工作繁复。此外，从实时性上讲，传统方法一定采用左右图像的两个或者两个以上通道的信息，因此信息量大，需要的存储空间大，传输效率低，从而导致运算速度慢，系统实时性差的问题。因此，找到一种存储空间大而又易于传输的数据方式提高传输效率和运算速度，增强系统的实用性显得尤为重要。并且在增强现实系统中，虚拟对象的三维注册必须满足正确性和鲁棒性。因此，在不同的研究环境下，满足性能要求的三维注册技术是目前增强现实系统的瓶颈。然而，从其技术层面上讲，上述方案采用的单摄像头图像转换过程只能获取平面信息，是无法获取真实场景的三维信息，其中，三维信息主要指相位信息。因为摄像成像只记录了被摄物体表面光线强弱的变化，只能存贮被摄物体光强度的空间分布，即振幅信息。无法记录光波的相位信息，即无法获取深度信息。这样就导致虚拟对象只能出现在真实场景的一个二维平面上。因此，从三维注册技术的性能评价标准上来看，基于视觉的三维环境注册方法没有考虑鲁棒性，无法抵抗裁剪、压缩、滤波和噪声等方面的攻击。由此可见，作为向用户提供三维显示图像的技术，无论是虚拟现实技术还是增强现实技术，均存在需要改善的问题。并且，在提出新的三维立体显示的技术时，又存在三维立体显示与二维平面显示这两种模式的关联问题，即寻找不到好的方式能够将三维立体显示与二维平面显示这两种模式进行整合。由此可见，现有技术存在以下技术问题：1)过多的三维立体显示或过多的二维立体显示导致的用户体验劣化；2)通过配置较低的装置进行三维立体显示时可能会出现无法显示或显示质量低劣的情况；3)应用以及展示的内容需要三维显示和二维显示的切换；4)当前的三维立体显示技术成本过高、工作繁复、传输效率低以及运算速度慢；5)三维立体显示与二维平面显示这两种模式的实现方式不能很好地关联整合的问题；6)计算机全息图进行再现时存在零级衍射光斑和共轭像导致衍射效率不高，信噪比很低的问题。因此，迫切需要提出技术以解决上面所列出的技术问题。
技术实现思路
针对现有技术中存在的问题，本申请提出一种用于能够在三维显示和二维显示之间进行切换的图像处理方法和装置以解决现有技术中存在的问题。根据本申请的一个方面，提供一种图像处理方本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括：获取数字全息图；根据预定条件，确定是否进行三维显示；以及当确定进行三维显示时，基于所述数字全息图生成用于三维显示的图像；或当确定不进行三维显示时，基于所述数字全息图生成用于二维显示的图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取数字全息图；根据预定条件，确定是否进行三维显示；以及当确定进行三维显示时，基于所述数字全息图生成用于三维显示的图像；或当确定不进行三维显示时，基于所述数字全息图生成用于二维显示的图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括接收来自用户的用户指示或从正在运行的应用接收应用指示，并且所述根据预定条件，确定是否进行三维显示，包括：根据所述用户指示确定是否进行三维显示；或者根据所述应用指示来确定是否进行三维显示。3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括对进行图像处理和/或进行图像显示的装置的相关参数进行检测，并且所述根据预定条件，确定是否进行三维显示，还包括：在根据所述用户指示或根据所述应用指示确定进行三维显示后，进一步根据所述相关参数确定是否进行三维显示。4.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括对进行图像处理和/或进行图像显示的装置的相关参数进行检测，并且所述根据预定条件，确定是否进行三维显示，包括：根据所述相关参数，确定是否进行三维显示。5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括接收来自用户的用户指示或者从正在运行的应用接收应用指示，并且所述根据预定条件，确定是否进行三维显示，包括：在根据所述相关参数确定不进行三维显示之后，直接确定不进行三维显示。6.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括接收来自用户的用户指示或者从正在运行的应用接收应用指示，并且在根据所述相关参数确定进行三维显示之后，所述根据预定条件，确定是否进行三维显示，还包括：根据所述用户指示，确定是否进行三维显示；或者根据所述应用指示确定是否进行三维显示。7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括接收来自用户的用户指示以及从正在运行的应用接收应用指示，并且所述根据预定条件，确定是否进行三维显示，包括：根据所述用户指示确定是否进行三维显示；或者根据所述用户指示，确定基于所述应用指示来确定是否进行三维显示。8.根据权利要求1所述的图像处理方法，其特征在于，所述获取数字全息图包括：获取虚拟对象的三维信息；以及根据所述三维信息生成所述数字全息图，并且所述生成用于三维显示的图像包括：根据所述数字全息图以及与所述数字全息图相关的第一参考光信息生成分别对应于左视点和右视点的左图像和右图像。9.根据权利要求8所述的图像处理方法，其特征在于，所述获取虚拟对象的三维信息，包括：获取所述虚拟对象的预设记录距离；以及计算所述虚拟对象在所述预设记录距离处的波前函数，其中，所述波前函数包括振幅信息和相位信息，并且所述根据所述三维信息生成数字全息图，包括：根据所述波前函数以及第二参考光信息计算生成所述数字全息图。10.根据权利要求9所述的图像处理方法，其特征在于，所述第一参考光信息包括与所述左视点和右视点对应的左视点再现参考光信息和右视点再现参考光信息，其中，所述左视点再现参考光信息包括：模拟从与左视点对应的左再现参考光源发出的光线照射到所述数字全息图时的入射角度，所述右视点再现参考光信息包括：模拟从与右视点对应的右再现参考光源发出的光线照射到所述数字全息图时的入射角度，并且所述根据所述数字全息图以及与所述数字全息图相关的第一参考光信息生成分别对应于左视点和右视点的左图像和右图像，包括：基于所述左视点再现参考光信息和右视点再现参考光信息以及所述数字全息图生成所述左图像和右图像。11.根据权利要求9所述的图像处理方法，其特征在于，所述预设记录距离至少为两个，并且所述计算所述虚拟对象在所述预设记录距离处的波前函数，包括：分别计算所述虚拟对象在各个所述预设记录距离处的波前函数，并对所述波前函数进行叠加；以及所述根据所述波前函数以及第二参考光信息计算生成所述数字全息图，包括：根据叠加后的所述波前函数以及所述第二参考光信息计算生成所述数字全息图。12.根据权利要求1所述的图像处理方法，其特征在于，所述获取数字全息图包括：获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息；以及根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成所述数字全息图，并且所述生成用于三维显示的图像包括：根据所述数字全息图以及与所述数字全息图相关的第一参考光信息生成分别对应于左视点和右视点的左图像和右图像。13.根据权利要求12所述的图像处理方法，其特征在于，获取真实环境中真实对象的三维坐标信息包括：对所述真实对象进行全息处理，得到所述真实对象的全息图；以及对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数，其中，所述真实对象的波前函数包括所述真实对象的所述三维坐标信息。14.根据权利要求13所述的方法，其特征在于，对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数包括：通过傅里叶变换将所述真实对象的全息图变换至频域空间；在频域空间对所述真实对象的全息图进行高通滤波处理，得到所述真实对象的物光波前信息；以及对所述物光波前信息进行傅里叶逆变换，得到所述真实对象的波前函数。15.根据权利要求14所述的方法，其特征在于，获取虚拟对象的三维坐标信息包括：获取所述虚拟对象的预设记录距离；以及计算所述虚拟对象在所述预设记录距离处的波前函数，其中，所述虚拟对象的波前函数中包括所述虚拟对象的三维坐标信息。16.根据权利要求15所述的方法，其特征在于，根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成数字全息图包括：将所述真实对象的波前函数和所述虚拟对象的波前函数进行叠加得到波前信息；以及根据所得到波前信息以及第二参考光信息计算生成所述数字全息图。17.根据权利要求1所述的图像处理方法，其特征在于所述生成用于二维显示的图像，是通过在所述数字全息图的频谱中仅保留与生成所述用于二维显示的图像相关联的波前函数的频谱，而滤除其他频谱实现的。18.根据权利要求17所述的图像处理方法，其特征在于，所述生成用于二维显示的图像，是通过在所述数字全息图的频谱中保留﹢1级频谱并且滤除0级频谱和﹣1级频谱而实现的。19.根据权利要求18所述的图像处理方法，其特征在于，所述生成用于二维显示的图像，还包括将所述﹢1级频谱频移至所述数字全息图的频谱中的所述0级频谱的位置。20.根据权利要求17所述的图像处理方法，其特征在于，所述生成用于二维显示的图像，包括：对所述数字全息图进行傅里叶变换，生成所述数字全息图的频谱；在所述数字全息图的频谱中滤除0级频谱和-1级频谱，并且保留﹢1级频谱；将所述﹢1级频谱频移至所述数字全息图的频谱中的所述0级频谱的位置；以及对所述频移后的所述数字全息图的频谱进行逆傅里叶变换，生成用于二维显示的图像。21.一种图像处理装置，其特征在于，包括：全息图获取模块，用于获取数字全息图；确定模块，用于根据预定条件，确定是否进行三维显示；三维图像生成模块，用于当确定进行三维显示时，基于所述数字全息图生成用于三维显示的图像；以及二维图像生成模块，用于当确定不进行三维显示时，基于所述数字全息图生成用于二维显示的图像。22.根据权利要求21所述的图像处理装置，其特征在于所述生成用于二维显示的图像，是通过在所述数字全息图的频谱中仅保留与生成所述用于二维显示的图像相关联的波前函数的频谱，而滤除其他频谱实现的。23.一种图像处理方法，其特征在于，包括：获取数据流，所述数据流包括数字全息图序列...

【专利技术属性】
技术研发人员：赵超亚，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33