图像处理方法、装置及终端制造方法及图纸

本发明专利技术实施例提供一种图像处理方法、装置及终端，该图像处理方法包括：获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据；根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，所述拍摄图像是由所述拍摄设备拍摄得到，对所述目标处理图像进行处理，得到目标显示图像；对所述目标显示图像进行显示。本发明专利技术的实施例，可以在保证图像显示效果的前提下，减小相关图像处理算法的搜索空间，从而有效提高图像处理的性能和速度。

【技术实现步骤摘要】
图像处理方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种图像处理方法、装置及终端。
技术介绍
由于在现实世界里面，“场景”是相对静止的，在人活动的过程中，通过头部的运动、眼部的运动、身体的移动和抖动等等动作，使得眼前的“场景”形成相对稳定并连贯的画面，不会有任何眩晕和不适应的感觉。但在虚拟现实(VirtualReality，VR)设备中，VR设备显示的画面要与佩戴者身体运动、头部转动，甚至眼睛的运动、视线方向和聚焦点完全同步，同时满足足够高的画面清晰度和帧率，才会使佩戴者有良好的使用体验和逼真的感受。但目前为止，VR设备的画面显示还远远不能达到上述的同步显示和变换效果，给佩戴者的实际使用带来了很多的挑战和问题。
技术实现思路
本专利技术实施例提供一种图像处理方法、装置及终端，以在保证图像显示效果的前提下，有效提高图像处理的性能和速度。第一方面，本专利技术实施例提供了一种图像处理方法，包括：获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据；根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，其中，所述拍摄图像是由所述拍摄设备拍摄得到；对所述目标处理图像进行处理，得到目标显示图像；对所述目标显示图像进行显示。第二方面，本专利技术实施例提供了一种图像处理装置，包括：获取模块，用于获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据；截取模块，用于根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，其中，所述拍摄图像是由所述拍摄设备拍摄得到；处理模块，用于对所述目标处理图像进行处理，得到目标显示图像；显示模块，用于对所述目标显示图像进行显示。第三方面，本专利技术实施例提供了一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述图像处理方法的步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时可实现上述图像处理方法的步骤。本专利技术实施例中，通过从拍摄图像中截取与用户视线对应的目标处理图像，并对目标处理图像进行处理及显示，不仅可以利用相关设备的运动和位置姿态数据进行画面运动影响的去除，保证图像显示效果，还可以减小相关图像处理算法的搜索空间，从而有效提高图像处理的性能和速度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的图像处理方法的流程图；图2为本专利技术实施例的图像处理装置的结构示意图；图3为本专利技术实施例的终端的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了保证图像显示效果，目前可采用如下图像处理方式：采用图像去抖动、去模糊等算法实时对拍摄图像进行处理，以提升显示效果。但是此图像处理方式所涉及的算法复杂，实时处理的运算量很大，因此造成图像处理的性能差，图像处理速度慢。本专利技术实施例的目的在于提供一种图像处理方法、装置及终端，其从拍摄图像中截取与用户视线对应的目标处理图像，并对目标处理图像进行处理及显示。由于图像显示过程中，用户所关注的内容通常为用户视线对应的图像，而用户视线对应的图像可能仅为拍摄图像的一小部分，因此借助本专利技术实施例的图像处理方式，不仅可以利用相关设备的运动和位置姿态数据进行画面运动影响的去除，保证图像显示效果，还可以减小相关图像处理算法的搜索空间，从而有效提高图像处理的性能和速度。请参见图1，图1是本专利技术实施例提供的一种图像处理方法的流程图，该方法应用于终端，如图1所示，该方法包括如下步骤：步骤101：获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据。本专利技术至少一个实施例中，拍摄设备例如为VR拍摄设备，观看设备例如为VR观看设备。可选的，第一运动和位置姿态数据至少包括拍摄设备的运动数据和拍摄设备的位置姿态数据。该运动数据比如包括运动方向、运动速度、转动角速度等。该位置姿态数据比如包括位置信息、偏转角度等。第一运动和位置姿态数据可以是由拍摄设备对应的传感器组件检测得到。该拍摄设备对应的传感器组件可以是安装在拍摄设备上的，或者安装在与拍摄设备连接固定的设备上的高性能和高精度的惯性传感器件或模组。该惯性传感器件或模组可选用9轴惯性传感器，同时采集加速度、陀螺仪和磁力计等数据。可选的，第二运动和位置姿态数据至少包括观看设备的运动数据和观看设备的位置姿态数据。该运动数据比如包括运动方向、运动速度、转动角速度等。该位置姿态数据比如包括位置信息、偏转角度等。第二运动和位置姿态数据可以是由观看设备对应的传感器组件检测得到。该观看设备对应的传感器组件可以是安装在观看设备上的，或者安装在与观看设备连接固定的设备上的高性能和高精度的惯性传感器件或模组。该惯性传感器件或模组可选用9轴惯性传感器，同时采集加速度、陀螺仪和磁力计等数据。在一个可选的实施例中，第一运动和位置姿态数据，和/或第二运动和位置姿态数据可以是实时采集并由相应图像处理装置获取，也可以是以打标签的方式在视频的每一帧即图像中记录并由相应图像处理装置获取。第一运动和位置姿态数据，和/或第二运动和位置姿态数据可选为时序表达的一组6元组序列，对应于采样时刻的运动和位置姿态数据，即可以包含6个参数，分别为对应参考坐标系的空间位置(x，y，z)，以及空间姿态角度(α，β，γ)。步骤102：根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像。其中，所述拍摄图像是由所述拍摄设备拍摄得到。步骤103：对所述目标处理图像进行处理，得到目标显示图像。本专利技术至少一个实施例中，在对目标处理图像进行处理时，可以利用第一运动和位置姿态数据以及第二运动和位置姿态数据进行处理。而在利用第一运动和位置姿态数据以及第二运动和位置姿态数据，对目标处理图像进行处理时，可采用如下处理方式：借助现有的图像处理算法(比如去运动、去抖动、去模糊等相关算法)，利用第一运动和位置姿态数据以及第二运动和位置姿态数据，对目标处理图像进行处理，从而至少实现目标处理图像的矫正、去模糊和微调等，至少解决因图像拍摄及观看环节的画面视点和光轴的运动，导致的画面本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据；/n根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，其中，所述拍摄图像是由所述拍摄设备拍摄得到；/n对所述目标处理图像进行处理，得到目标显示图像；/n对所述目标显示图像进行显示。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取拍摄设备的第一运动和位置姿态数据，以及获取观看设备的第二运动和位置姿态数据；
根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，其中，所述拍摄图像是由所述拍摄设备拍摄得到；
对所述目标处理图像进行处理，得到目标显示图像；
对所述目标显示图像进行显示。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据，从拍摄图像中截取与用户视线对应的目标处理图像，包括：
对所述第一运动和位置姿态数据以及所述第二运动和位置姿态数据进行变换处理，得到与所述第一运动和位置姿态数据对应的第三运动和位置姿态数据，和与所述第二运动和位置姿态数据对应的第四运动和位置姿态数据，其中，所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据为同一个目标坐标系下的数据；
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据，确定所述拍摄图像的显示区域中的视线关注点；
确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域；
从所述拍摄图像中截取所述目标局部区域对应的图像；
其中，所述目标局部区域对应的图像为所述目标处理图像。


3.根据权利要求2所述的方法，其特征在于，所述确定所述拍摄图像的显示区域中的所述视线关注点对应的目标局部区域，包括：
将所述拍摄图像的显示区域中的以所述视线关注点为中心的预设区域确定为初始局部区域；
根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据，确定所述初始局部区域的目标邻区域；
将包括所述初始局部区域和所述目标邻区域的区域确定为所述目标局部区域。


4.根据权利要求2所述的方法，其特征在于，根据所述第三运动和位置姿态数据以及所述第四运动和位置姿态数据，确定所述拍摄图像的显示区域中的视线关注点，包括：
根据所述第三运动和位置姿态数据，确定所述目标坐标系下的图像显示平面，和根据所述第四运动和位置姿态数据，确定所述目标坐标系下的视线光轴方向；
将所述视线光轴方向与所述图像显示平面的交点确定为所述视线关注点。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一运动和位置姿态数据是由所述拍摄设备对应的传感器组件检测得到；
所述第二运动和位置姿态数据是由所述观看设备对应的传感器组件检测得到。


6.一种图像处理装置，其特征在于，包括：
获取模块，用...

【专利技术属性】
技术研发人员：信伦，许利群，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11