图像处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、设备及计算机可读存储介质，其中，方法包括：获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；根据所述预测姿态数据，获取待显示图像；在所述待显示时刻到达时，显示所述待显示图像。

【技术实现步骤摘要】
图像处理方法、装置、设备及计算机可读存储介质
本申请实施例涉及增强现实
，涉及但不限于一种图像处理方法、装置、设备及计算机可读存储介质。
技术介绍
对具有图像采集和显示功能的电子设备，由于实际运动到运动之间会存在一些延迟，且将采集的图像呈现在显示器上也需要时间，因此，会产生显示时的延迟。延迟的来源包括很多，如：感应延迟、处理延误、数据平滑处理、传输延迟、渲染延迟和帧速率延迟等。假设没有足够低的延迟，根本不可能带来好的用户体验，也就是说大脑不会把眼睛看到的画面当成真实的。因此，亟需一种能够降低电子设备在运动状态下的显示延迟的方法。
技术实现思路
有鉴于此，本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质。本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种图像处理方法，包括：获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；根据所述预测姿态数据，获取待显示图像；在所述待显示时刻到达时，显示所述待显示图像。第二方面，本申请实施例提供一种图像处理装置，包括：第一获取模块，用于获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；确定模块，用于根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；第二获取模块，用于根据所述预测姿态数据，获取待显示图像；显示模块，用于在所述待显示时刻到来时，显示所述待显示图像。第三方面，本申请实施例提供一种图像处理设备，所述设备至少包括：处理器和配置为存储可执行指令的存储介质，其中：所述处理器配置为执行存储的可执行指令；所述可执行指令配置为执行上述的图像处理方法。第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述的图像处理方法。本申请实施例提供的图像处理方法、装置、设备及计算机可读存储介质，由于根据预设时间段内的IMU偏差和IMU数据，确定电子设备在待显示时刻的预测姿态数据，从而根据预设姿态数据获取待显示图像。如此，根据IMU偏差和IMU数据能够准确的预测待显示时刻的预测姿态数据，从而根据准确的预测姿态数据能够绘制得到准确的待显示图像，使得在待显示时刻显示待显示图像时，由于与实际图像的误差较小，从而能够极大的降低显示时延。附图说明在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。图1A是本申请实施例提供的图像处理方法的一个可选的流程示意图；图1B是本申请实施例提供的图像处理方法的应用场景示意图；图2是本申请实施例提供的图像处理方法的一个可选的流程示意图；图3是本申请实施例提供的图像处理方法的一个可选的流程示意图；图4是本申请实施例提供的姿态数据预测模型训练方法的流程示意图；图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；图6是本申请实施例提供的图像处理方法的一个可选的流程示意图；图7是本申请实施例提供的图像处理方法的一个可选的流程示意图；图8是本申请实施例提供的图像处理方法的一个可选的流程示意图；图9是本申请实施例提供的一种图像处理装置的组成结构示意图；图10是本申请实施例提供的图像处理设备的组成结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。本申请实施例提供一种图像处理方法，实现本申请实施例图像处理方法的图像处理设备可以实施为增强现实(AugmentedReality，AR)眼镜，笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的电子设备，也可以实施为服务器。为了方便说明，本申请实施例以电子设备是AR眼镜为例进行说明。由于电子设备(例如AR眼镜)可以在一定范围内发生运动，例如直线运动或者旋转运动，在电子设备运动时，实际运动到运动之间会存在一些延迟，以及将该运动时的图像呈现在电子设备的显示器上也需要时间。延迟的来源包括很多，如：感应延迟、处理延误、数据平滑处理、传输延迟、渲染延迟和帧速率延迟等。假设没有足够低的延迟，根本不可能带来好的用户体验，也就是说大脑不会把眼睛看到的虚拟画面当成真实的。这里所谓的“真实”，不是指能不能用眼睛分辨出它们是否为虚拟的，而是说能不能在移动头、眼睛或身体时，感觉出图像与真实物体不一样。这当中的关键是虚拟的物体在电子设备移动时，必须一直保持在正确的位置上。假设从用户转头开始到画面绘制在新的位置上花了太长的时间，那画面就会偏移了非常远，造成显示感觉中的抖动或者拖影。基于上述问题，本申请实施例提供一种图像处理方法，能够降低电子设备在运动状态下的显示延迟。图1A是本申请实施例提供的图像处理方法的一个可选的流程示意图，本申请实施例提供的图像处理方法可以应用于电子设备，如图1A所示，所述方法包括以下步骤：步骤S101，获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据。这里，电子设备获取自身在预设时间段内的姿态数据。姿态数据包括惯性测量单元(InertialMeasurementUnit，IMU)偏差和IMU数据，所述IMU偏差包括IMU零偏，所述IMU零偏是指电子设备在静止状态下时，电子设备上的IMU所测量得到的数据，IMU数据包括电子设备在预设时间段内且在三维空间中的角速度和加速度等数据。本申请实施例中，电子设备上安装有IMU，电子设备通过IMU测量获取自身在预设时间段内的姿态数据。步骤S102，根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。这里，将所获取的IMU偏差和IMU数据作为预测的基础数据，根据预测的基础数据，预测待显示时刻的预测姿态数据，其中，待显示时刻可以是下一显示时刻，或者待显示时刻可以是当前显示时刻之后的任一时刻。所述预测姿态数据包括预测的位置和角度等数据，所述预测姿态数据用于表征电子设备在待显示时刻所运行到的位置和角度。步骤S103，根据所述预测姿态数据，获取待显示图像。这里，电子设备根据预测姿态数据，获本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n获取电子设备在预设时间段内的姿态数据，所述姿态数据包括惯性测量单元IMU偏差和IMU数据；/n根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；/n根据所述预测姿态数据，获取待显示图像；/n在所述待显示时刻到达时，显示所述待显示图像。/n

【技术特征摘要】
1.一种图像处理方法，包括：
获取电子设备在预设时间段内的姿态数据，所述姿态数据包括惯性测量单元IMU偏差和IMU数据；
根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；
根据所述预测姿态数据，获取待显示图像；
在所述待显示时刻到达时，显示所述待显示图像。


2.根据权利要求1所述的方法，所述根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据，包括：
根据所述预设时间段内的IMU偏差，确定所述电子设备的IMU误差；
根据所述预设时间段内的IMU数据，确定所述电子设备的IMU估计值；
根据所述IMU误差和所述IMU估计值，确定所述电子设备在所述待显示时刻的预测姿态数据。


3.根据权利要求1所述的方法，还包括：
采用姿态数据预测模型，对所述预设时间段内的IMU零偏和IMU数据进行预测，得到所述电子设备在送显时刻的预测姿态数据；其中，所述姿态数据预测模型通过以下步骤训练得到：
将特定时间段内的偏差样本数据输入至误差估计模型中，得到IMU样本误差；
将所述特定时间段内的IMU样本数据输入至运动模型中，得到IMU样本估计值；
将所述IMU样本误差和所述IMU样本估计值输入至运动预测模型中，得到预测数据；
将所述预测数据输入至预设损失模型中，得到损失结果；
根据所述损失结果，对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，得到所述姿态数据预测模型。


4.根据权利要求1所述的方法，还包括：
获取所述电子设备在所述待显示时刻的实际姿态数据；
根据所述实际姿态数据对所述预测姿态数据进行校验；
根据校验结果修正所述待显示图像或所述预测姿态数据。


5.根据权利要求4所述的方法，还包括：获取所述电子设备基于所述实际姿态数据所采集的目标显示图像；

【专利技术属性】
技术研发人员：杨东清，张振飞，范锡睿，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11