信息处理方法及装置、增强现实设备和可读存储介质制造方法及图纸

本公开提供了一种信息处理方法，包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。本公开还提供了一种信息处理装置、一种增强现实设备及一种计算机可读存储介质。

【技术实现步骤摘要】
信息处理方法及装置、增强现实设备和可读存储介质
本公开涉及增强现实
；尤其涉及一种信息处理方法及装置、增强现实设备和可读存储介质。
技术介绍
随着科技的快速发展，将真实世界信息和虚拟世界信息“无缝”集成的新技术增强现实有望能够应用于更多场景中，以丰富现实世界，构建更加丰富和美好的世界。相关技术中，在增强现实设备遇到镜面环境时，由于镜面反射出的图像会随着增强现实设备中相机的运动而改变位置，从而导致在前后两帧图像中匹配的特征点在实际三维空间中的位置并不相同。这无疑会使得增强现实设备在图像处理时出现严重的错误匹配，从而影响显示虚拟图像的精度。
技术实现思路
本公开的一个方面提供了一种信息处理方法，该方法包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定。针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。可选地，从第一图像中提取得到一个或多个第一特征包括：根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置；以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围；以及根据追踪范围，采用光流法追踪得到一个或多个第一特征。可选地，上述信息处理方法还包括在提取得到一个或多个第一特征之后：获得惯性传感器在当前时刻的第一运动信息；以及根据第一运动信息，确定针对下一时刻的预测信息，以更新针对当前时刻的预测信息。可选地，上述根据第一运动信息，确定针对下一时刻的预测信息包括：根据第一运动信息和相机与惯性传感器之间的外参，确定相机在当前时刻的第二运动信息；以及根据第二运动信息，确定针对下一时刻的预测信息。可选地，上述信息处理方法还包括在获得第一运动信息之前，获得惯性传感器检测得到的惯性数据。上述根据第二运动信息，确定针对下一时刻的预测信息包括：获得一个或多个第一特征在第一图像中的第一位置信息；根据第一位置信息、惯性数据和前一时刻的图像中与一个或多个第一特征匹配的特征的第二位置信息，确定相机的位姿信息；以及根据一个或多个第一特征中第三特征的第一位置信息、位姿信息及第二运动信息，确定针对下一时刻的预测信息。其中，第三特征包括从当前时刻的第二图像中提取得到的特征。可选地，上述信息处理方法还包括在获得增强现实设备所在物理空间的当前时刻的图像之前：标定相机和惯性传感器，得到相机和惯性传感器之间的外参。本公开的另一方面提供了一种信息处理装置，该装置包括：图像获得模块，用于获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；特征提取模块，用于根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征在确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。可选地，上述特征提取模块包括：位置确定子模块，用于根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置；范围确定子模块，用于以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围；以及特征追踪子模块，用于根据追踪范围，采用光流法追踪得到一个或多个第一特征。本公开的另一方面还提供了一种增强现实设备，该设备包括：相机，用于获得增强现实设备所在物理空间的图像；一个或多个处理器，与相机连接，用于获得图像；存储装置，用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的信息处理方法。本公开的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的信息处理方法。根据本公开的实施例，在镜面环境下提取增强现实设备所在物理空间的图像中的特征时：相较于仅根据图像提取特征的技术方案，本公开通过结合根据惯性传感器的运动信息确定的预测信息进行提取，可以至少部分地避免提取得到与前一时刻镜面反射的图像中的特征匹配的特征，从而可以保证确定相机位姿时依据的特征为相较于相机固定不动的特征，提高相机位姿确定的准确性。附图说明为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：图1A示意性示出了根据本公开实施例的信息处理方法及装置、增强现实设备和可读存储介质的应用场景图；图1B示意性示出了在增强现实设备移动时通过镜面追踪物体的示意图；图2示意性示出了根据本公开示例性实施例一的信息处理方法的流程图；图3示意性示出了根据本公开实施例的从图像中提取得到至少一个特征的流程图；图4示意性示出了根据本公开示例性实施例二的信息处理方法的流程图；图5示意性示出了根据本公开实施例的根据第一运动信息确定针对下一时刻的预测信息的流程图；图6示意性示出了根据本公开实施例的根据第二运动信息确定针对下一时刻的预测信息的流程图；图7示意性示出了根据本公开示例性实施例三的信息处理方法的流程图；图8示意性示出了根据本公开实施例的信息处理装置的结构框图；以及图9示意性示出了根据本公开实施例的增强现实设备的结构框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况本文档来自技高网...

【技术保护点】
1.一种信息处理方法，包括：/n获得增强现实设备所在物理空间的当前时刻的第一图像，所述第一图像包括通过镜面反射的第二图像；以及/n根据针对所述当前时刻的预测信息，从所述第一图像中提取得到一个或多个第一特征，以根据所述一个或多个第一特征确定相机的位姿信息，/n其中，所述增强现实设备包括所述相机和惯性传感器；预测信息根据所述增强现实设备中惯性传感器的运动信息确定；所述针对所述当前时刻的预测信息包括第二特征在所述相机坐标系中的预测位置，所述第二特征包括从前一时刻的第二图像中提取得到的特征，所述一个或多个第一特征不包括所述第二特征。/n

【技术特征摘要】
1.一种信息处理方法，包括：
获得增强现实设备所在物理空间的当前时刻的第一图像，所述第一图像包括通过镜面反射的第二图像；以及
根据针对所述当前时刻的预测信息，从所述第一图像中提取得到一个或多个第一特征，以根据所述一个或多个第一特征确定相机的位姿信息，
其中，所述增强现实设备包括所述相机和惯性传感器；预测信息根据所述增强现实设备中惯性传感器的运动信息确定；所述针对所述当前时刻的预测信息包括第二特征在所述相机坐标系中的预测位置，所述第二特征包括从前一时刻的第二图像中提取得到的特征，所述一个或多个第一特征不包括所述第二特征。


2.根据权利要求1所述的方法，其中，从所述第一图像中提取得到所述一个或多个第一特征包括：
根据所述第二特征在所述相机坐标系中的预测位置，确定所述第二特征在所述第一图像中的预测位置；
以所述第二特征在所述第一图像中的预测位置为中心，确定所述第一图像的追踪范围；以及
提取所述第一图像的追踪范围内的特征，得到所述一个或多个第一特征。


3.根据权利要求1所述的方法，还包括在提取得到所述一个或多个第一特征之后：
获得所述惯性传感器在所述当前时刻的第一运动信息；以及
根据所述第一运动信息，确定针对下一时刻的预测信息，以更新所述针对所述当前时刻的预测信息。


4.根据权利要求3所述的方法，其中，所述根据所述第一运动信息，确定针对下一时刻的预测信息包括：
根据所述第一运动信息和所述相机与所述惯性传感器之间的外参，确定所述相机在所述当前时刻的第二运动信息；以及
根据所述第二运动信息，确定所述针对下一时刻的预测信息。


5.根据权利要求4所述的方法，其中：
所述方法还包括在获得所述第一运动信息之前，获得所述惯性传感器检测得到的惯性数据；
所述根据所述第二运动信息，确定所述针对下一时刻的预测信息包括：
获得所述一个或多个第一特征在所述第一图像中的第一位置信息；
根据所述第一位置信息、所述惯性数据和前一时刻的图像中与所述一个或多个第一特征匹配的特征的第二位置信息，确定所述相机的位姿信息；...

【专利技术属性】
技术研发人员：范锡睿，杨东清，孙峰，陆柳慧，盛兴东，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11