混合现实图像的处理方法、装置及设备制造方法及图纸

本发明专利技术公开了混合现实图像的处理方法、装置及设备，该方法包括：获取环境场景图像；识别环境场景图像中包含的目标对象，获得目标对象的空间位置信息；将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。

【技术实现步骤摘要】
混合现实图像的处理方法、装置及设备
本公开实施例涉及图像处理
，更具体地，本公开实施例涉及一种混合现实图像的处理方法、混合现实图像的处理装置及头戴显示设备。
技术介绍
混合现实技术(MixedReality，MR)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前，在幼儿教学领域，可以利用增强现实技术对教学视频进行处理。在利用头戴显示设备进行幼儿教学时，可以为用户显示更逼真的场景。但是，用户不能与场景中物体进行交互，用户体验较差。因此，有必要提供一种新的混合现实图像的处理的方案。
技术实现思路
本公开实施例的目的在于提供一种混合现实图像的处理的新技术方案。根据本公开实施例的第一方面，提供了一种混合现实图像的处理方法，所述方法包括：获取环境场景图像；识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；基于所述空间位置信息，将所述目标对象对应的描述信息叠加本文档来自技高网...

【技术保护点】
1.一种混合现实图像的处理方法，应用于头戴显示设备，其特征在于，所述方法包括：/n获取环境场景图像；/n识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；/n基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。/n

【技术特征摘要】
1.一种混合现实图像的处理方法，应用于头戴显示设备，其特征在于，所述方法包括：
获取环境场景图像；
识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；
基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。


2.根据权利要求1所述的方法，其中，所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤之后，所述方法还包括：
获取待展示的虚拟对象的初始数据集；
根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象；
基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。


3.根据权利要求1所述的方法，其中，所述环境场景图像包括通过所述头戴显示设备的双目相机采集的第一图像和第二图像；
所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤包括：
基于预定的识别模型识别所述第一图像中包含的目标对象，获得所述目标对象所在区域的第一位置信息；
基于预定的识别模型识别所述第二图像中包含的目标对象，获得所述目标对象所在区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定所述目标对象的空间位置信息。


4.根据权利要求3所述的方法，其中，所述方法还包括：训练预定的识别模型的步骤：
获取历史环境场景图像；
确定所述历史环境场景图像中的目标对象的所在区域，以及对所述目标对象所在区域的位置信息和所述目标对象的类别信息进行标注；
根据标注后的历史环境场景图像生成数据集；
根据所述数据集训练所述识别模型。


5.根据权利要求1所述的方法，其中，所述方法还包括：
识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息；
根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。


6.根据权利要求1所述的方法，其中，所述头戴显示设备包括第一相机和第二相机；
所述基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤包括：
根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的三维坐标信息；
对所述三维坐标信息进行转换，获得所述显示位置在所述第一相机的图像坐标系下的第一像素坐标和所述显示位置在所述第二相机的图像坐标系下的第二像素坐标...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37