一种校准方法及相关设备技术

本发明专利技术实施例公开了一种校准方法，应用于包括：透视显示器、摄像模块和眼睛跟踪模块的终端；所述方法包括：确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A；根据所述空间坐标A和所述终端的机构参数确定所述终端在所述第一位姿下，所述摄像模块、所述对准标识以及所述眼睛跟踪模块的空间坐标B、C和D；根据所述空间坐标B和第一测量信息确定所述第一特征点的的空间坐标E，以及根据所述空间坐标D和第二测量信息确定所述观察者的眼睛空间坐标F；在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个。采用本申请可以提供更好的增强现实体验。

A calibration method and related equipment

【技术实现步骤摘要】
一种校准方法及相关设备
本专利技术涉及增强现实
，尤其涉及一种校准方法及相关设备。
技术介绍
增强现实(AugmentedReality，AR)技术，也被称之为混合现实技术，其通过图像处理将虚拟的信息应用到真实环境中，可将真实环境的实物和虚拟的信息融合到同一个画面或者是空间中，增加用户观察到物体的维度，具有立体显示效果。与传统虚拟现实(VirtualReality，VR)技术所要达到的完全沉浸于虚拟世界的效果不同，AR技术致力于将计算机生成的虚拟对象(VirtualObject，VO)、场景或系统提示信息等无缝叠加到真实场景中，从而创造一个虚实结合的世界，以此实现对现实世界的“增强”。AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。目前，AR显示设备主要有AR头盔显示器(head-mounteddisplay，HMD)、AR眼镜(如googleglass)、AR平视显示器(head-updisplay，HUD)和AR手持设备(handheld)等。其中，AR手持设备例如AR手机，则是将整个AR系统整合到一部手机上，在人和手机的交互实现过程中，摄像头负责采集现实世界的图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，处理后的图像就会显示在手机屏幕上，从而实现现实增强效果，即用户不需要单独购买AR设备，通过智能手机就能体验到AR所带来的优质体验。然而，在上述方案中，因为手机的摄像头需要不断的生成现实世界画面对应的高分辨率帧，以供后续与虚拟对象进行迭加，因此导致手机的功耗较高，并且，手机摄像头在抓取现实世界的画面时存在一定的失真和时延，导致增强现实的效果和用户体验不佳。因此，如何提供一种低功耗、用户体验佳的AR手持设备是亟待解决的问题。
技术实现思路
本专利技术实施例提供一种校准方法及相关设备，以提升增强现实的用户体验和效果。第一方面，本专利技术实施例提供了一种校准方法，应用于终端，所述终端包括：透视显示器、摄像模块和眼睛跟踪模块；所述方法包括：确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A；其中，所述第一位姿为观察者通过所述透视显示器上的对准标识，瞄准现实世界中的第一对象的第一特征点时所述终端的第一位置和第一姿态；根据所述空间坐标A和所述终端的机构参数确定所述终端在所述第一位姿下，所述摄像模块、所述对准标识以及所述眼睛跟踪模块的空间坐标B、C和D；根据所述空间坐标B和第一测量信息确定所述第一特征点的的空间坐标E，以及根据所述空间坐标D和第二测量信息确定所述观察者的眼睛空间坐标F；其中，所述第一测量信息包括所述终端在第一位姿下所述摄像模块捕捉的第一图像，所述第一图像记录有所述第一对象的第一特征点；所述第二测量信息包括所述终端在第一位姿下所述眼睛跟踪模块测量的相对位置信息，所述相对位置信息为所述观察者的眼睛在透过所述对准标识瞄准所述第一特征点时与所述眼睛跟踪模块的相对位置信息；在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个，所述预设条件至少包括∠ECF≠180°。可选的，基于校准后的空间坐标B、C和D确定的夹角∠E’C’F’大于所述夹角∠ECF，其中，所述E’为根据校准后的空间坐标B与所述第一测量信息确定得到的，所述C’为校准后的空间坐标C，所述F’为根据校准后的空间坐标D与所述第二测量信息确定得到的；所述校准后的空间坐标B、C和D为所述在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个所得到的空间坐标B、C和D。本专利技术实施例，首先，将观察者透过终端上的透视显示器上的对准标识瞄准现实世界中的第一对象的第一特征点时，终端处于现实世界坐标系中的第一位置，以及终端的各个机械部件当前的相对位置对应的第一姿态，记为第一位姿。此时，计算终端在第一位姿下该终端上的固定点(如图5A和5B中终端的重心A)在世界坐标系中的空间坐标A，以建立终端与世界坐标系之间的关系。然后，基于A以及根据终端的机构参数(终端上各个机械部件相对于该固定点A的空间相对位置信息)，确定终端上的透视显示器上的对准标识、摄像模块以及眼睛跟踪模块在世界坐标系中的空间坐标点，以确定对准标识、摄像模块以及眼睛跟踪模块之间初始的相对位置参数。与此同时，摄像模块在终端处于上述第一位姿下捕捉包含有用户瞄准的第一对象(包括第一特征点)的第一图像，并基于该第一图像，如通过SLAM功能模块，计算现实世界中的第一对象的第一特征点相对于该摄像模块的相对位置信息；同理，在观察者的眼睛透过透视显示器上的对准标识对准现实世界的第一对象的第一特征点时，眼睛跟踪模块获取此时的观察者的眼睛与其之间的相对位置信息，最终，基于上述，可以确定观察者的眼睛、透视显示器上的对准标识和第一特征点在现实世界坐标系中的空间坐标，并可利用光的直线传播的客观特点，校准终端的机构参数，以期在后续增强现实的过程当中，计算更精准的虚拟对象的投影坐标，以提升用户体验，提升增强现实的沉浸感。在一种可能的实现方式中，所述方法还包括：根据所述校准后的空间坐标B、C和D，确定所述终端在所述第一姿态下，所述对准标识与所述摄像模块之间的第一空间向量、和所述对准标识与所述眼睛跟踪模块之间的第二空间向量。本专利技术实施例，在获得了校准后的空间坐标后，根据终端上的固定点的空间坐标位置，分别计算得到对准标识与摄像模块以及眼睛跟踪模块之间的空间向量，从而在后续进行增强现实的虚拟对象添加时，可以依据对准标识和摄像模块之间的空间向量，获知第二对象相对于对准标识的相对位置，以及对准标识与眼睛跟踪模块之间的空间向量，获知观察者的眼睛相对于透视显示器的相对位置。在一种可能的实现方式中，所述方法还包括：在所述终端处于第二位置和所述第一姿态下，通过所述摄像模块，捕捉现实世界的第二图像，所述第二图像记录有观察者通过所述透视显示器可见的现实世界中的第二对象；基于所述第一空间向量和所述第二空间向量，计算叠加于所述第二对象上的虚拟对象的投影坐标；根据所述投影坐标，将所述虚拟对象投影到所述透视显示器上进行增强现实。本专利技术实施例，当终端发生刚性移动，即终端上的各个机构之间的相对位置不变，只是整体移动时，则可以利用上述校准后得到的第一空间向量和第二空间向量，进行后续的虚拟对象的计算和叠加，从而实现精准的增强现实。在一种可能的实现方式中，所述确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A之前，所述方法还包括：通过所述摄像模块捕捉现实世界的第三图像，所述第三图像记录有观察者通过所述透视显示器可见的现实世界中的第一对象；根据预设规则标记所述第三图像中的所述第一对象的特征点以生成第四图像，所述特征点包括所述第一特征点；将所述第四图像投影到所述透视显示器的指定区域上本文档来自技高网...

【技术保护点】
1.一种校准方法，其特征在于，应用于终端，所述终端包括：透视显示器、摄像模块和眼睛跟踪模块；所述方法包括：/n确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A；其中，所述第一位姿为观察者通过所述透视显示器上的对准标识，瞄准现实世界中的第一对象的第一特征点时所述终端的第一位置和第一姿态；/n根据所述空间坐标A和所述终端的机构参数确定所述终端在所述第一位姿下，所述摄像模块、所述对准标识以及所述眼睛跟踪模块的空间坐标B、C和D；/n根据所述空间坐标B和第一测量信息确定所述第一特征点的的空间坐标E，以及根据所述空间坐标D和第二测量信息确定所述观察者的眼睛空间坐标F；其中，所述第一测量信息包括所述终端在第一位姿下所述摄像模块捕捉的第一图像，所述第一图像记录有所述第一对象的第一特征点；所述第二测量信息包括所述终端在第一位姿下所述眼睛跟踪模块测量的相对位置信息，所述相对位置信息为所述观察者的眼睛在透过所述对准标识瞄准所述第一特征点时与所述眼睛跟踪模块的相对位置信息；/n在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个，所述预设条件至少包括夹角∠ECF不等于180°。/n...

【技术特征摘要】
1.一种校准方法，其特征在于，应用于终端，所述终端包括：透视显示器、摄像模块和眼睛跟踪模块；所述方法包括：
确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A；其中，所述第一位姿为观察者通过所述透视显示器上的对准标识，瞄准现实世界中的第一对象的第一特征点时所述终端的第一位置和第一姿态；
根据所述空间坐标A和所述终端的机构参数确定所述终端在所述第一位姿下，所述摄像模块、所述对准标识以及所述眼睛跟踪模块的空间坐标B、C和D；
根据所述空间坐标B和第一测量信息确定所述第一特征点的的空间坐标E，以及根据所述空间坐标D和第二测量信息确定所述观察者的眼睛空间坐标F；其中，所述第一测量信息包括所述终端在第一位姿下所述摄像模块捕捉的第一图像，所述第一图像记录有所述第一对象的第一特征点；所述第二测量信息包括所述终端在第一位姿下所述眼睛跟踪模块测量的相对位置信息，所述相对位置信息为所述观察者的眼睛在透过所述对准标识瞄准所述第一特征点时与所述眼睛跟踪模块的相对位置信息；
在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个，所述预设条件至少包括夹角∠ECF不等于180°。


2.如权利要求1所述的方法，其特征在于，基于校准后的空间坐标B、C和D确定的夹角∠E’C’F’大于所述夹角∠ECF，其中，所述E’为根据校准后的空间坐标B与所述第一测量信息确定得到的，所述C’为校准后的空间坐标C，所述F’为根据校准后的空间坐标D与所述第二测量信息确定得到的；所述校准后的空间坐标B、C和D为所述在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个所得到的空间坐标B、C和D。


3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据所述校准后的空间坐标B、C和D，确定所述终端在所述第一姿态下，所述对准标识与所述摄像模块之间的第一空间向量、和所述对准标识与所述眼睛跟踪模块之间的第二空间向量。


4.如权利要求3所述的方法，其特征在于，所述方法还包括：
在所述终端处于第二位置和所述第一姿态下，通过所述摄像模块，捕捉现实世界的第二图像，所述第二图像记录有观察者通过所述透视显示器可见的现实世界中的第二对象；
基于所述第一空间向量和所述第二空间向量，计算叠加于所述第二对象上的虚拟对象的投影坐标；
根据所述投影坐标，将所述虚拟对象投影到所述透视显示器上进行增强现实。


5.如权利要求1-4任意一项所述的方法，其特征在于，所述确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A之前，所述方法还包括：
通过所述摄像模块捕捉现实世界的第三图像，所述第三图像记录有观察者通过所述透视显示器可见的现实世界中的第一对象；
根据预设规则标记所述第三图像中的所述第一对象的特征点以生成第四图像，所述特征点包括所述第一特征点；
将所述第四图像投影到所述透视显示器的指定区域上，以指示所述观察者通过所述透视显示器上的对准标识，瞄准所述第一对象的特征点。


6.一种终端，其特征在于，包括：处理器，以及耦合于所述处理器的透视显示器、摄像模块和眼睛跟踪模块，其中
所述处理器，用于确定所述终端在第一位姿下，所述终端上的固定点在世界坐标系中的空间坐标A；其中，所述第一位姿为观察者通过所述透视显示器上的对准标识，瞄准现实世界中的第一对象的第一特征点时所述终端的第一位置和第一姿态；根据所述空间坐标A和所述终端的机构参数确定所述终端在所述第一位姿下，所述摄像模块、所述对准标识以及所述眼睛跟踪模块的空间坐标B、C和D；
所述摄像模块，用于在所述终端在第一位姿下，捕捉第一图像，所述第一图像记录有所述第一对象的第一特征点；
所述眼睛跟踪模块，用于在所述终端在第一位姿下，跟踪并测量观察者的眼睛在透过所述对准标识瞄准所述第一特征点时与所述眼睛跟踪模块的相对位置信息；
所述处理器，还用于根据所述空间坐标B和第一测量信息确定所述第一特征点的的空间坐标E，以及根据所述空间坐标D和第二测量信息确定所述观察者的眼睛空间坐标F，所述第一测量信息包括所述第一图像；所述第二测量信息包括所述相对位置信息；在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个，所述预设条件至少包括夹角∠ECF不等于180°。


7.如权利要求6所述的终端，其特征在于，基于校准后的空间坐标B、C和D确定的夹角∠E’C’F’大于所述夹角∠ECF，其中，所述E’为根据校准后的空间坐标B与所述第一测量信息确定得到的，所述C’为校准后的空间坐标C，所述F’为根据校准后的空间坐标D与所述第二测量信息确定得到的；所述校准后的空间坐标B、C和D为所述在夹角∠ECF满足预设条件的情况下，校准空间坐标B、C和D中的至少一个所得到的空间坐标B、C和D。


8.如权利要求6或7所述的终端，其特征在于，所述处理器，还用于：
根据所述校准后的空间坐标B、C和D，确定所述终端在所述第一姿态下，所述对准标识与所述摄像模块之间的第一空间向量、和所述对准...

【专利技术属性】
技术研发人员：王安立，李宗岩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44