一种用于在用户设备上呈现增强现实内容的方法与设备技术

本申请的目的是提供一种用于在用户设备上呈现增强现实内容的方法与设备，基于目标装置对应的目标图像信息确定所述用户设备相对于所述目标装置的位姿信息，检测用户对所述目标装置所进行的用户操作，并基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。本申请在用户操作的同时提供相应的信息，从而实现引导用户操作实体装置的目的。

A Method and Device for Presenting Augmented Reality Content on User Equipment

The purpose of this application is to provide a method and device for presenting augmented reality content on a user device, to determine the position and posture information of the user device relative to the target device based on the target image information corresponding to the target device, to detect the user operation of the user to the target device, and to superimpose and present the information about the user based on the position and posture information and the user operation. Describe the augmented reality content of the target device. The application provides corresponding information while the user operates, so as to realize the purpose of guiding the user to operate the entity device.

【技术实现步骤摘要】
一种用于在用户设备上呈现增强现实内容的方法与设备本申请要求CN2018109305357(一种用于在用户设备上呈现增强现实内容的方法与设备)的优先权。
本申请涉及计算机领域，尤其涉及一种用于在用户设备上呈现增强现实内容的技术。
技术介绍
增强现实技术(AugmentedReality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。例如，增强现实技术被用于提供产品说明或用于提供产品的相关信息，在用户通过智能眼镜、手机等设备观察产品的实时影像时，产品说明或产品的相关信息(例如，产品上不同按钮的名称/功能)被叠加在相应的位置。虽然用户能得到各个按钮的虚拟内容说明并得到一定的引导，但是由于这些叠加呈现的内容并不能在用户操作过程中提供动态和及时的更新，用户很有可能仍然无法得知产品的实际使用方法，因而在使用产品时体验欠佳。
技术实现思路
本申请的一个目的是提供一种用于在用户设备上呈现增强现实内容的方法。根据本申请的一个方面，提供了一种用于在用户设备上呈现增强现实内容的方法，该方法包括以下步骤：基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；检测用户对所述目标装置所进行的用户操作；以及基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的方法，该方法包括以下步骤：目标装置接收对应的用户设备所发送的操作指令；以及基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。根据本申请的一个方面，提供了一种用户设备，该用户设备包括：位姿确定模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；操作检测模块，用于检测用户对所述目标装置所进行的用户操作；以及内容呈现模块，用于基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的装置，该装置包括：操作指令接收模块，用于接收对应的用户设备所发送的操作指令；以及操作指令执行模块，用于基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。根据本申请的一个方面，提供了一种用户设备，该用户设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；检测用户对所述目标装置所进行的用户操作；以及基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的装置，该装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：接收对应的用户设备所发送的操作指令；以及基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；检测用户对所述目标装置所进行的用户操作；以及基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：目标装置接收对应的用户设备所发送的操作指令；以及基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。与现有技术相比，本申请检测用户对实体装置的实际操作，并基于用户的不同操作而叠加呈现相应的增强显示内容，以在用户操作的同时提供相应的信息(例如按钮等部件的功能或操作说明、特定功能的操作流程等)，从而实现引导用户操作实体装置的目的。在用户实际操作实体装置的同时，叠加呈现而提供给用户的信息会根据用户的操作而动态变化，用户在实际操作中即可了解实体装置的操作方法(例如后续操作流程)，用户使用实体装置的学习成本低、用户体验好。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是根据本申请一个实施例的呈现增强现实内容的方法流程图；图2是根据本申请一个实施例的确定用户设备位姿的方法流程图；图3是根据本申请一个实施例的检测用户操作的方法流程图；图4是根据本申请另一个实施例的检测用户操作的方法流程图；图5是根据本申请另一个实施例的呈现增强现实内容的方法流程图；图6是根据本申请一个实施例的用户设备的功能框图；图7是根据本申请一个实施例的位姿确定模块的功能框图；图8是根据本申请一个实施例的操作检测模块的功能框图；图9是根据本申请另一个实施例的用户设备的功能框图；图10是根据本申请另一个实施例的用户设备的功能框图；图11是根据本申请一个实施例的用户设备的结构框图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限本文档来自技高网...

【技术保护点】
1.一种用于在用户设备上呈现增强现实内容的方法，其中，该方法包括：基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；检测用户对所述目标装置所进行的用户操作；基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

【技术特征摘要】
2018.08.15 CN 20181093053571.一种用于在用户设备上呈现增强现实内容的方法，其中，该方法包括：基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；检测用户对所述目标装置所进行的用户操作；基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。2.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，包括：获取目标装置对应的目标图像信息的目标特征信息；基于所述目标特征信息，匹配所述目标装置对应的预设特征信息；基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。3.根据权利要求1所述的方法，其中，所述目标装置和所述用户设备基于通信连接进行通信，所述检测用户对所述目标装置所进行的用户操作，包括：检测所述目标装置通过所述通信连接所发送的用户操作指示信息；基于所述用户操作指示信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示信息。4.根据权利要求1所述的方法，其中，所述检测用户对所述目标装置所进行的用户操作，包括：基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作。5.根据权利要求4所述的方法，其中，所述基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作，包括：基于所述目标图像信息，确定所述目标装置的操作区域中至少一个预设区域的遮挡状态信息，以检测用户对所述目标装置所进行的用户操作。6.根据权利要求4所述的方法，其中，所述基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作，包括：基于所述目标图像信息，确定关于所述目标装置的指示区域的指示状态信息，以检测用户对所述目标装置所进行的用户操作。7.根据权利要求6所述的方法，其中，所述指示区域包括以下至少任一项：至少一个指示灯；至少一个显示屏幕。8.根据权利要求1所述的方法，其中，所述检测用户对所述目标装置所进行的用户操作，包括：检测所述目标装置所发出的用户操作指示音信息；基于所述用户操作指示音信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示音信息。9.根据权利要求1所述的方法，其中，所述增强现实内容包括以下至少任一项：关于所述目标装置的说明信息；关于所述目标装置的操作区域的说明信息；关于所述目标装置的指示区域的说明信息；关于所述目标装置的操作引导信息；关于所述目标装置的操作引导信息序列。10.根据权利要求1所述的方法，其中，所述方法还包括：基于更新的目标图像信息，更新所述增强现实内容。11.根据权利要求1所述的方法，其中，所述方法还包括：基于用户对所述用户设备的操作，更新所述增强现实内容。12.根据权利要求1所述的方法，其中，所述方法还包括：基于用户对所述用户设备的操作，向所述目标装置发送对应的操作指令。13.一种用于在用户设备上呈现增强现实内容的方法，其中，该方法包括：目标装置接收对应的用户设备所发送的操作指令；基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。14.根据权利要求13所述的方法，其中，所述目标装置和所述用户设备基于通信连接进行通信，所述基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，包括：基于所述操作指令执行相应操作，并基于对应的操作结果，通过所述通信连接向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容；其中所述反馈信息包括对应所述操作结果的用户操作指示信息。15.根据权利要求13所述的方法，其中，所述基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，包括：基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容；其中所述反馈信息包括对应所述操作结果的用户操作指示音信息。16.一种用户设备，其中，该用户设备包括：位姿确定模块，用于基于目标装置对应的目标图像信息，确定所述用...

【专利技术属性】
技术研发人员：廖春元，鹿茹茹，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31