提供虚拟指导的方法、计算机系统及计算机可读存储介质技术方案

一种提供虚拟指导的方法，包括：使用一个或多个摄像头采集物理环境的一个或多个图像；当摄像头采集图像时，基于一个或多个图像实时渲染3

【技术实现步骤摘要】
提供虚拟指导的方法、计算机系统及计算机可读存储介质
分案说明本申请是基于申请号为201880097904.7，申请日为2018年10月15日，专利技术名称为“提供实时产品交互协助的系统和方法”的中国专利申请提出的，在该中国专利申请记载的范围内提出的分案申请。


[0001]本申请涉及家用电器，尤其涉及提供虚拟指导的方法、提供虚拟指导的系统以及计算机可读存储介质。

技术介绍

[0002]在当今电子商务日益普及的时代，许多产品供应商投入大量资源来开发和使用在线销售平台，该销售平台展示出了列表中的产品的图像，并通过提供产品描述、在线评价和单个产品页面上的信息视频来促进销售。尽管在线销售平台也为家用电器的销售提供了渠道，但是常规的在线销售平台无法满足用户试用家用电器、了解其功能以及与家用电器进行虚拟交互体验或在模仿用户家里的预期操作环境的虚拟环境中观看家用电器操作的愿望。虚拟/增强现实(Augmented Reality/Virtual Reality，VR/AR)环境至少包括一些表征或增强物理世界中的相应对象的虚拟元素。但是，传统的VR/AR技术效率低下，并且无法很好地将虚拟产品整合在虚拟环境中。此外，用于检测用户与虚拟对象的交互的用户输入(例如，通过各种传感器检测到的)不太直观且效率较低。
[0003]因此，需要一种有效且更直观的方法或系统来提供与用户与对象的交互相关联的实时虚拟体验。

技术实现思路

[0004]因此，需要具有改进的方法和界面的计算机系统，以使用用户手势实时地在增强和虚拟现实(VR/AR)环境中实时渲染用户的交互。该方法和界面可选地补充或替代了用于与VR/AR环境进行交互的常规方法。通过本公开的计算机系统能够减少或消除与用于VR/AR的用户界面相关联的上述缺陷和其他问题。例如，该方法和界面为用户提供了使用手势与AR/VR环境中的一个或多个对象进行交互的生动虚拟体验。该方法和界面还向用户提供与产品的虚拟视图同时显示的虚拟辅助样板，以帮助安置产品或使用用户的手势来装配产品。
[0005]在一些实施例中，本公开提供了一种提供虚拟指导(例如：现场故障排除和维修)的方法。该方法包括：在具有显示器、一个或多个摄像头、一个或多个处理器和存储器的电子设备(例如，用户设备)中，使用所述一个或多个摄像头采集的一个或多个图像，所述物理环境包括布置在第一位置的物理对象；当所述一个或多个摄像头采集所述一个或多个图像时，基于所述物理环境中的一个或多个图像实时渲染三维(3
‑
dimension，3
‑
D)虚拟环境，其中，所述3
‑
D虚拟环境包括所述物理对象在所述虚拟环境中的对应于所述物理环境中的所
述第一位置的位置处的表征；通过所述一个或多个摄像头采集所述物理环境中的第一手势；响应于由所述一个或多个摄像头采集所述第一手势：将所述第一手势转换成显示所述虚拟环境中与所述物理对象相关联的虚拟辅助样板的第一操作；在显示器上实时渲染与和所述物理对象在所述3
‑
D虚拟环境中的表征的位置相邻的物理对象相关联的所述虚拟辅助样板；通过所述一个或多个摄像头采集所述物理环境中的第二手势；响应于由所述一个或多个摄像头采集所述第二手势：将所述第二手势转换成与所述物理对象在所述3
‑
D虚拟环境中的表征的第一交互；根据与所述物理对象的表征的所述第一交互，确定与所述物理对象相关联的虚拟辅助样板上的第二操作；在所述显示器上实时渲染与所述物理对象相关联的所述虚拟辅助样板上的所述第二操作。
[0006]根据一些实施例，一种电子设备包括显示器；一个或多个摄像头；一个或多个处理器；和存储一个或多个程序的存储器；所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行或导致本公开的任何一种方法的操作的指令。根据一些实施例，一种在其上存储指令的计算机可读存储介质，当由电子设备执行所述指令时，使得设备执行或导致本公开的任何一种方法的操作。根据一些实施例，一种电子设备包括用于执行或导致本公开的任何一种方法的操作的装置。根据一些实施例，用于电子设备中的信息处理设备包括用于执行或导致本公开的任何一种方法的操作的装置。
[0007]根据以下描述，本申请的各种附加优点是显而易见的。
附图说明
[0008]通过结合附图对优选实施例的详细描述，在下文中将更清楚地理解所公开技术的前述特征和优点以及其附加特征和优点。
[0009]为了更清楚地描述本公开技术的实施例或现有技术中的技术方案，以下简要介绍描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开技术的一些实施例，并且本领域技术人员仍可以在不付出创造性劳动的情况下从这些附图中得到其他附图。
[0010]图1是根据一些实施例示出为用户与对象的交互提供实时虚拟体验和虚拟指导的操作环境的框图。
[0011]图2A是根据一些实施例的服务器系统的框图。
[0012]图2B是根据一些实施例客户端设备的框图。
[0013]图3A至3D是根据一些实施例为用户与对象的交互提供实时虚拟体验的方法的流程图。
[0014]图4A至4L示出了根据一些实施例为用户与对象的交互提供实时虚拟体验的系统和用户界面的示例。
[0015]图5是根据一些实施例为用户与对象的交互提供虚拟指导的方法的流程图。
[0016]图6A至6E示出了根据一些实施例为用户与对象的交互提供虚拟指导的系统和用户界面的示例。
[0017]在所有的附图中，相似的附图标记指代相应的部分。
具体实施方式
[0018]现在将详细参考实施例，其示例在附图中被示出。在下面的详细描述中，阐述了许多具体细节，以便对本申请提出的主题进行透彻理解。但是对于本领域技术人员，显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他情况下，未详细描述公知的方法，过程，组件和电路，以免不必要地混淆实施例的各个方面。
[0019]下面将结合本申请实施例中的附图，对本专利技术实施例中的技术方案进行清楚，完整地描述。所描述的实施例仅是本申请的所有实施例的一部分而不是全部。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]如图1所示，根据一些实施例，根据服务器
‑
客户端交互模型来实现虚拟图像处理和渲染系统100(例如，包括服务器系统104和一个或多个用户设备102)。根据一些实施例，服务器
‑
客户端交互模型包括在相应的用户设备102
‑
1、102
‑2…
102
‑
n上执行的客户端模块(未示出)，用户设备被部署在多种部署位置(例如，实体店、路演摊位、产品展示场所、产品测试场所、产品设计和生产场所、展厅、用户家中、用户厨房中、用户办公室中以及对机器进行现场故障排除的场景中等)。在一些实施例中，服务器...

【技术保护点】

【技术特征摘要】
1.一种提供虚拟指导的方法，包括：在具有显示器、一个或多个摄像头、一个或多个处理器和存储器的计算机系统中：使用所述一个或多个摄像头采集物理环境的一个或多个图像，所述物理环境包括布置在第一位置的物理对象；当所述一个或多个摄像头采集所述一个或多个图像时，基于所述物理环境中的一个或多个图像实时渲染3
‑
D虚拟环境，其中，所述3
‑
D虚拟环境包括所述物理对象在所述虚拟环境中的对应于所述物理环境中的所述第一位置的位置处的表征；通过所述一个或多个摄像头采集所述物理环境中的第一手势；响应于由所述一个或多个摄像头采集所述第一手势：将所述第一手势转换成显示所述虚拟环境中与所述物理对象相关联的虚拟辅助样板的第一操作；在显示器上实时渲染与和物理对象在所述3
‑
D虚拟环境中的表征的位置相邻的物理对象相关联的虚拟辅助样板；通过所述一个或多个摄像头采集所述物理环境中的第二手势；响应于由所述一个或多个摄像头采集所述第二手势：将所述第二手势转换成与物理对象在所述3
‑
D虚拟环境中的表征的第一交互；根据与所述物理对象的表征的所述第一交互，确定与所述物理对象相关联的虚拟辅助样板上的第二操作；和在所述显示器上实时渲染与所述物理对象相关联的所述虚拟辅助样板上的所述第二操作。2.根据权利要求1所述的方法，进一步包括：响应于通过所述一个或多个摄像头采集所述第二手势，在所述显示器上同时实时渲染：所述第二手势的表征和由与物理对象在所述3
‑
D虚拟环境中的表征的所述第一交互引起的所述物理对象的表征的移动；和根据与所述物理对象的表征的所述第一交互，在与所述物理对象相关联的虚拟辅助样板上的所述第二操作。3.根据权利要求1或2所述的方法，进一步包括：响应于由所述一个或多个摄像头采集所述第二手势，根据所述虚拟辅助样板上的所述第二操作，在所述显示器上渲染所述虚拟环境中与所述物理对象的表征的第二交互。4.根据权利要求3所述的方法，进一步包括：通过所述一个或多个摄像头采集所述物理环境中的第三手势；响应于由所述一个或多个摄像头采集所述第...

【专利技术属性】
技术研发人员：苏万里，朱玉洁，杨鸣一，陶姗，犹哈，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：