商品展示方法及电子设备技术

本申请实施例公开了商品展示方法及电子设备，所述方法包括：响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；从所采集到的现实环境图像中检测用户的手部图像；将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。通过本申请实施例，能够使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。购物决策。购物决策。

【技术实现步骤摘要】
商品展示方法及电子设备


[0001]本申请涉及商品展示
，特别是涉及商品展示方法及电子设备。

技术介绍

[0002]在商品信息服务系统中，图文、视频、直播等都是用于对商品进行描述的常见方式，用户可以通过这种描述信息获得关于商品的特征信息，进而帮助用户进行购买决策。近年来还出现了通过三维模型对商品信息进行展示的方案，也即，通过对商品进行三维重建，可以在商品信息服务系统的客户端为用户呈现出关于商品的三维动态效果，并且可以实现用户和商品的互动，例如，用户可以通过滑动屏幕等方式触发商品转动，从而从多种不同视角观看到商品的外观，等等。
[0003]但是，即使通过三维模型对商品进行展示，用户能够获得的信息仍然是比较有限的。因此，如何进一步为用户提供关于具体商品的更详细的信息，并使得用户获得更接近于在线下购买商品时的体验，成为需要本领域技术人员解决的技术问题。

技术实现思路

[0004]本申请提供了商品展示方法及电子设备，能够使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。
[0005]本申请提供了如下方案：
[0006]一种商品展示方法，包括：
[0007]响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；
[0008]从所采集到的现实环境图像中检测用户的手部图像；
[0009]将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。
[0010]其中，还包括：
[0011]对用户的手部摆放姿势进行检测；
[0012]所述将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，包括：
[0013]在所述手部摆放姿势符合条件的情况下，将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。
[0014]其中，还包括：
[0015]如果所述手部图像的手部姿势不符合条件，则提供关于摆放姿势的提示信息。
[0016]其中，所述三维模型的尺寸与所述目标商品的真实尺寸相同；
[0017]所述方法还包括：
[0018]对所述三维模型的尺寸信息进行展示。
[0019]其中，还包括：
[0020]从所述现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作后，展示出由所述互动操作触发的关于所述三维模型的动态内容。
[0021]其中，所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：
[0022]在检测到所述手部图像发生平移或翻转时，将所述三维模型跟随所述手部图像的平移或翻转进行展示。
[0023]其中，所述手持物品包括带有显示屏的手持设备；
[0024]所述互动操作用于对所述手持设备中与启动目标功能相关的操作进行模拟；
[0025]所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：
[0026]在所述三维模型中的显示屏所在区域展示出所述目标功能对应的界面内容。
[0027]其中，还包括：
[0028]对所述手部图像进行实时的三维网格体Mesh重建，以获取多个三维手部关键点坐标；
[0029]根据所述三维手部关键点坐标确定所述手部的景深信息；
[0030]根据所述三维手部关键点坐标以及所述景深信息，确定所述目标商品的三维模型在所述现实环境图像中的展示位置及展示尺寸。
[0031]其中，还包括：
[0032]在对所述手部图像进行三维Mesh重建的过程中，还获取相机参数信息；
[0033]根据所述三维手部关键点坐标、景深信息以及相机参数信息，进行手部姿态估计；
[0034]根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。
[0035]其中，所述目标商品的三维模型与标准姿态的三维手部模型具有绑定关系，在默认状态下，所述三维手部模型通过所述标准姿态持握所述目标商品的三维模型，所述标准姿态的三维手部模型为不可见状态；
[0036]所述手部姿态估计结果包括：真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量；
[0037]所述根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态，包括：
[0038]通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。
[0039]一种商品展示装置，包括：
[0040]请求接收单元，用于响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；
[0041]手部图像检测单元，用于从所采集到的现实环境图像中检测用户的手部图像；
[0042]AR展示单元，用于将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。
[0043]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
[0044]一种电子设备，包括：
[0045]一个或多个处理器；以及
[0046]与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
[0047]根据本申请提供的具体实施例，本申请公开了以下技术效果：
[0048]通过本申请实施例，可以为手持物品类的目标商品提供通过AR方式进行展示的入口，用户通过该入口发起具体的AR展示请求后，可以采集现实环境图像并加载所述目标商品对应的三维模型，同时可以从所采集到的现实环境图像中检测用户的手部图像，并将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。这样，可以使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。
[0049]其中，具体的三维模型可以是与商品实际的真实尺寸相同，通过对手部图像的景深估计，还可以确定出三维模型在显示屏上的展示尺寸，从而体现出三维模型与手部图像的大小相对关系。
[0050]另外，三维模型还可以在AR空间中随着手部图像的运动而运动，呈现出“近大远小”的展示效果，还可以进行翻转等展示。再者，还可以为目标商品的三维模型创建标准姿态的三维手部模型，也即，在默认状态下，目标商品的三维模型可以是被一个透明的三维手部模型用标准姿态握住的。在进行手部姿态估计时，可以确定出现实世界图像中的真实手部的姿态相对于该标注姿态的旋转矩阵和/或平移向量，从而可以通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品展示方法，其特征在于，包括：响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；从所采集到的现实环境图像中检测用户的手部图像；将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。2.根据权利要求1所述的方法，其特征在于，还包括：对用户的手部摆放姿势进行检测；所述将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，包括：在所述手部摆放姿势符合条件的情况下，将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。3.根据权利要求2所述的方法，其特征在于，还包括：如果所述手部图像的手部姿势不符合条件，则提供关于摆放姿势的提示信息。4.根据权利要求1所述的方法，其特征在于，所述三维模型的尺寸与所述目标商品的真实尺寸相同；所述方法还包括：对所述三维模型的尺寸信息进行展示。5.根据权利要求1所述的方法，其特征在于，还包括：从所述现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作后，展示出由所述互动操作触发的关于所述三维模型的动态内容。6.根据权利要求5所述的方法，其特征在于，所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：在检测到所述手部图像发生平移或翻转时，将所述三维模型跟随所述手部图像的平移或翻转进行展示。7.根据权利要求5所述的方法，其特征在于，所述手持物品包括带有显示屏的手持设备；所述互动操作用于对所述手持设备中与启动目标功能相关的操作进行模拟；所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：在所述三维模型中的显示屏所在区域展示出所述目标功能对应的...

【专利技术属性】
技术研发人员：蔡羽，张杭，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：