一种基于混合现实的店铺展示方法、系统、设备和介质技术方案

本发明专利技术提出了一种基于混合现实的店铺展示方法、系统、设备和介质，包括：获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；建立所述店铺的三维立体模型；对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。通过采集线下店铺的图像信息并建立三维模型，并结合混合现实技术使得用户可以在线上真实体验线下实体店，用户可以真实观看及感受不同的商品而进行选购。

【技术实现步骤摘要】
一种基于混合现实的店铺展示方法、系统、设备和介质
本专利技术涉及计算机视觉
，尤其涉及一种基于混合现实的店铺展示方法、系统、设备和介质。
技术介绍
随着网络时代的发展，越来越多的线上店铺取代了线下实体店铺，线上店铺作为电子商务的一种形式，是一种能够让人们在浏览的同时进行购买，且通过各种在线支付手段进行支付完成交易的网站。但大多的线上店铺都难以避免的一个问题是，因为都是线上选购商品，极易出现买家到手的商品与在线上展示的商品不一致的问题。用户无法真实的像在逛实体店一样感受商品的材质及颜色、尺寸，从而会造成用户期待值与实际值偏差，以使用户体验感差。因此亟待提出一种店铺展示方法，使用户可以在线上实现等同于在线下真实看店的方法。
技术实现思路
基于此，有必要针对上述问题，提出一种基于混合现实的店铺展示方法、系统、设备和介质，以使用户可以在线上实现等同于在线下看店的真实体验。第一方面，提供一种基于混合现实的店铺展示方法，包括：获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；建立所述店铺的三维立体模型；对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。作为优选的，将所述混合现实三维立体模型叠加到真实的店铺环境中进行展示之后还包括：获取用户的人体三维模型；将人体三维模型建立空间坐标系，并将所述空间坐标系与所述店铺的混合现实三维立体模型的建立关联，并将人体三维模型基于所述空间坐标系与所述店铺的混合现实三维立体模型绑定；基于用户在混合现实环境中的交互手势，改变所述特征物体的展示状态。作为优选的，根据所述人体三维模型计算用户身高信息、人体骨骼信息及皮肤状态信息，基于所述身高信息、人体骨骼信息及皮肤状态信息，向用户推荐所述店铺内展示的所述特征物体。作为优选的，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习，包括：所述特征物体的参数至少包括尺寸信息、位置信息、标识信息；将所述尺寸信息、位置信息、标识信息输入数据训练库进行学习，并采用聚类算法对多个特征物体进行分类筛选。作为优选的，根据分类筛选后的多个特征物体分别建立三维模型，对于尺寸信息及标识信息一致的特征物体建立相同的三维模型，再基于不同的位置信息插入到店铺的三维立体模型的对应位置处。作为优选的，建立所述店铺混合现实三维立体模型，包括：根据所述店铺的深度图像信息，对所述深度图像信息进行像素分割，获得所述店铺的像素点分割结果；响应于所述店铺的全部像素点分割结果，运用坐标变换，将所述深度图像信息统一转换至相机坐标系下，得到当前帧三维点云；将所述相机坐标系下的当前帧三维点云统一至世界坐标系下，将所述世界坐标系下的当前帧三维点云插入世界坐标系下的全局地图中，构建所述店铺的混合现实三维立体模型。作为优选的，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示，包括：通过傅里叶模态法对局部光栅的衍射效率进行计算，再利用非序列建模将混合现实三维立体模型与真实的店铺环境相匹配叠加。第二方面，提供一种基于混合现实的店铺展示系统，包括：数据获取单元，获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；数据训练单元，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；第一模型单元，建立所述店铺的三维立体模型；第二模型单元，对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；数据输出单元，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。第三方面，提供了一种基于混合现实的店铺展示设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于混合现实的店铺展示方法的步骤。第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于混合现实的店铺展示方法的步骤。实施本专利技术实施例，将具有如下有益效果：本专利技术提出了一种基于混合现实的店铺展示方法、系统、设备和介质，通过获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；建立所述店铺的三维立体模型；对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。通过采集线下店铺的图像信息并建立三维模型，并结合混合现实技术使得用户可以在线上真实体验线下实体店，用户可以真实观看及感受不同的商品而进行选购。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1为一个实施例中基于混合现实的店铺展示方法的实现流程示意图；图2为一个实施例中基于混合现实的店铺展示系统的结构框图；图3为一个实施例中基于混合现实的店铺展示设备的内部结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在一个实施例中，提供了一种基于混合现实的店铺展示方法，本专利技术实施例所述的基于混合现实的店铺展示方法的执行主体为能够实现本专利技术实施例所述的基于混合现实的店铺展示方法的设备，该设备可以包括服务器和终端，所述终端包括移动终端，例如，手机和平板电脑。如图1所示，本专利技术实施例所述的基于混合现实的店铺展示方法，具体包括：步骤101，获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；其中，可以通过球幕相机或者深度相机获取店铺多角度的深度图像信息，为使尽可能多及快速的获取多角度图像信息，可以采用双目、三目或者八目等多目相机。在其他的实施例中也可以通过球幕相机或深度相机获取当前店铺的视频流信息，通过深度图像信息与视频流信息结合可以获得更高像素的场景图片，可以使获取的特征物体的特征本文档来自技高网...

【技术保护点】
1.一种基于混合现实的店铺展示方法，其特征在于，包括：/n获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；/n识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；/n建立所述店铺的三维立体模型；/n对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；/n将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。/n

【技术特征摘要】
1.一种基于混合现实的店铺展示方法，其特征在于，包括：
获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；
识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；
建立所述店铺的三维立体模型；
对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；
将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。


2.根据权利要求1所述的基于混合现实的店铺展示方法，其特征在于，将所述混合现实三维立体模型叠加到真实的店铺环境中进行展示之后还包括：
获取用户的人体三维模型；
将人体三维模型建立空间坐标系，并将所述空间坐标系与所述店铺的混合现实三维立体模型的建立关联，并将人体三维模型基于所述空间坐标系与所述店铺的混合现实三维立体模型绑定；
基于用户在混合现实环境中的交互手势，改变所述特征物体的展示状态。


3.根据权利要求2所述的基于混合现实的店铺展示方法，其特征在于，根据所述人体三维模型计算用户身高信息、人体骨骼信息及皮肤状态信息，基于所述身高信息、人体骨骼信息及皮肤状态信息，向用户推荐所述店铺内展示的所述特征物体。


4.根据权利要求1所述的基于混合现实的店铺展示方法，其特征在于，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习，包括：
所述特征物体的参数至少包括尺寸信息、位置信息、标识信息；
将所述尺寸信息、位置信息、标识信息输入数据训练库进行学习，并采用聚类算法对多个特征物体进行分类筛选。


5.根据权利要求4所述的基于混合现实的店铺展示方法，其特征在于，根据分类筛选后的多个特征物体分别建立三维模型，对于尺寸信息及标识信息一致的特征物体建立相同的三维模型，再基于不同的位置信息插入到店铺的三维立体模型的对应位置处。


6.根...

【专利技术属性】
技术研发人员：崔岩，
申请(专利权)人：中德珠海人工智能研究院有限公司，中德人工智能研究院有限公司，珠海市四维时代网络科技有限公司，
类型：发明
国别省市：广东;44