基于VR的虚拟场景试衣系统、方法、电子设备及存储介质技术方案

本发明专利技术公开了基于VR的虚拟场景试衣系统，包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，模特生成系统获取摄像头发送的用户的人脸特征信息以及深度传感器发送的身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特；以及用于获取用户选择的试衣场景，并根据试衣场景匹配得出系统中的场景模型；试衣展示系统接收试衣系统发送的试衣模特以及场景模型，并根据场景模型将试衣模特显示在相应的试衣场景中。本发明专利技术还公开了一种基于VR的虚拟场景试衣方法、电子设备及存储介质。本发明专利技术能够给用户提供更好的试衣体验。

Virtual scene fitting system, method, electronic equipment and storage medium based on VR

The invention discloses a virtual scene fitting system based on VR, including a camera, a depth sensor, a model generation system, a fitting system and a fitting display system. The model generation system obtains the user's face feature information sent by the camera and the body depth feature information sent by the depth sensor to generate the user's model model and send it to the fitting system. It is used to get the corresponding clothes model according to the clothes matching to be tested, and to generate the fitting model according to the user's model and clothes model; and to get the fitting scene selected by the user, and to get the scene model in the system according to the fitting scene matching; the fitting display system receives the fitting model and scene model sent by the fitting system, and will test according to the scene model. The model is shown in the corresponding fitting scene. The invention also discloses a virtual scene fitting method based on VR, an electronic device and a storage medium. The invention can provide better fitting experience for users.

【技术实现步骤摘要】
基于VR的虚拟场景试衣系统、方法、电子设备及存储介质
本专利技术涉及虚拟试衣系统，尤其涉及一种基于VR的虚拟场景试衣系统、方法、电子设备及存储介质。
技术介绍
目前，随着网络，新零售兴起，线下店铺需要给用户更好的用户体验，都会为用户提供试衣，但是现有的试衣都是用户自己直接试衣，这样不仅使得衣服有损伤，同时对于用户来说，也比较麻烦，而且不同的衣服其所穿的场合不同，仅仅单一的试衣并不能够看出衣服的效果。因此，在市面上出现了试衣系统，该试衣系统能够虚拟出相应的衣服、试衣场景、试衣模特等，然后供用户直接参考，能够给用户更好的视觉体验。但是现有的试衣系统大致有两种：其一：将衣服直接贴在用户身上，但这种贴合效果很差，衣服没有布料柔软质感，视觉效果很差；其二：将衣服虚拟化得出三维的衣服，然后将其穿在特定的模特身上，但是模特与用户无关，用户往往看不出、或体验不出衣服穿在自身上的效果、感觉等，体验效果差。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供了基于VR的虚拟场景试衣系统，其能够解决现有的试衣系统其用户体验效果差等问题。本专利技术的目的之二在于提供了基于VR的虚拟场景试衣方法，其能够解决现有的试衣系统其用户体验效果差等问题。本专利技术的目的之三在于提供一种电子设备，其能够解决现有的试衣系统其用户体验效果差等问题。本专利技术的目的之四在于提供一种计算机可读存储介质，其能够解决现有的试衣系统其用户体验效果差等问题。本专利技术的目的之一采用如下技术方案实现：基于VR的虚拟场景试衣系统，包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，摄像头、深度传感器分别与模特生成系统连接；模特生成系统、试衣展示系统分别与试衣系统连接；所述摄像头用于获取用户的人脸特征信息、深度传感器用于获取用户的身体深度特征信息；模特生成系统根据用户的人脸特征信息以及身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特并将其发送给试衣展示系统，使得试衣展示系统向用户显示试衣效果；试衣系统还用于为试衣模特切换不同的试衣场景。进一步地，试衣系统还用于识别获取用户的动作姿势，以及根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户显示对应的试衣动画。进一步地，还包括3D扫描仪和衣服模型生成系统，3D扫描仪通过衣服模型生成系统与试衣系统连接；所述衣服模型生成系统还用于通过3D扫描仪接收每个衣服的3D图像信息，并根据每个衣服的3D图像信息建立对应的衣服模型并存储于系统中。本专利技术的目的之二采用如下技术方案实现：基于VR的虚拟场景试衣方法，包括以下步骤：用户模型生成步骤：获取用户的信息并生成用户的模特模型；衣服模型匹配步骤：获取用户选择的衣服并匹配得出衣服的衣服模型；试衣展示步骤：根据用户的模特模型和衣服的衣服模型生成试衣模特，以及根据用户所选择的试衣场景匹配相应的场景模型，并根据场景模型将试衣模特显示于用户所选择的试衣场景下。进一步地，还包括试衣动作展示步骤：识别获取用户的动作姿势，并根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户展示对应的试衣动画。进一步地，所述用户模型生成步骤还包括：用户信息获取步骤：获取用户的人脸特征信息和身体深度特征信息；处理步骤：根据用户的人脸特征信息生成三维人脸以及根据用户的身体深度特征信息生成三维身体；模型生成步骤：将三维身体的脸部去除，并将三维人脸经过图像变换后对齐到三维身体的脸部位置上进而生成用户的模特模型。进一步地，衣服模型的建立过程如下：首先获取每个衣服的多个3D图像并生成对应的初步模型，并对初步模型进行背景去除、黑洞修复、衣服边缘整理的处理操作，进而生成每个衣服的衣服模型；在生成衣服模型时设置每个衣服对应的布料材质。进一步地，所述场景模型是通过Maya工具创建的。本专利技术的目的之三采用如下技术方案实现：一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术目的之二所采用的基于VR的虚拟场景试衣方法的步骤。本专利技术的目的之四采用如下技术方案实现：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术目的之二所采用的基于VR的虚拟场景试衣方法的步骤。相比现有技术，本专利技术的有益效果在于：本专利技术通过获取用户的脸部特征信息以及身体深度特征信息来生成用户的模特模型，并预先在系统中存储每个衣服的衣服模型以及场景模型，通过调用相应的衣服模型以及场景模型，并将其与用户的模特模型结合为用户显示在对应场景下的试衣效果。由于本专利技术中采用的模特为根据用户自身的信息创建的，用户能够直观地在自身在对应场景下的试衣效果显示，提供给用户更为直观地视觉体验、试衣体验。附图说明图1为本专利技术提供的基于VR的虚拟场景试衣系统模块图；图2为本专利技术提供的基于VR的虚拟场景试衣方法流程图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。本专利技术将VR技术应用到虚拟试衣系统中，从而能够使得用户看到自身在不同场景下穿着不同衣服时的试衣效果，提供给用户更为直观地视觉体验、试衣体验等。如图1所示，基于VR的虚拟场景试衣系统包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统。摄像头、深度传感器均与模特生成系统连接。模特生成系统、试衣展示系统分别与试衣系统连接。其中，摄像头、深度传感器均与模特生成系统电性连接。摄像头采用RGB摄像头，用于获取用户的脸部特征信息；而深度传感器用于获取用户的身体深度特征信息。其中，模特生成系统根据摄像头发送的用户的脸部特征信息、深度传感器发送的用户的身体深度特征信息生成用户的模特模型；试衣系统用于根据待试衣的衣服匹配得出该衣服对应的衣服模型，并根据用户的模特模型和衣服模型生成试衣模特。试衣展示系统根据试衣模型向用户显示相应的试衣效果，比如通过显示屏、大屏幕等将最终的试衣效果显示给用户观看。在生成用户的模特模型时，首先根据用户的脸部特征信息生成三维人脸，也即是生成用户的头部；根据身体深度特征信息生成三维身体，也即是生成人的身体；然后再将三维身体的脸部去除，将三维人脸经过简单的三维图像变换并将其对齐到三维身体的脸部位置上而生成三维的模特模型。其中，三维人脸采油工3DMM的方法生成，而三维身体采用SMPL方法生成。另外，对于三维人脸以及三维身体创建的过程也可以通过现有的其他建模方法来实现，本专利技术对于建模方法不做具体限制。本专利技术还能够为用户的试衣效果提供相应的应用场景的选择。因为不同的场景，由于其灯光、风等条件的不同，其衣服的显示效果也不一样，比如灯光复杂的酒吧、吹着微风的海滩、酒会等场景。本专利技术中对于场景的建立可通过三维建模软件建立，例如Maya等3D工具，然后将其存储于系统中，比如服务器上。由于在不同的场景下，不同布料在灯光、颜色等的展现下不同，比如棉衣没有皮衣光亮。在相同的风下，不同材料表现也不一样，比如皮衣比棉衣硬。因此，在不同的场景下，在显示试衣效果时，可根据不同的衣服材质来显示不同的衣服飘动、显示效果，使得本文档来自技高网...

【技术保护点】
1.基于VR的虚拟场景试衣系统，其特征在于：包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，摄像头、深度传感器分别与模特生成系统连接；模特生成系统、试衣展示系统分别与试衣系统连接；所述摄像头用于获取用户的人脸特征信息、深度传感器用于获取用户的身体深度特征信息；模特生成系统根据用户的人脸特征信息以及身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特并将其发送给试衣展示系统，使得试衣展示系统向用户显示试衣效果；试衣系统还用于获取用户选择的试衣场景，并根据试衣场景匹配得出系统中的场景模型，并将场景模型发送给试衣展示系统，使得试衣展示系统根据场景模型将试衣模特显示在相应的试衣场景中。

【技术特征摘要】
1.基于VR的虚拟场景试衣系统，其特征在于：包括摄像头、深度传感器、模特生成系统、试衣系统和试衣展示系统，摄像头、深度传感器分别与模特生成系统连接；模特生成系统、试衣展示系统分别与试衣系统连接；所述摄像头用于获取用户的人脸特征信息、深度传感器用于获取用户的身体深度特征信息；模特生成系统根据用户的人脸特征信息以及身体深度特征信息生成用户的模特模型并将其发送给试衣系统；试衣系统还用于根据待试衣的衣服匹配得到对应的衣服模型，以及根据用户的模特模型和衣服模型生成试衣模特并将其发送给试衣展示系统，使得试衣展示系统向用户显示试衣效果；试衣系统还用于获取用户选择的试衣场景，并根据试衣场景匹配得出系统中的场景模型，并将场景模型发送给试衣展示系统，使得试衣展示系统根据场景模型将试衣模特显示在相应的试衣场景中。2.根据权利要求1所述的系统，其特征在于：试衣系统还用于识别获取用户的动作姿势，以及根据用户的动作姿势使得试衣模特在相应的试衣场景内向用户显示对应的试衣动画。3.根据权利要求1所述的系统，其特征在于：还包括3D扫描仪和衣服模型生成系统，3D扫描仪通过衣服模型生成系统与试衣系统连接；所述衣服模型生成系统还用于通过3D扫描仪接收每个衣服的3D图像信息，并根据每个衣服的3D图像信息建立对应的衣服模型并存储于系统中。4.基于VR的虚拟场景试衣方法，其特征在于：包括以下步骤：用户模型生成步骤：获取用户的信息并生成用户的模特模型；衣服模型匹配步骤：获取用户选择的衣服并匹配得出衣服的衣服模型；试衣展示步骤：根据用户的模...

【专利技术属性】
技术研发人员：林永飞，谭峻东，
申请(专利权)人：广州多维魔镜高新科技有限公司，
类型：发明
国别省市：广东,44