AR制造技术

本发明专利技术提出一种

【技术实现步骤摘要】
AR试穿互动体验方法及系统


[0001]本专利技术涉及
AR

，尤其涉及
AR
试穿互动体验方法及系统
。

技术介绍

[0002]AR
是一种技术，它将虚拟信息与现实世界中的物体
、
场景或环境相融合，以提供更丰富
、
沉浸式的用户体验
。
这种技术通过智能设备（如智能手机
、AR
眼镜
、
平板电脑）的摄像头或传感器来捕捉现实世界的信息，并将虚拟图像
、
音频或数据叠加在用户的视野中，
AR
技术旨在改善用户的感知和互动，使其能够更好地理解和探索物理世界，并与虚拟元素进行互动
。
[0003]AR
试穿互动体验是增强现实的一个具体应用，它通常用于试穿虚拟衣物
、
眼镜
、
首饰或其他时尚物品，以及评估它们在用户身上的效果，这一技术的主要目的是让用户在虚拟世界中“试穿”不同的物品，以便更好地了解它们是否适合自己的需求和喜好，通过
AR
试穿互动体验，用户可以实时查看虚拟物品与其自身的搭配效果，而无需实际穿戴或购买物品
。
[0004]为了实现
AR
试穿互动体验，通常会利用摄像头捕捉用户的图像，然后使用计算机视觉和图像处理技术将虚拟物品精确地叠加在用户身体上，这需要高度准确的物体追踪
、
光照模拟和实时渲染等技术，以确保虚拟物品与用户的实际环境和外观相协调，此外，用户通常可以通过手势
、
触摸屏幕或声音命令来与虚拟物品进行互动，例如旋转
、
缩放或更改其属性，以更好地满足他们的需求
。
[0005]现有的
AR
试穿技术通常局限于较为基础的虚拟试穿体验，缺乏深度捕捉和面部分析的复杂算法，因此难以精确地捕捉用户的动态姿势和表情，导致虚拟试穿效果与用户的实际体型和表情反馈不匹配，此外，它们往往缺少考虑环境因素，使得虚拟试穿效果在不同光照和背景条件下显得不自然，也缺少有效的用户互动和个性化推荐系统，限制了用户体验的个性化和参与度，多用户交互和协作也不常见，这限制了社交购物的潜力和在线购物的互动性
。

技术实现思路

[0006]本专利技术的目的是解决现有技术中存在的缺点，而提出的
AR
试穿互动体验方法及系统
。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
AR
试穿互动体验方法，包括以下步骤：
S1
：基于深度相机技术，采用
OpenPose
骨骼追踪算法，对用户的身体姿势进行实时捕捉，获取用户的骨骼结构和关节角度信息，生成用户的三维骨骼模型；
S2
：基于所述三维骨骼模型，应用卷积神经网络算法，分析用户的面部特征，以推测其性别
、
年龄和情感，结合用户历史购物记录和社交媒体数据，使用自然语言处理技术分析用户的时尚偏好，生成用户的面部特征模型；
S3
：基于所述面部特征模型，借助虚拟衣物数据库和三维模型匹配算法，通过最近邻搜索或三维网格匹配，根据用户的骨骼结构和时尚偏好，从虚拟衣物数据库中选择匹配的虚拟衣物，生成虚拟衣物模型；
S4
：通过虚拟试穿引擎，将所述虚拟衣物模型与用户的骨骼模型相融合，使用形变模型和有限元分析进行调整，生成虚拟试穿效果；
S5
：基于所述虚拟试穿效果，结合环境感知传感器数据，基于光线传感器和温度传感器，采用光线追踪算法，模拟多环境下的光照和阴影，调整虚拟试穿效果，生成自适应虚拟试穿模型；
S6
：基于所述自适应虚拟试穿模型，启用用户互动界面，用户通过手势识别和语音命令与虚拟衣服进行互动，具体为调整颜色
、
旋转或更改样式，系统实时反馈并生成互动操作模型；
S7
：基于所述互动操作模型和自适应虚拟试穿模型，借助
AR
技术，允许多用户的远程协作，实时共享
AR
体验；所述三维骨骼模型包括骨骼节点坐标
、
骨骼长度和关节角度，所述面部特征模型包括性别
、
年龄
、
情感，以及用户的时尚风格偏好，所述虚拟衣物模型包括三维模型
、
颜色
、
纹理和风格，所述虚拟试穿效果包括虚拟衣物的形状
、
大小
、
位置和纹理，所述自适应虚拟试穿模型包括对光线
、
阴影和背景的适应性调整，所述互动操作模型包括用户的互动指令和对虚拟衣物的调整
。
[0008]作为本专利技术的进一步方案，基于深度相机技术，采用
OpenPose
骨骼追踪算法，对用户的身体姿势进行实时捕捉，获取用户的骨骼结构和关节角度信息，生成用户三维骨骼模型的步骤具体为：
S101
：借助深度相机技术，采用深度图像采集算法，获取用户的实时深度图像数据，生成用户的深度图像；
S102
：基于所述深度图像，采用
RGB
图像采集算法，获取用户的实时
RGB
彩色图像数据，生成用户的
RGB
图像；
S103
：基于所述深度图像和
RGB
图像，实时捕捉用户的身体姿势，获取用户的骨骼结构和关节角度信息，采用三维建模算法，生成用户的三维骨骼模型
。
[0009]作为本专利技术的进一步方案，基于所述三维骨骼模型，应用卷积神经网络算法，分析用户的面部特征，以推测其性别
、
年龄和情感，结合用户历史购物记录和社交媒体数据，使用自然语言处理技术分析用户的时尚偏好，生成用户的面部特征模型的步骤具体为：
S201
：基于所述三维骨骼模型，提取用户的面部特征点坐标，包括眼睛
、
鼻子和嘴巴，生成用户的面部特征点坐标；
S202
：基于所述面部特征点坐标，采用卷积神经网络算法，分析用户的面部特征，生成用户的性别
、
年龄和情感信息；
S203
：获取用户的历史购物记录
、
社交媒体信息和时尚风格信息，结合所述性别
、
年龄和情感信息，采用自然语言处理技术，生成用户的历史数据，分析用户的时尚偏好
。
[0010]作为本专利技术的进一步方案，基于所述面部特征模型，借助虚拟衣物数据库和三维模型匹配算法，通过最近邻搜索或三维网格匹配，根据用户的骨骼结构和时尚偏好，从虚拟衣物数据库中选择匹配的虚拟衣物，生成虚拟衣物模型的步骤具体为：
S301
：基于所述用户的三维骨骼模型，运用三维模型匹配算法，测量用户的身体尺寸和形态，生成用户身体特征数据；
S302
：基于所述身本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
AR
试穿互动体验方法，其特征在于，所述方法包括以下步骤：基于深度相机技术，采用
OpenPose
骨骼追踪算法，对用户的身体姿势进行实时捕捉，获取用户的骨骼结构和关节角度信息，生成用户的三维骨骼模型；基于所述三维骨骼模型，应用卷积神经网络算法，分析用户的面部特征，以推测其性别
、
年龄和情感，结合用户历史购物记录和社交媒体数据，使用自然语言处理技术分析用户的时尚偏好，生成用户的面部特征模型；基于所述面部特征模型，借助虚拟衣物数据库和三维模型匹配算法，通过最近邻搜索或三维网格匹配，根据用户的骨骼结构和时尚偏好，从虚拟衣物数据库中选择匹配的虚拟衣物，生成虚拟衣物模型；通过虚拟试穿引擎，将所述虚拟衣物模型与用户的骨骼模型相融合，使用形变模型和有限元分析进行调整，生成虚拟试穿效果；基于所述虚拟试穿效果，结合环境感知传感器数据，基于光线传感器和温度传感器，采用光线追踪算法，模拟多环境下的光照和阴影，调整虚拟试穿效果，生成自适应虚拟试穿模型；基于所述自适应虚拟试穿模型，启用用户互动界面，用户通过手势识别和语音命令与虚拟衣服进行互动，具体为调整颜色
、
旋转或更改样式，系统实时反馈并生成互动操作模型；基于所述互动操作模型和自适应虚拟试穿模型，借助
AR
技术，允许多用户的远程协作，实时共享
AR
体验；所述三维骨骼模型包括骨骼节点坐标
、
骨骼长度和关节角度，所述面部特征模型包括性别
、
年龄
、
情感，以及用户的时尚风格偏好，所述虚拟衣物模型包括三维模型
、
颜色
、
纹理和风格，所述虚拟试穿效果包括虚拟衣物的形状
、
大小
、
位置和纹理，所述自适应虚拟试穿模型包括对光线
、
阴影和背景的适应性调整，所述互动操作模型包括用户的互动指令和对虚拟衣物的调整
。2.
根据权利要求1所述的
AR
试穿互动体验方法，其特征在于，基于深度相机技术，采用
OpenPose
骨骼追踪算法，对用户的身体姿势进行实时捕捉，获取用户的骨骼结构和关节角度信息，生成用户三维骨骼模型的步骤具体为：借助深度相机技术，采用深度图像采集算法，获取用户的实时深度图像数据，生成用户的深度图像；基于所述深度图像，采用
RGB
图像采集算法，获取用户的实时
RGB
彩色图像数据，生成用户的
RGB
图像；基于所述深度图像和
RGB
图像，实时捕捉用户的身体姿势，获取用户的骨骼结构和关节角度信息，采用三维建模算法，生成用户的三维骨骼模型
。3.
根据权利要求2所述的
AR
试穿互动体验方法，其特征在于，基于所述三维骨骼模型，应用卷积神经网络算法，分析用户的面部特征，以推测其性别
、
年龄和情感，结合用户历史购物记录和社交媒体数据，使用自然语言处理技术分析用户的时尚偏好，生成用户的面部特征模型的步骤具体为：基于所述三维骨骼模型，提取用户的面部特征点坐标，包括眼睛
、
鼻子和嘴巴，生成用户的面部特征点坐标；
基于所述面部特征点坐标，采用卷积神经网络算法，分析用户的面部特征，生成用户的性别
、
年龄和情感信息；获取用户的历史购物记录
、
社交媒体信息和时尚风格信息，结合所述性别
、
年龄和情感信息，采用自然语言处理技术，生成用户的历史数据，分析用户的时尚偏好
。4.
根据权利要求3所述的
AR
试穿互动体验方法，其特征在于，基于所述面部特征模型，借助虚拟衣物数据库和三维模型匹配算法，通过最近邻搜索或三维网格匹配，根据用户的骨骼结构和时尚偏好，从虚拟衣物数据库中选择匹配的虚拟衣物，生成虚拟衣物模型的步骤具体为：基于所述用户的三维骨骼模型，运用三维模型匹配算法，精确测量用户的身体尺寸和形态，生成用户身体特征数据；基于所述身体特征数据和用户的时尚偏好，采用最近邻搜索算法筛选出与用户特征相匹配的虚拟衣物，生成候选虚拟衣物列表；从所述候选虚拟衣物列表中，运用三维网格匹配技术细化搜索，生成匹配虚拟衣物数据；对所述匹配虚拟衣物数据进行渲染和细节调整，确保衣物的视觉效果与用户的偏好以及三维模型的适配性相符合，生成虚拟衣物模型
。5.
根据权利要求4所述的
AR
试穿互动体验方法，其特征在于，通过虚拟试穿引擎，将所述虚拟衣物模型与用户的骨骼模型相融合，使用形变模型和有限元分析进行调整，生成虚拟试穿效果的步骤具体为：基于所述历史数据和三维骨骼模型，利用虚拟试穿引擎，将用户的三维骨骼模型与虚拟衣物模型融合，生成虚拟试穿模型；基于所述虚拟试穿模型，应用形变模型算法，根据用户的骨骼结构，调整虚拟衣物的形状和位置，生成初步虚拟试穿效果；基于所述初步虚拟试穿效果，运用有限元分析技术，模拟虚拟衣物材质的物理行为，生成有限元分析后的虚拟试穿效果；根据所述用户的时尚偏好，调整虚拟衣物的纹理
、
颜色和风格，结合有限元分析后的虚拟试穿效果，生成纹理调整后的虚拟试穿效果
。6.
根据权利要求5所述的
AR
试穿互动体验方法，其特征在于，基于所述虚拟试穿效果，结合环境感知传感器数据，基于光线传感器和温度传感器，采用光线追踪算法，模拟多环境下的光照和阴影，调整虚拟试穿效果，生成自适应虚拟试...

【专利技术属性】
技术研发人员：涂瑜琮，王振海，杨宸，
申请(专利权)人：南昌世弘泛亚科技股份有限公司，
类型：发明
国别省市：