可360度转身的实时虚拟试衣的实现方法技术

本发明专利技术一种可360度转身的实时虚拟试衣的实现方法，包括一基于Kinect和灰色预测的虚拟试衣系统，提前制作好虚拟人物模型、服装模型、配件模型，将服装模型穿在虚拟人物模型上进行对应绑定，然后再将Kinect获得骨骼关节点数据与虚拟人物模型进行交叉对应绑定，利用椭圆肤色模型的人脸检测来判断人体的前背面，利用灰色预测模型对人体左右胯部关节点的数据变化进行实时预测，结合人脸检测和灰色预测的结果，判断是否需要对控制虚拟人物模型的骨骼关节点数据进行纠正，针对不同情况，利用不同的人体骨骼关节点数据驱动虚拟人物模型运动，本发明专利技术可实现360度的试衣体验，用户不仅可以看到正面的试衣效果，也可以看到侧面和背面的试衣效果，实时性好，稳定性强。

The realization method of real time virtual fitting for 360 degree turn

The realization method of the invention can be a 360 degree turn the real-time virtual fitting, including a virtual fitting system based on Kinect and gray prediction, advance the production of virtual character models, model, clothing accessories model, clothing to wear in the model of virtual human models on the corresponding binding, then the Kinect access point data and bone joint the virtual character model of corresponding cross binding, to judge the body before the back face detection using ellipse model, change the data using the grey prediction model of the body around the crotch joint real-time prediction, combining face detection and gray prediction results, determine the need for correction of skeletal joints control the virtual characters data model. According to different situations, driving the virtual character motion model using human skeleton point data, the invention can To achieve the 360 degree fitting experience, users can not only see the positive fitting effect, but also see the fitting effect on the side and back, with good real-time performance and strong stability.

【技术实现步骤摘要】
可360度转身的实时虚拟试衣的实现方法
本专利技术属于虚拟现实和人机交互领域，特别是利用Unity3D开发平台，基于Kinect和灰色预测的可360度转身的实时虚拟试衣的实现方法。
技术介绍
目前，伴随着虚拟现实和人机交互技术的快速发展，其应用领域越来越广，涉及方方面面，特别是大众所能接触的生活方面，更得到了大家的热爱和推崇。三维建模技术的成熟，让三维模型的创建变得更加简便快捷，利用三维建模软件可以快速构建人体、衣物模型等各种三维模型。相比于二维图片，三维模型与我们生活的世界更加接近，能够带给人们更加真实的视觉效果。因此，基于三维衣物，利用虚拟现实和人机交互技术，对三维场景进行模拟的虚拟试衣系统应运而生。虚拟试衣系统就是运用虚拟模拟的手段，模拟出不同的用户穿上不同款式、尺寸、颜色的服装表现出的不同效果，可以让用户看到衣物穿在自己身上的展示效果，判断是否符合自身要求。它解决了传统试衣时频繁穿脱衣服的繁琐，让试衣变得方便快捷。国内国外出现了许多虚拟试衣系统，但是目前大多数虚拟试衣系统主要研究布料模拟和人机交互方面，正面试衣效果可以很好地展示出来，但无法实现全方位的试衣。然而用户试衣时，会综合考虑正面、背面以及侧面的试衣效果，综合分析来判断衣服是否符合自身要求。因此，现在的虚拟试衣系统不能很好的满足用户的需求，应用范围受限。随着，生活节奏的加快和电商的普及，传统试衣系统急需改进，为了更好的满足用户的试衣需求，针对虚拟试衣系统存在的问题，提出了新的方法。
技术实现思路
本专利技术的目的为了解决上述现有虚拟试衣系统存在的问题，提供一种基于Kinect和灰色预测的可360度转身的实时虚拟试衣的实现方法，可以控制衣物随人体进行360度转身，用户不仅可以看到正面的试衣效果，也可以看到侧面和背面的试衣效果。本专利技术一种可360度转身的实时虚拟试衣的实现方法，包括一Unity3D开发平台，一基于Kinect和灰色预测的虚拟试衣系统，具体实现步骤如下：步骤1、模型构建、导入和绑定提前制作好虚拟试衣系统中使用的三维虚拟人物模型、服装模型、配件模型，并导入Unity3D开发平台中，将服装模型穿在虚拟人物模型上进行对应绑定，并将虚拟人物模型的身体隐藏起来；步骤2、试衣时，虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，将该骨骼关节点数据与虚拟人物模型进行绑定；步骤3、虚拟试衣系统同时通过Kinect实时捕捉用户的人体彩色图像，通过OpenCV的功能函数实时显示通过Kinect获得人体彩色图像；步骤4、对人体彩色图像进行分割获得人脸头部图像通过索引从步骤2的骨骼关节点数据中获得人体头部关节点位置坐标为HeadPos(x,y,z)，将该坐标转换到OpenCV的坐标系中表示为HeadPosCV(CV_x,CV_y)，用人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)在人体彩色图像上定位人体头部位置，以人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)为中心，画一个可以把人脸完全标出来的矩形框，将这个矩形框内的图像分割保存下来定义为人脸头部图像；步骤5、人脸肤色检测利用椭圆肤色模型，针对人脸头部图像中的每一个像素点进行色彩空间的转换，转换到YCrCb颜色空间，然后再非线性变换到YCb’Cr’空间，并判断人脸头部图像中的每个像素点是否在椭圆肤色模型的椭圆里，若是，则判定该像素点为肤色像素点，否则，判定该像素点为非肤色像素点；步骤6、对肤色像素点的数量进行统计，计算人脸头部图像中肤色像素点所占的比值，设定一大一小两个阈值，当该比值大于大的阈值时，就判定所采集的图像为人的正面，当该比值小于小的阈值时，就判定所采集的图像为人的背面，当该比值位于该两阈值的区间内时，就判定所采集的图像为人的侧面；步骤7、人体骨骼关节点运动轨迹的预测步骤2中虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，通过索引从上述骨骼关节点数据中得到左右胯部关节点数据，通过灰色模型预测公式计算得到左右胯部关节点三维坐标中深度值的预测值，并将该预测值与Kinect获得的实测数据进行对比，用于识别数据出现突变的时刻，当一边胯部关节点数据出现突变时，则用预测值代替该胯部关节点坐标的深度值，而该胯部关节点坐标的另外两个数据(x，y)保持在数据突变之前的最后一帧Kinect捕获到的关节点坐标的数值，用这样组合起来的关节点坐标数据来控制虚拟人物模型的运动；在左右两侧胯部数据突变之间，对肩部关节点坐标的深度值也用胯部关节点坐标的深度值的预测值进行代替；当检测到左右胯部关节点三维坐标中深度值都产生了突变时，将左边和右边胯部骨骼关节点三维坐标数据进行互换，对Kinect获取到的其他人体左右对称的骨骼关节点数据进行互换，利用互换后的数据驱动虚拟人物模型跟随用户进行旋转；步骤8、利用人脸检测和灰色预测的结果，进行试衣控制(1)当步骤6人脸检测到用户是正面时，虚拟试衣系统判断用户处于正面试衣状态，此时无论步骤7的灰色模型预测公式的结果如何，都用Kinect获取到的骨骼关节点数据进行试衣控制；(2)当步骤6人脸检测到用户是侧面时，虚拟试衣系统判断用户处于侧面试衣状态，当检测到任意一侧胯部关节点数据突变时，则用步骤7的灰色模型预测公式计算得到的深度值的预测值代替原来的胯部骨骼关节点三维坐标中的深度值，利用校正后的数据进行虚拟人物模型的试衣控制，直到检测到另一侧胯部关节点数据也发生了突变，则对Kinect捕获到的骨骼关节点数据进行左右互换，用校正后的骨骼关节点数据来对虚拟人物模型进行试衣控制；(3)当步骤6人脸检测到用户是背面时，虚拟试衣系统判断用户处于背面试衣状态，此时也不考虑灰色模型预测公式的结果，对Kinect捕获到的骨骼关节点数据进行左右互换，用校正后的骨骼关节点数据来对虚拟人物模型进行试衣控制。所述的灰色模型预测公式如下：其中为预测值，为参数向量，a为发展系数，u为灰色作用量，x(1)(1)为累加生成数列，k＝0,1,2,...,n，e为自然对数的底数。本专利技术提前制作好虚拟试衣系统中使用的三维虚拟人物模型、服装模型、配件模型等，并导入Unity3D开发平台中，将服装模型穿在虚拟人物模型上进行对应绑定，然后再将Kinect获得骨骼关节点数据与虚拟人物模型进行交叉对应绑定，通过两个绑定，就能实现通过Kinect捕获到的用户骨骼关节数据来控制虚拟人物模型运动，进而带动服装运动，之后把虚拟人物模型隐藏起来，替换用户自身的人脸头部图像，便可以实现用户试衣照镜子的效果。本专利技术与现有技术相比具如下优点：(1)可实现360度的试衣体验，用户不仅可以看到正面的试衣效果，也可以看到侧面和背面的试衣效果。(2)实时性好，衣物可实时跟随用户运动，不存在滞后问题。(3)稳定性强，针对Kinect获得的数据进行预测纠正，保证数据的正确性、连续性。附图说明图1是本专利技术的流程图；图2是本专利技术中虚拟人物模型和衣服模型绑定效果图；图3是本专利技术中人脸检测的流程图。以下结合附图和具体实施例对本专利技术做进一步详述。具体实施方式本专利技术一种可360度转身的实时虚拟试衣的实现方法，利用Unity3D开发平台，包括一基于Kinect和灰色预测实现可360度转身的虚拟试衣系统，具体实现步骤如下：步骤1、模型构建、本文档来自技高网...

【技术保护点】
一种可360度转身的实时虚拟试衣的实现方法，其特征在于：包括一Unity3D开发平台，一基于Kinect和灰色预测的虚拟试衣系统，具体实现步骤如下：步骤1、模型构建、导入和绑定提前制作好虚拟试衣系统中使用的三维虚拟人物模型、服装模型、配件模型，并导入Unity3D开发平台中，将服装模型穿在虚拟人物模型上进行对应绑定，并将虚拟人物模型的身体隐藏起来；步骤2、试衣时，虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，将该骨骼关节点数据与虚拟人物模型进行绑定；步骤3、虚拟试衣系统同时通过Kinect实时捕捉用户的人体彩色图像，通过OpenCV的功能函数实时显示通过Kinect获得人体彩色图像；步骤4、对人体彩色图像进行分割获得人脸头部图像通过索引从步骤2的骨骼关节点数据中获得人体头部关节点位置坐标为HeadPos(x,y,z)，将该坐标转换到OpenCV的坐标系中表示为HeadPosCV(CV_x,CV_y)，用人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)在人体彩色图像上定位人体头部位置，以人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)为中心，画一个可以把人脸完全标出来的矩形框，将这个矩形框内的图像分割保存下来定义为人脸头部图像；步骤5、人脸肤色检测利用椭圆肤色模型，针对人脸头部图像中的每一个像素点进行色彩空间的转换，转换到YCrCb颜色空间，然后再非线性变换到YCb’Cr’空间，并判断人脸头部图像中的每个像素点是否在椭圆肤色模型的椭圆里，若是，则判定该像素点为肤色像素点，否则，判定该像素点为非肤色像素点；步骤6、对肤色像素点的数量进行统计，计算人脸头部图像中肤色像素点所占的比值，设定一大一小两个阈值，当该比值大于大的阈值时，就判定所采集的图像为人的正面，当该比值小于小的阈值时，就判定所采集的图像为人的背面，当该比值位于该两阈值的区间内时，就判定所采集的图像为人的侧面；步骤7、人体骨骼关节点运动轨迹的预测步骤2中虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，通过索引从上述骨骼关节点数据中得到左右胯部关节点数据，通过灰色模型预测公式计算得到左右胯部关节点三维坐标中深度值的预测值，并将该预测值与Kinect获得的实测数据进行对比，用于识别数据出现突变的时刻，当一边胯部关节点数据出现突变时，则用预测值代替该胯部关节点坐标的深度值，而该胯部关节点坐标的另外两个数据(x，y)保持在数据突变之前的最后一帧Kinect捕获到的关节点坐标的数值，用这样组合起来的关节点坐标数据来控制虚拟人物模型的运动；在左右两侧胯部数据突变之间，对肩部关节点坐标的深度值也用胯部关节点坐标的深度值的预测值进行代替；当检测到左右胯部关节点三维坐标中深度值都产生了突变时，将左边和右边胯部骨骼关节点三维坐标数据进行互换，对Kinect获取到的其他人体左右对称的骨骼关节点数据进行互换，利用互换后的数据驱动虚拟人物模型跟随用户进行旋转；步骤8、利用人脸检测和灰色预测的结果，进行试衣控制(1)当步骤6人脸检测到用户是正面时，虚拟试衣系统判断用户处于正面试衣状态，此时无论步骤7的灰色模型预测公式的结果如何，都用Kinect获取到的骨骼关节点数据进行试衣控制；(2)当步骤6人脸检测到用户是侧面时，虚拟试衣系统判断用户处于侧面试衣状态，当检测到任意一侧胯部关节点数据突变时，则用步骤7的灰色模型预测公式计算得到的深度值的预测值代替原来的胯部骨骼关节点三维坐标中的深度值，利用校正后的数据进行虚拟人物模型的试衣控制，直到检测到另一侧胯部关节点数据也发生了突变，则对Kinect捕获到的骨骼关节点数据进行左右互换，用校正后的骨骼关节点数据来对虚拟人物模型进行试衣控制；(3)当步骤6人脸检测到用户是背面时，虚拟试衣系统判断用户处于背面试衣状态，此时也不考虑灰色模型预测公式的结果，对Kinect捕获到的骨骼关节点数据进行左右互换，用校正后的骨骼关节点数据来对虚拟人物模型进行试衣控制。...

【技术特征摘要】
1.一种可360度转身的实时虚拟试衣的实现方法，其特征在于：包括一Unity3D开发平台，一基于Kinect和灰色预测的虚拟试衣系统，具体实现步骤如下：步骤1、模型构建、导入和绑定提前制作好虚拟试衣系统中使用的三维虚拟人物模型、服装模型、配件模型，并导入Unity3D开发平台中，将服装模型穿在虚拟人物模型上进行对应绑定，并将虚拟人物模型的身体隐藏起来；步骤2、试衣时，虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，将该骨骼关节点数据与虚拟人物模型进行绑定；步骤3、虚拟试衣系统同时通过Kinect实时捕捉用户的人体彩色图像，通过OpenCV的功能函数实时显示通过Kinect获得人体彩色图像；步骤4、对人体彩色图像进行分割获得人脸头部图像通过索引从步骤2的骨骼关节点数据中获得人体头部关节点位置坐标为HeadPos(x,y,z)，将该坐标转换到OpenCV的坐标系中表示为HeadPosCV(CV_x,CV_y)，用人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)在人体彩色图像上定位人体头部位置，以人体头部关节点位置坐标HeadPosCV(CV_x,CV_y)为中心，画一个可以把人脸完全标出来的矩形框，将这个矩形框内的图像分割保存下来定义为人脸头部图像；步骤5、人脸肤色检测利用椭圆肤色模型，针对人脸头部图像中的每一个像素点进行色彩空间的转换，转换到YCrCb颜色空间，然后再非线性变换到YCb’Cr’空间，并判断人脸头部图像中的每个像素点是否在椭圆肤色模型的椭圆里，若是，则判定该像素点为肤色像素点，否则，判定该像素点为非肤色像素点；步骤6、对肤色像素点的数量进行统计，计算人脸头部图像中肤色像素点所占的比值，设定一大一小两个阈值，当该比值大于大的阈值时，就判定所采集的图像为人的正面，当该比值小于小的阈值时，就判定所采集的图像为人的背面，当该比值位于该两阈值的区间内时，就判定所采集的图像为人的侧面；步骤7、人体骨骼关节点运动轨迹的预测步骤2中虚拟试衣系统通过Kinect获得用户的骨骼关节点数据，通过索引从上述骨骼关节点数据中得到左右胯部关节点数据，通过灰色模型预测公式计算得到左右胯部关节点三维坐标中深度值的预...

【专利技术属性】
技术研发人员：姚俊峰，张晓丽，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35