一种基于移动终端的眼镜虚拟试戴方法和系统技术方案

本发明专利技术涉及计算机视觉及虚拟穿戴结合的技术领域，本发明专利技术公开了一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。以方便用户得到好的购物体验，本发明专利技术还公开了基于移动终端的眼镜虚拟试戴系统。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与虚拟穿戴相结合的
，尤其涉及一种基于移动终端的虚拟眼镜试戴方法和系统。
技术介绍
随着移动互联网的深入发展，越来越多的用户开始使用手机、平板电脑等移动终端进行网络购物。与传统店铺购物相比，基于移动终端的网络购物有不受时间地点约束、种类齐全、价格低廉等优点，但是网络购物最大的缺点是对商品的观察不如传统店铺全面直观。网上商城通常只能通过图片或视频对商品进行展示，顾客难以利用这种方式精确选择适合自己的个性化商品。眼镜是一种典型的个性化商品，受到网上展示不直观的影响，用户难以在网络购物的过程中体验到真实的试戴感觉，从而难以选择适合自己的个性化眼镜。为了解决上述问题，一些方案提出了自己的解决办法，但目前已知的解决方案在精度、速度和硬件依赖上都有短板，难以有效地应用到手机、平板电脑等移动终端上。基于人脸识别技术的混合显示眼镜交互展示方法(公开号:CN1034000119A)利用主动外观模型对人脸图像进行标定，而后利用标定结果进行头部姿态估计，最后根据头部姿态估计的结果，将虚拟眼镜显示到原始图像上。该方法的主要问题在于主动外观模型的计算量大，且精度不高，不能较好的运用在手机、平板电脑等移动终端的嵌入式系统中，另外该方法也无法准确获得人脸的尺寸信息，因此无法得到人脸和眼镜大小合适程度的判断，即无法解决眼镜虚拟试戴合不合适的问题；虚拟试穿试戴系统和虚拟试穿试戴方法(公开号:CN104021590A)利用多组摄像头和深度信息传感器共同捕获人体姿态信息，再通过虚拟现实技术将眼镜等虚拟物体展示到原始图像上，得益于多视角视觉信息和深度信息，该方法理论上能达到的精度较高，缺点是计算量大，且需要多组摄像头和额外的深度信息传感器，移动终端的硬件条件不符合要求。眼镜虚拟试戴方法、装置及系统(公开号:CN104408764A)根据获得的人脸图像建立三维坐标系，将选取的预建立的三维眼镜模型定位于预建立的三维人脸模型上，再将三维人脸模型定位于三维坐标系中的人脸图像模型上，并缩放三维人脸模型使得三维人脸模型与三维坐标系中的人脸图像模型相匹配，显示三维眼镜模型及人脸图像模型。该方法缺点明显，首先大量工作需要消费者人工干预，且不支持人侧脸大角度情况下的眼镜佩戴。通常的眼镜试戴解决方案当摆头和侧头时，眼镜会消失或者所戴位置完全错误，导致试戴失败。我们能很好解决这个问题，是因为我们采用了CLM人脸模型并通过机器学习得到的人脸训练库，能确保在侧脸和摆头是仍然可获取人脸的特征点坐标。通常的眼镜试戴解决方案没有脸部尺度计算，无法判断眼镜合不合适。虚拟试戴方法及装置(公开号:CN104299143A)从实景视频中检测出人眼瞳孔，再将眼镜模型和人眼瞳孔位置相融合，完成眼镜虚拟试戴。该方法仅仅靠左右瞳孔两个点确定三维眼镜的6个自由度，坐标一一融合的原理就不通，实际的佩戴效果可以想象。眼镜虚拟试戴互动服务系统与方法(公开号:CN102867321A)先透过画面内的框架来定位人脸，取得相应的人脸影像中的某些特征点位置，后续每一张都和第一张图像特征点进行对比判断人脸的位置、移动状态与缩放比例，再将预设的眼镜模型合成于该位置。这个方法相当于虚拟眼镜是靠消费者自己调整脸而凑上去的，不是通过算法添加上去的，所有试戴的效果只和第一张图像凑的结果有关，这个方法试戴效果难以保证。实现虚拟试戴的方法和装置(公开号:CN104217350A)对于人脸特征的提取速度慢，满足不了实时试戴的要求，且没有人脸尺寸，无法判断试戴合不合适。
技术实现思路
针对现有技术中的眼镜虚拟试戴方法计算量大，无法在移动终端上实现的技术问题，本专利技术公开了一种基于移动终端的眼镜虚拟试戴方法，本专利技术还公开了一种基于移动终端的眼镜虚拟试戴系统。本专利技术的具体实现方式如下: 一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤:步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置，移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。更进一步地，上述的识别物为标准卡，所述标准卡的边缘为直线，采用霍夫变换检测出图像中的直线，再根据标准卡直线的位置及角度识别出图像中的标准卡的边缘线，根据检测出的边缘长度估计出用户脸部的尺寸。更进一步地，上述方法还包括当该方法启动时，采用语音提示用户将标准卡贴合在人脸的下巴处，当带有标准卡的图像采集成功后，提示用户将标准卡移走，将人脸面对摄像头。更进一步地，上述方法还包括根据用户的选择，判断是否对人脸进行美图处理。更进一步地，上述方法还包括存储用户选中的眼镜的试带效果图，并将多个试带效果图采用对比方式显示在用户的显示屏上。更进一步地，上述步骤二中的脸部识别采用约束局部模型进行人脸特征点标注，并利用前帧的预测位置对后帧进行初始化。更进一步地，上述方法还包括集成多种标准脸型的参考数据，比对当前用户脸型和多种标准脸型之间的相似度，然后选择最相似的脸型作为当前用户的脸型。更进一步地，上述方法还包括利用头部的姿态和尺寸信息来估计眼镜的俯仰角、旋转角和尺寸信息，利用色差信息对虚拟眼镜模型的颜色进行调整。本专利技术还公开了一种基于移动终端的眼镜虚拟试戴系统，其具体包括已知尺寸的识别物、带有摄像头的移动终端、以及设置在移动终端内部的脸部识别模块、眼镜图像获取模块、图像叠加模块和显示模块；所述已知尺寸的识别物用于贴合于脸部的固定位置，以计算得到当前用户的脸部尺寸；所述摄像头用于获取当前用户实时的脸部图像；所述脸部识别模块用于从实时的脸部图像中识别出人脸，并根据已知尺寸的识别物计算得到当前用户的脸部尺寸；所述眼镜图像获取模块用于获取眼镜的图像；所述图像叠加模块用于将获取的眼镜的图像叠加在当前用户的实时图像上；所述显示模块用于将叠加后的图像显示在用户的显示屏上。通过采用以上的技术方案，本专利技术具有以下的有益效果:为了适应And当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置，移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐一丹，周剑，陆宏伟，龙学军，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川;51