基于人脸识别的眼镜试戴方法技术

本发明专利技术公开了一种基于人脸识别的眼镜试戴方法，本方法涉及计算机视觉领域与在线试戴领域，主要解决通过人脸识别算法，定位双眼位置，对用户选择的眼镜图片进行实时处理，从而实现线上眼镜实时试戴，灵活解决眼镜试戴依赖于线下实体店问题。于线下实体店问题。于线下实体店问题。

【技术实现步骤摘要】
基于人脸识别的眼镜试戴方法


[0001]本专利技术属于计算机视觉领域，计提涉及一种基于人脸识别的眼镜试戴方法。

技术介绍

[0002]随着计算机的蓬勃发展，带动了电子商务的不断发展，从而深刻改变了消费者的消费习惯与消费方式。网上购物可以使消费者更加方便购买到实惠的产品。
[0003]现阶段，不少消费者倾向于购买自己想要的产品，对于眼镜来说，由于眼镜需要人工测量度数，其在线销售模式尚未成熟。但是需要多人对眼镜的需求不仅仅是矫正视力，而是越来越关注实际佩戴效果。
[0004]在线试戴应用开始慢慢兴起，并逐渐被电商行业所运用。眼镜在线试戴应用可以在消费者足不出户的条件下，在线对所选择的眼镜进行试戴。并可以快使对不同种类的眼镜进行试戴和比较，进而选择出最适合自己的眼镜。免去消费者线下购镜的复杂步骤，节约消费者的时间。

技术实现思路

[0005]针对以上问题，本专利技术提供了一种基于人脸识别的眼镜试戴方法。本方法通过人脸检测算法实时获取人脸双眼位置，与用户所选择的眼镜进行融合，最终得到眼镜实时在线试戴效果。
[0006]本方明是这样实现的，本专利技术提供一种基于人脸识别的眼镜试戴方法，第一步是通过摄像机采集用户人脸实时照片，并对采集到的人像进行存储，第二步是通过人脸识别算法Retinaface算法对采集到的用户图像进行人脸检测并返回关键点，第三步是根据人脸识别算法处理后得到的关键点对用户选择的眼镜图像进行动态调整，并根据用户选择镜片的透明度对眼镜镜片像素进行调整，第四步是根据算法将用户图像与调整好的眼镜图像进行融合并且实时反应在用户屏幕上。
[0007] (一)获取实时图像阶段：通过摄像头实时获取用户的人脸图像，对采集到的人像进行存储。
[0008] (二)人脸特征检测阶段：使用MXNet的RetinaFace算法对实时采集的图像进行人脸检测，获得人脸的特征点。
[0009] (三)眼镜图片处理阶段：根据获取的人脸特征点对原始镜片图像进行缩放和旋转处理，并根据用户的选择设定眼镜镜片的透明度。
[0010] (四)人脸眼镜融合阶段：将实时采集的图片与处理好的镜片图片根据公式：进行融合，并将融合图像实时展现在屏幕上，从而实现动态效果。
[0011]2.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（一）中，获取实时图片阶段：a、通过摄像头拍摄获取用户的实时人脸图像，对图像进行归一化处理，并且进行实时的存储，采集到的图像为B。
[0012]3.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（二）中，人脸特征检测阶段：a、使用MXNet框架下的RetinaFace算法训练香港中文大学发布的大型人脸数据集WIDER FACE数据集，得到训练好的算法模型。
[0013]b、将步骤（一）采集到的用户实时人脸图像使用a步骤训练好的模型进行人脸检测，最终得到人脸的数据pts和box，pts包含人脸左眼、右眼、鼻子、嘴唇在采集的用户人脸图像的x轴、y轴位置，box为检测到的人脸的矩形范围。
[0014]4.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（三）中，眼镜图片处理阶段：a、用户所需要试戴的眼镜图片大小为S，眼镜图片人眼位置瞳距中心距离为X，b、将用户需要的眼镜图片进行缩放变换，根据步骤（二）获取的经过人脸识别算法返回的左右双眼的坐标、,可得采集到的实时图像中人瞳距为。由此可得图片缩放比例为，将原始眼镜图片大小乘缩放比例K得到适应人脸大小的眼镜图片。缩放变换公式：。
[0015]c、将用户需要的眼镜图片进行旋转变换，根据步骤（二）获取的经过人脸识别算法返回的左右眼坐标、，可得采集到的实时图像中人脸旋转的角度，对图像进行旋转变换得到适应人脸旋转角度的眼镜图片。旋转变换公式：。
[0016]5.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（四）中，人脸眼镜融合阶段：a、获取步骤（三）经过处理后的眼镜图片进行归一化处理得到眼镜图片F，并经过处理获取其α通道图像。
[0017]b、确定眼镜图片贴图到背景图片的起始坐标，将采集到的人脸实时图像左眼作为贴图起始坐标。由于眼镜边框的影响，将眼镜图片左移L/5.5。由于人脸左右旋转对起始点坐标有影响，当人脸左倾时，眼镜图片整体下移，当人脸右倾时，眼镜图片整体上移。
[0018]c、根据用户自主选择的眼镜镜片透明度对眼镜α通道图像进行处理，设置三个选项分别为镜片全黑，镜片半透明，镜片透明，此时分别对应α通道图像镜片的RGB为（1,1,1），（0.5,0.5,0.5），（0,0,0）。
[0019]d、根据公式：对处理好的眼镜图片F和背景B进行融合最终得到人镜融合后的图片，并对得到的融合图片进行实时显示。
[0020]本专利技术与现有技术相比，具有以下优点：1.使用MXNet框架下的RetinaFace算法，拥有极高的检测准确率，它融合了多任务联合监督学习和自我监督学习的优势，可以在不同尺度的人脸上执行像素级别的人脸定位。
[0021]2.使用采集到的人脸数据对应户选择的眼镜图片进行动态的调整，可以适应多场景下的人脸状态，例如：近距离、远距离、头部倾斜等状态。
[0022]3.用户自主选择镜片透明度，根据用户选择的眼睛透明度调整α通道眼睛图片，实现眼镜多种透明度功能。
附图说明
图1为本专利技术的方法的流程图图2为本专利技术眼镜图片示意图图3为本专利技术眼睛Alpha通道图片示意图图4为本专利技术用户选择镜片透明度为全透明时示意图图5为本专利技术用户选择镜片透明度为半透明时示意图图6为本专利技术用户选择镜片透明度为不透明时示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人脸识别的眼镜试戴方法，用于实现眼镜在线试戴，其特征是按照一下步骤进行：获取实时图像阶段：通过摄像头实时获取用户的人脸图像，对采集到的人像进行存储；人脸特征检测阶段：使用MXNet的RetinaFace算法对实时采集的图像进行人脸检测，获得人脸的特征点；眼镜图片处理阶段：根据获取的人脸特征点对原始镜片图像进行缩放和旋转处理，并根据用户的选择设定眼镜镜片的透明度；人脸眼镜融合阶段：将实时采集的图片与处理好的镜片图片根据公式： 进行融合，并将融合图像实时展现在屏幕上，从而实现动态效果。2.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（一）中，获取实时图片阶段：a、通过摄像头拍摄获取用户的实时人脸图像，对图像进行归一化处理，并且进行实时的存储，采集到的图像为B。3.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（二）中，人脸特征检测阶段：a、使用MXNet框架下的RetinaFace算法训练香港中文大学发布的大型人脸数据集WIDER FACE数据集，得到训练好的算法模型；b、将步骤（一）采集到的用户实时人脸图像使用a步骤训练好的模型进行人脸检测，最终得到人脸的数据pts和box，pts包含人脸左眼、右眼、鼻子、嘴唇在采集的用户人脸图像的x轴、y轴位置，box为检测到的人脸的矩形范围。4.如权利要求1所述的基于人脸识别的眼镜试戴方法，其特征在于：所述步骤（三）中，眼镜图片处理阶段：a、用户所需...

【专利技术属性】
技术研发人员：阮瑞，杨富超，程志友，刘欣然，
申请(专利权)人：安徽大学，
类型：发明
国别省市：