基于3D人脸模型的眼镜定制方法、装置和终端制造方法及图纸

本公开是一种基于3D人脸模型的眼镜定制方法、装置和终端。该方法包括：获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型；根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。本公开方法可以实时实现眼镜的准确的匹配，还可以渲染该眼镜佩戴在脸部模型上的图像，供用户预览试戴效果，还可通过调整3D场景的光照、环境材质，来观察在不同光照条件、不同的周围环境下的眼镜佩戴效果。

Glasses customization method, device and terminal based on 3D face model

【技术实现步骤摘要】
基于3D人脸模型的眼镜定制方法、装置和终端
本公开涉及计算机通讯及3D人脸
，尤其涉及基于3D人脸模型的眼镜定制方法、装置和终端。
技术介绍
随着眼镜行业个性化消费的需求变得越来越强烈，基于虚拟试戴的眼镜购物服务也逐渐兴起。所谓虚拟试戴(VirtualTry-on)，是指利用计算机图像处理技术，将虚拟的饰品图像叠加或融合到人物图像中，给人一种将饰品佩戴到人物头上或身上的视觉效果。虽然现在市面上已有很多基于AR(AugmentedReality，增强现实)技术实现眼镜试戴的应用和系统，但存在着很多缺陷。AR是一种计算机视觉和图像处理技术，该技术通过将虚拟物体的图像融合到真实场景的二维图像或视频，使得在融合后的二维图像或视频中，虚拟物体看起来能很和谐地与真实场景中的物体和光照环境发生符合物理常识的交互。相关技术中的主要缺陷是这类应用总是无法智能地为用户计算出符合其脸部尺寸的眼镜，导致用户无法挑选到尺寸合适且佩戴舒适的眼镜。另外，由于现有的AR技术都无法稳定、精确地、快速地给出人脸部的关键尺寸，例如鼻梁宽度、脸宽以及耳朵的三维位置，更无法给出精确的三维人脸模型，也无法稳定地准确地佩戴到人脸图像上正确的位置，导致叠加到人像视频中的眼镜图像会不停地抖动，当人物脸部转到侧脸时更为明显。而且，在侧脸图像上，眼镜的镜脚位置摆放也总是不对，要么镜脚不够长够不着耳朵，要么就是镜脚插入到皮肤里面。因此，相关技术上的限制，使得基于AR技术的眼镜佩戴应用的实际效果不佳，无法匹配到符合用户脸部尺寸的眼镜。专利
技术实现思路
为克服相关技术中存在的问题，本公开提供一种基于3D人脸模型的眼镜定制方法、装置和终端，能实时实现眼镜的准确的匹配。根据本公开实施例的第一方面，提供一种基于3D人脸模型的眼镜定制方法，包括：获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型；根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。优选的，所述根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型之后，还包括：根据所述试戴眼镜的外观特性渲染所述试戴眼镜的眼镜模型。优选的，所述根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，包括：根据以下规则在眼镜数据库中匹配合适的眼镜列表：用户脸部两个瞳孔特征点的水平间距等于镜框的瞳距；用户脸部两个脸宽特征点的水平间距小于镜框的整体宽度，或小于镜片大小乘以2加镜框鼻梁宽度。优选的，所述方法还包括：在安装时对齐眼镜定位平面和用户脸部定位平面，其中，所述眼镜定位平面由眼镜的镜片和镜架数据确定，用户面部定位平面由用户瞳孔和耳朵特征数据确定。优选的，所述方法还包括：对所述试戴眼镜的眼镜模型和用户脸部3D模型执行碰撞检测，判断所述所述试戴眼镜的眼镜模型佩戴之后是否会与用户皮肤或五官产生碰撞；将碰撞侵入距离小于设定范围的所述试戴眼镜的眼镜模型确定为适合用户脸部3D模型的眼镜。优选的，所述方法还包括：标注所述用户的脸部3D模型数据中的瞳孔，脸宽和耳朵的特征数据；如果所述用户的脸部3D模型数据中的瞳孔、脸宽和耳朵的特征数据错误，则重新标注所述瞳孔、脸宽和耳朵的特征数据。根据本公开实施例的第二方面，提供一种基于3D人脸模型的眼镜定制装置，包括：人脸模型导入模块，用于获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；眼镜自动匹配模块，用于根据用户的瞳孔、脸宽和耳朵的特征数在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；安装模块，用于根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型，根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。优选的，所述装置还包括：渲染模块和/或标注模块；其中，渲染模块，用于根据所述试戴眼镜的外观特性渲染所述试戴眼镜的眼镜模型；标注模块，用于标注所述用户的脸部3D模型数据中的瞳孔、脸宽和耳朵的特征数据，如果所述用户的脸部3D模型数据中的瞳孔、脸宽和耳朵的特征数据错误，则重新标注所述瞳孔，脸宽和耳朵的特征数据。优选的，所述装置还包括眼镜数据存储模块，用于存储导入的人脸模型、特征点的特征数据、所有眼镜模型以及眼镜的尺寸/纹理/材质/款式数据。根据本公开实施例的第三方面，提供一种基于3D人脸模型的眼镜定制终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述的基于3D人脸模型的眼镜定制方法中所执行的操作。根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行上述的方法。本公开的实施例提供的技术方案可以包括以下有益效果：本公开的实施例提供的基于3D人脸模型的眼镜定制方法，获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型；；根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。可以发现，本公开的方法能满足消费者对眼镜个性化定制的消费需求，根据消费者脸部三维模型及尺寸，自动为消费者匹配尺寸合适且佩戴舒适的眼镜，并自动试戴眼镜到脸部模型上，实时实现眼镜的准确的佩戴。本公开的实施例还可以根据所述试戴眼镜的外观特性渲染所述试戴眼镜的眼镜模型，使得用户更换每款眼镜的纹理颜色、材质等参数时会自动根据相应的纹理和材质渲染该眼镜佩戴在脸部模型上的图像，供用户预览试戴效果，同时用户还可以通过调整整个3D场景的光照、环境材质，来观察在不同光照条件、不同的周围环境下的眼镜佩戴效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1是本公开根据一示例性实施例示出的基于3D人脸模型的眼镜定制方法的流程图；图2是本公开根据一示例性实施例示出的基于3D人脸模型的眼镜定制装置的示意图框图；图3是本公开适用于眼镜试戴的关键特征点的示意图；图4是本公开左脸的瞳孔特征点示意图；图5是本公开的本文档来自技高网...

【技术保护点】
1.基于3D人脸模型的眼镜定制方法，其特征在于，包括：/n获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；/n根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；/n根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型；/n根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。/n

【技术特征摘要】
1.基于3D人脸模型的眼镜定制方法，其特征在于，包括：
获取用户的脸部3D模型数据，其中，用户的脸部3D模型数据至少包括瞳孔、脸宽和耳朵的特征数据；
根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，且确定每款眼镜的安装参数；
根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型；
根据所述试戴眼镜的对应的安装参数，安装所述试戴眼镜的眼镜模型至用户脸部3D模型。


2.根据权利要求1所述的方法，其特征在于，所述根据用户在匹配成功的眼镜列表中选择试戴的眼镜，构建试戴眼镜的眼镜模型之后，还包括：
根据所述试戴眼镜的外观特性渲染所述试戴眼镜的眼镜模型。


3.根据权利要求1所述的方法，其特征在于，所述根据用户的瞳孔、脸宽和耳朵的特征数据在眼镜数据库中匹配合适的眼镜列表，包括：
根据以下规则在眼镜数据库中匹配合适的眼镜列表：
用户脸部两个瞳孔特征点的水平间距等于镜框的瞳距；
用户脸部两个脸宽特征点的水平间距小于镜框的整体宽度，或小于镜片大小乘以2加镜框鼻梁宽度。


4.根据权利要求1所述的方法，其特征在于，还包括：
在安装时对齐眼镜定位平面和用户脸部定位平面，其中，所述眼镜定位平面由眼镜的镜片和镜架数据确定，用户面部定位平面由用户瞳孔和耳朵特征数据确定。


5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
对所述试戴眼镜的眼镜模型和用户脸部3D模型执行碰撞检测，判断所述所述试戴眼镜的眼镜模型佩戴之后是否会与用户皮肤或五官产生碰撞；
将碰撞侵入距离小于设定范围的所述试戴眼镜的眼镜模型确定为适合用户脸部3D模型的眼镜。


6.根据权利...

【专利技术属性】
技术研发人员：郑从威，程龙，刘焱，刘坤辉，黄明洋，
申请(专利权)人：广州智美科技有限公司，
类型：发明
国别省市：广东;44