本发明专利技术公开了一种智能染发试发的方法，包括以下步骤：摄像头实时采集图像信息；通过深度学习进行实时的面部特征检测和跟踪，并提取人脸特征关键点及头发部位二值图像数据；假设分别为脸颊左边最上的点A，坐标[Xleft,Yleft,Zleft]、脸颊右边最上的点B，坐标[Xright,Yright,Zright]、眉心中间的点C，坐标[Xcenter,Ycenter,Zcenter];将获得的C坐标，用于定位发型模型的空间位置；将A和B进行X轴的距离求值，公式Xleft+Xright，即为发型模型大小的值；加载发型模型到定位发型模型的空间位置以及适配大小，进行实时渲染展示，智能化自定义调整发型模型的长度数据和粗细数据进行不同效果展示；本发明专利技术更加富有创新性的模拟虚拟试发染发效果，可以满足让用户预先观看自己的发型，为理发店提供智能化的理发方案。为理发店提供智能化的理发方案。为理发店提供智能化的理发方案。
【技术实现步骤摘要】
一种智能染发试发的方法及装置
[0001]本专利技术涉及三维仿真图像处理
，特别地是一种智能染发试发的方法及装置。
[0002]
技术介绍
[0003]现在的理发店理发都是告知或参照某个模特图片让理发师应该理怎样的发型，客户不能预知理发之后的效果，一旦理发开始便不可回退；现有的理发店的镜子，更多的是单纯一面镜子，只能用于让客户简单的看到自己的样子，尚未智能化地实现试发染发效果体验，尚不可以满足客户预知理发染发之后的情况，不能满足更有创意、更进一步的需求；现有的仿真试发染发技术，体现在app或电脑桌面应用中使用，不能很方便地在理发过程中实时看着效果；需要提供一种实现试发染发功能的方法和装置，让客户能够实时观看自己理发染发之后的效果。
技术实现思路
[0004]本专利技术的目的在于提供一种操作方便，富有创新性的模拟虚拟试发染发效果，可以满足让用户预知观看自己的发型，为理发店提供智能化的理发方案的智能染发试发的方法及装置。
[0005]本专利技术通过以下技术方案实现的：一种智能染发试发的方法，包括以下步骤：步骤S1、摄像头实时采集图像信息；步骤S2、通过深度学习进行实时的面部特征检测和跟踪，并提取人脸特征关键点及头发部位二值图像数据；步骤S3、在步骤S2所获得的人脸关键点数据选取左右脸颊、眉心等区域的关键点数据，假设分别为脸颊左边最上的点A，坐标[Xleft,Yleft,Zleft]、脸颊右边最上的点B，坐标[Xright,Yright,Zright]、眉心中间的点C，坐标[Xcenter,Ycenter,Zcenter]；步骤S4、将步骤S3所获得的C坐标，用于定位发型模型的空间位置；将A和B进行X轴的距离求值，公式Xleft+Xright，即为发型模型大小的值；步骤S5、加载发型模型到步骤S4求得的空间位置以及适配大小，进行实时渲染展示；步骤S6、在发型实时渲染过程中，可智能化自定义调整发型模型的长度数据和粗细数据进行不同效果展示；步骤S7、在步骤S2所获得的头发部位二值图像对白色选区进行上色，并将上色之后的图像与摄像头画面图像叠加融合处理且渲染显示。
[0006]进一步地，所述步骤S2中，人脸特征关键点，基于Caffe的人脸关键点检测实现，模型函数为Y=F(X,W)；其中，X指输入的人脸图像，W指要学习的模型参数，Y∈[(x1,y1),(x2,
y2),(x3,y3),(x4,y4),(x5,y5)]指检测的人脸点坐标位置。
[0007]进一步地，所述步骤S2中，头发部位二值图像，通过深度学习的递归卷积神经网络实现，使用滑动窗口的方法，先对图片进行选取2000个候选区域，分别对这些区域进行提取特征以用来识别头发分割；具体步骤如下：S21、输入一张图像，利用selective search得到M个region proposal；S22、对所有region proposal变换到固定尺寸并作为已训练好的CNN网络的输入，得到f7层的4096维特征，所以f7层的输出是M*4096；S23、对每个类别，采用已训练好的对应类别的SVM分类器对提取到的特征打分，所以SVM的weight matrix是4096*N，N是类别数；S24、采用non
‑
maximun suppression对得分矩阵中的每一列中的region proposal进行剔除，即去掉重复率比较高的多个region proposal，得到该列中得分最高的多个region proposal；剔除完后，再从剩下的region proposal找到分数最高的，然后计算别的region proposal和该分数最高的图像处理交并比IOU是否超过阈值，超过的继续剔除，直到没有剩下region proposal；对每一列采用相同操作，最终每一列，即每个类别都可以得到对应的region proposal；S25、用K个回归器对步骤S24得到的多个类别的region proposal进行回归，采用pool5层的特征；pool5特征的权重W是在训练阶段的结果，测试的时候直接用；最后得到每个类别的修正后的bounding box。
[0008]进一步地，所述步骤S21中，M=2000，即region proposal的数量为2000。
[0009]进一步地，所述步骤S23中，SVM数量为20，N=20；得分矩阵是2000*20，表示每个region proposal属于对应一类的得分。
[0010]进一步地，所述步骤S25中，K=20，即回归器的数量为20。
[0011]进一步地，一种智能染发试发装置，包括智能镜；所述智能镜用于智能染发试发，智能化自定义调整发型模型的长度数据和粗细数据进行不同效果展示。
[0012]本专利技术的有益效果：本专利技术通过摄像头实时采集图像信息；通过深度学习进行实时的面部特征检测和跟踪，并提取人脸特征关键点及头发部位二值图像数据；并选取左右脸颊、眉心等区域的关键点数据，假设分别为脸颊左边最上的点A，坐标[Xleft,Yleft,Zleft]、脸颊右边最上的点B，坐标[Xright,Yright,Zright]、眉心中间的点C，坐标[Xcenter,Ycenter,Zcenter]将获得的C坐标，用于定位发型模型的空间位置；将A和B进行X轴的距离求值，公式Xleft+Xright，即为发型模型大小的值；加载发型模型到定位发型模型的空间位置以及适配大小，进行实时渲染展示；在发型实时渲染过程中，可智能化自定义调整发型模型的长度数据和粗细数据进行不同效果展示；在头发部位二值图像对白色选区进行上色，并将上色之后的图像与摄像头画面图像叠加融合处理且渲染显示；本专利技术更加富有创新性的模拟虚拟试发染发效果，可以满足让用户预先观看自己的发型，为理发店提供智能化的理发方案。
附图说明
[0013]图1为本专利技术实施例的步骤流程框图。
具体实施方式
[0014]下面将结合附图以及具体实施例来详细说明本专利技术，在此以本专利技术的示意下面将结合附图以及具体实施例来详细说明本专利技术，在此以本专利技术的示意性实施例及说明用来解释本专利技术，但并不作为对本专利技术的限定。
[0015]需要说明，在本专利技术中如涉及“第一”、“第二”的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0016]在本专利技术中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智能染发试发的方法，其特征在于，包括以下步骤：步骤S1、摄像头实时采集图像信息；步骤S2、通过深度学习进行实时的面部特征检测和跟踪，并提取人脸特征关键点及头发部位二值图像数据；步骤S3、在步骤S2所获得的人脸关键点数据选取左右脸颊、眉心区域的关键点数据，假设分别为脸颊左边最上的点A，坐标[Xleft,Yleft,Zleft]、脸颊右边最上的点B，坐标[Xright,Yright,Zright]、眉心中间的点C，坐标[Xcenter,Ycenter,Zcenter]；步骤S4、将步骤S3所获得的C坐标，用于定位发型模型的空间位置；将A和B进行X轴的距离求值，公式Xleft+Xright，即为发型模型大小的值；步骤S5、加载发型模型到步骤S4求得的空间位置以及适配大小，进行实时渲染展示；步骤S6、在发型实时渲染过程中，智能化自定义调整发型模型的长度数据和粗细数据进行不同效果展示；步骤S7、在步骤S2所获得的头发部位二值图像对白色选区进行上色，并将上色之后的图像与摄像头画面图像叠加融合处理且渲染显示。2.根据权利要求1所述的一种智能染发试发的方法，其特征在于：所述步骤S2中，人脸特征关键点，基于Caffe的人脸关键点检测实现，模型函数为Y=F(X,W)；其中，X指输入的人脸图像，W指要学习的模型参数，Y∈[(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5)]指检测的人脸点坐标位置。3.根据权利要求1所述的一种智能染发试发的方法，其特征在于：所述步骤S2中，头发部位二值图像，通过深度学习的递归卷积神经网络实现，使用滑动窗口的方法，先对图片进行选取2000个候选区域，分别对这些区域进行提取特征以用来识别头发分割；具体步骤如下：S21、输入一张图像，利用selective search得到M个region proposal；S22、对所有reg...
【专利技术属性】
技术研发人员：龚茂松，周火坤，
申请(专利权)人：广州帕克西软件开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。