基于智能镜子的辅助化妆方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种基于智能镜子的辅助化妆方法、装置、设备及存储介质。所述方法包括：利用智能镜子获取目标图片及用户的面部图片；分别对目标图片及面部图片进行特征识别，得到目标图片特征集合及面部图片特征集合；根据目标图片特征集合及面部图片特征集合，对目标图片及面部图片进行图像对齐，得到重叠图片组合；根据预设的权重变化规则，对所述重叠图片组合中的目标图片及面部图片进行加权特征融合操作，得到图片过度帧序列，截取得到化妆阶段图像集合；对所述化妆阶段图像集合中的妆容变化特征集合进行智能化妆品推荐，得到智能推荐结果。本发明专利技术可以通过智能镜子帮助用户进行个性化化妆。智能镜子帮助用户进行个性化化妆。智能镜子帮助用户进行个性化化妆。

【技术实现步骤摘要】
基于智能镜子的辅助化妆方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于智能镜子的辅助化妆方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着人们生活水平的提高，文化娱乐实现快速发展与传播，出现角色扮演、易容等更为严格的化妆需求，如今广大人民群众日益增长的化妆需求同落后的化妆技术之间的矛盾，对部分文化娱乐行业发展造成很大限制。

技术实现思路

[0003]本专利技术提供一种基于智能镜子的辅助化妆方法、装置、设备及存储介质，其主要目的在于通过智能镜子帮助用户进行个性化化妆。
[0004]为实现上述目的，本专利技术提供的一种基于智能镜子的辅助化妆方法，包括：
[0005]利用智能镜子接收用户选择的目标图片，及拍摄用户的面部图片；
[0006]利用预训练的化妆推荐模型对所述目标图片进行特征识别，得到目标图片特征集合，及对所述面部图片进行特征识别，得到面部图片特征集合；
[0007]根据所述目标图片特征集合及所述面部图片特征集合，对所述目标图片及所述面部图片进行图像对齐，得到重叠图片组合；
[0008]根据预设的权重变化规则，对所述重叠图片组合中的目标图片及面部图片进行加权特征融合操作，得到图片过度帧序列，并对所述图片过度帧序列进行基于预设帧数间隔的图片提取操作，得到化妆阶段图像集合；
[0009]根据顺序从所述化妆阶段图像集合中提取相邻的化妆阶段图像，得到化妆图像组合，并对所述化妆图像组合进行色彩分析，得到妆容变化特征集合；
[0010]根据所述妆容变化特征集合进行智能化妆品推荐，得到智能推荐结果，并将所述智能推荐结果可视化至所述智能镜子的透明显示区域。
[0011]可选的，所述利用预训练的化妆推荐模型对所述目标图片进行特征识别之前，所述方法包括：
[0012]利用预设埋点爬取网络中的化妆数据，并对所述化妆数据进行聚类分组，构建化妆知识图谱，所述化妆数据包括化妆产品数据及用户化妆行为数据；
[0013]根据所述化妆知识图谱，构建基于化妆数据包
‑
化妆流程标签的键值对作为训练样本集合，并根据预设分组规则将所述训练样本集合分组为训练集及测试集；
[0014]获取包含图像识别网络、化妆品推荐网络及化妆手段推荐网络的化妆推荐模型，并对所述化妆品推荐网络进行辅助任务配置；
[0015]依次从所述训练集中提取一个训练样本，利用所述化妆推荐模型对所述训练样本中的化妆数据包进行模型预测，得到预测化妆操作步骤；
[0016]利用交叉熵损失算法计算所述训练样本对应的化妆流程标签与所述预测化妆操
作步骤的损失值，并根据梯度下降方法，对所述损失值最小化时的模型参数进行网络逆向更新，得到更新化妆推荐模型；
[0017]判断所述训练集中的训练样本是否全部参与训练；
[0018]当所述训练集中的训练样本未全部参与训练，则返回上述依次从所述训练集中提取一个训练样本的步骤，对所述更新化妆推荐模型进行迭代更新；
[0019]当所述训练集中的训练样本全部参与训练，则利用所述测试集对所述更新化妆推荐模型进行测试，得到测试准确率；
[0020]判断所述测试准确率是否大于预设的合格阈值；
[0021]当所述测试准确率小于所述合格阈值时，返回上述根据所述化妆知识图谱，构建基于化妆数据包
‑
化妆流程标签的键值对作为训练样本集合的步骤，对所述训练样本集合进行重新分组，继续优化所述更新化妆推荐模型；
[0022]当所述测试准确率大于或等于所述合格阈值时，得到初级化妆推荐模型；
[0023]获取当前用户的可用化妆产品图片，识别当前用户的可用化妆产品的产品型号信息，并根据所述产品型号信息构建用户化妆产品画像；
[0024]利用所述用户化妆产品画像对所述初级化妆推荐模型进行微调训练，得到训练完成的化妆推荐模型。
[0025]可选的，所述根据所述目标图片特征集合及所述面部图片特征集合，对所述目标图片及所述面部图片进行图像对齐，得到重叠图片组合，包括：
[0026]对所述目标图片特征集合及所述面部图片特征集合进行分组操作，得到各个面部位置块，并对各个面部位置块进行聚类；
[0027]根据所述各个面部位置块之间的对应关系，及各个面部位置块的聚类中心及大小，将所述目标图片的各个面部位置块缩放及位移至所述面部图片对应的各个面部位置块上，得到所述目标图片及所述面部图片的重叠图片组合。
[0028]可选的，所述根据预设的权重变化规则，对所述重叠图片组合中的目标图片及面部图片进行加权特征融合操作，得到图片过度帧序列，包括：
[0029]根据权重变化规则，对所述重叠图片组合中的目标图片及面部图片的权重进行初始值配置，得到所述目标图片的第一权重及所述面部图片的第二权重；
[0030]在预设的目标区间范围内，根据所述第一权重与所述第二权重和为1的规则，对所述第一权重进行逐渐增加，得到更新第一权重序列及更新第二权重序列；
[0031]根据所述更新第一权重序列及所述更新第二权重序列，对所述目标图片及所述面部图片中的像素数据进行融合，得到图片过度帧序列。
[0032]可选的，所述利用预训练的化妆推荐模型对所述目标图片进行特征识别，得到目标图片特征集合，包括：
[0033]利用所述化妆推荐模型中的卷积层对所述目标图片进行卷积操作，得到卷积矩阵集合；
[0034]对所述卷积矩阵集合进行平均池化操作，得到池化矩阵集合；
[0035]对所述池化矩阵集合中各个池化矩阵进行扁平化操作，得到目标图片特征序列集合，并所述对目标图片特征序列集合进行全连接特征识别操作，得到目标图片特征集合。
[0036]可选的，所述拍摄用户的面部图片，包括：
[0037]利用预构建的摄像设备，获取化妆席位的拍摄图像，利用预构建的对象识别模型对所述拍摄图像进行目标对象的自动识别，得到识别结果；
[0038]判断所述识别结果是否为包含预设的目标对象；
[0039]当所述识别结果为目不包含目标对象时，关闭所述摄像设备；
[0040]当所述识别结果为包含目标对象时，利用所述对象识别模型的激活函数对所述目标对象的面部特征进行识别，并将面部识别结果进行框选标记；
[0041]对被标记过的面部识别结果进行框定位回归操作，得到完整的用户的面部图片。
[0042]可选的，所述将所述智能推荐结果可视化至所述智能镜子的透明显示区域，包括：
[0043]获取用户的第一触屏指令，根据所述第一触屏指令对所述透明显示区域进行位移；
[0044]获取用户的第二触屏指令，根据所述第二触屏指令对所述透明显示区域中的智能推荐结果进行进度控制。
[0045]为了解决上述问题，本专利技术还提供一种基于智能镜子的辅助化妆装置，所述装置包括：
[0046]数据获取模块，用于利用智能镜子接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于智能镜子的辅助化妆方法，其特征在于，所述方法包括：利用智能镜子接收用户选择的目标图片，及拍摄用户的面部图片；利用预训练的化妆推荐模型对所述目标图片进行特征识别，得到目标图片特征集合，及对所述面部图片进行特征识别，得到面部图片特征集合；根据所述目标图片特征集合及所述面部图片特征集合，对所述目标图片及所述面部图片进行图像对齐，得到重叠图片组合；根据预设的权重变化规则，对所述重叠图片组合中的目标图片及面部图片进行加权特征融合操作，得到图片过度帧序列，并对所述图片过度帧序列进行基于预设帧数间隔的图片提取操作，得到化妆阶段图像集合；根据顺序从所述化妆阶段图像集合中提取相邻的化妆阶段图像，得到化妆图像组合，并对所述化妆图像组合进行色彩分析，得到妆容变化特征集合；根据所述妆容变化特征集合进行智能化妆品推荐，得到智能推荐结果，并将所述智能推荐结果可视化至所述智能镜子的透明显示区域。2.如权利要求1所述的基于智能镜子的辅助化妆方法，其特征在于，所述利用预训练的化妆推荐模型对所述目标图片进行特征识别之前，所述方法包括：利用预设埋点爬取网络中的化妆数据，并对所述化妆数据进行聚类分组，构建化妆知识图谱，所述化妆数据包括化妆产品数据及用户化妆行为数据；根据所述化妆知识图谱，构建基于化妆数据包
‑
化妆流程标签的键值对作为训练样本集合，并根据预设分组规则将所述训练样本集合分组为训练集及测试集；获取包含图像识别网络、化妆品推荐网络及化妆手段推荐网络的化妆推荐模型，并对所述化妆品推荐网络进行辅助任务配置；依次从所述训练集中提取一个训练样本，利用所述化妆推荐模型对所述训练样本中的化妆数据包进行模型预测，得到预测化妆操作步骤；利用交叉熵损失算法计算所述训练样本对应的化妆流程标签与所述预测化妆操作步骤的损失值，并根据梯度下降方法，对所述损失值最小化时的模型参数进行网络逆向更新，得到更新化妆推荐模型；判断所述训练集中的训练样本是否全部参与训练；当所述训练集中的训练样本未全部参与训练，则返回上述依次从所述训练集中提取一个训练样本的步骤，对所述更新化妆推荐模型进行迭代更新；当所述训练集中的训练样本全部参与训练，则利用所述测试集对所述更新化妆推荐模型进行测试，得到测试准确率；判断所述测试准确率是否大于预设的合格阈值；当所述测试准确率小于所述合格阈值时，返回上述根据所述化妆知识图谱，构建基于化妆数据包
‑
化妆流程标签的键值对作为训练样本集合的步骤，对所述训练样本集合进行重新分组，继续优化所述更新化妆推荐模型；当所述测试准确率大于或等于所述合格阈值时，得到初级化妆推荐模型；获取当前用户的可用化妆产品图片，识别当前用户的可用化妆产品的产品型号信息，并根据所述产品型号信息构建用户化妆产品画像；利用所述用户化妆产品画像对所述初级化妆推荐模型进行微调训练，得到训练完成的
化妆推荐模型。3.如权利要求1所述的基于智能镜子的辅助化妆方法，其特征在于，所述根据所述目标图片特征集合及所述面部图片特征集合，对所述目标图片及所述面部图片进行图像对齐，得到重叠图片组合，包括：对所述目标图片特征集合及所述面部图片特征集合进行分组操作，得到各个面部位置块，并对各个面部位置块进行聚类；根据所述各个面部位置块之间的对应关系，及各个面部位置块的聚类中心及大小，将所述目标图片的各个面部位置块缩放及位移至所述面部图片对应的各个面部位置块上，得到所述目标图片及所述面部图片的重叠图片组合。4.如权利要求1所述的基于智能镜子的辅助化妆方法，其特征在于，所述根据预设的权重变化规则，对所述重叠图片...

【专利技术属性】
技术研发人员：陈清源，
申请(专利权)人：东莞莱姆森科技建材有限公司，
类型：发明
国别省市：