数字妆容建模系统的知识库构建方法技术方案

本发明专利技术公开了一种数字妆容建模系统的知识库构建方法，专家系统对专业资料进行处理识别，提取人脸特征值及其计算方法、轮廓的参数化表示及化妆步骤存储至知识库中。本发明专利技术对专业资料进行处理后构建知识库，基于知识库，利用人工智能算法与判断规则，学习化妆知识，利用推理机建立特定妆容的平均脸参数化模型，由大量的参数化模型、知识点、参数与算法组成专家系统。家系统。家系统。

【技术实现步骤摘要】
数字妆容建模系统的知识库构建方法


[0001]本专利技术涉及辅助化妆的人机交互
，尤其是一种基于人工智能的数字妆容建模系统的知识库构建方法。

技术介绍

[0002]人物形象设计与改造是根据人物自身特征、需求、场合、季节等等条件，通过选择合适的发型、妆容、衣着等等，提升该人物气质与外貌，解决用户所具备的人物形象问题。
[0003]目前的人物形象设计与改造基本依赖于专业的形象设计师，普通用户也会通过浏览相关知识，尝试自己进行形象改造，如看美妆视频学妆容、看穿搭推荐买衣服等等。
[0004]中国专利技术专利申请“202010251470.0
‑‑
化妆辅助方法、终端设备、存储介质及程序产品”中公开了一种辅助化妆的方法，该方法通过摄像头采集到用户的人脸图像，然后从数据库的妆容模板库中选取或推荐目标妆容效果图，并从目标妆容效果图中提取对应的妆容轮廓，将妆容轮廓适应性叠加显示于用户的人脸图像中相应的化妆区域，以便用户照着妆容轮廓进行化妆。这种辅助化妆方式，可以在用户化妆过程中给用户提供化妆参考，以便用户能够画出与目标妆容效果图接近或相同的妆容。
[0005]但是，上述辅助化妆方式存在如下缺点：（1）该方法根据客户需要从数据库中选取（“用户选择妆容效果图”模式）或者推荐（“智能推荐妆容效果图”模式）目标妆容效果图，然后在该目标妆容效果图中直接提取出对应的妆容轮廓；不论是“用户选择妆容效果图”模式还是“智能推荐妆容效果图”模式，都是基于存储在数据库中、已经预制存在的“妆容效果图模板”上进行妆容轮廓的直接提取，即妆容轮廓是预先设定好的、不可变（从预先存储的模板上直接提取）的定量，是单纯的提取量；（2）该方法需要在服务器建立一个用于存储各种“妆容效果图模板”的数据库，对服务器的要求较高；而且所有的处理和计算过程都是在服务器上进行，使得服务器处理效率较低，用户端反应速度较慢。

技术实现思路

[0006]本申请人针对上述现有化妆辅助方法存在的缺点，提供一种合理的基于数字化建模的数字妆容建模系统的知识库构建方法，提升用户体验，处理效率高，反应速度快。
[0007]本专利技术所采用的技术方案如下：一种数字妆容建模系统的知识库构建方法，专家系统对专业资料进行处理识别，提取人脸特征值及其计算方法、轮廓的参数化表示及化妆步骤存储至知识库中。
[0008]作为上述技术方案的进一步改进：所述专业资料包括文字资料、图片资料、语音或视频资料、专业化妆师团队根据经验标定的区域轮廓资料；所述专业资料包括文字资料、语音或视频资料、专业化妆师团队根据经验标定的区域轮廓资料。
[0009]对文字资料的处理包括如下步骤：
S201a1，使用定制化的开源Bert
‑
CRF模型识别出文字中包含的目标人脸特征效果、化妆品、化妆区域、化妆手法信息；S201a2，确认命名实体识别的结果；S201a3，将命名实体识别的结果生成结构化信息，作为对应目标人脸特征效果对应的化妆步骤存储入知识库。
[0010]对图片资料的处理包括如下步骤：S201b1，选取一个化妆步骤；S201b2，使用定制化的开源模型提取图片中人脸关键点坐标；所述开源模型为MobileNet
‑
V2模型；S201b3，设定需要提取的人脸特征值及其计算方法；S201b4，利用人脸关键点坐标计算一个或多个人脸特征值；S201b5，将人脸特征值及其计算方法与选取的化妆步骤关联存储入知识库。
[0011]对视频资料的处理包括如下步骤：S201c1，提取视频的音频，将音频转换为文字；S201c2，使用定制化的开源模型识别出文字中包含的目标人脸特征效果、化妆品、化妆区域、化妆手法信息；所述开源模型为Bert
‑
CRF模型；S201c3，确认命名实体识别的结果；S201c4，将命名实体识别的结果生成结构化信息，作为对应目标人脸特征效果对应的化妆步骤存储入知识库。
[0012]对专业化妆师团队根据经验标定的区域轮廓资料的处理包括如下步骤：S201d1，选取一个或多个化妆步骤；S201d2，选择一张人脸图像作为参考，在图像的脸部勾勒出一个或多个化妆区域轮廓；S201d3，提取人脸图像中的人脸关键点坐标；S201d4，将化妆区域轮廓的路径用人脸关键点坐标进行参数化表示；S201d5，计算轮廓的参数化表示所对应的人脸特征值；S201d6，将轮廓的参数化表示和对应的人脸特征值与选取的化妆步骤关联存储入知识库。
[0013]专家系统对用户输入信息进行处理，识别出关键信息，生成参数化的化妆步骤存储入知识库中。
[0014]识别的关键信息包括化妆步骤、对应步骤的时间顺序、对应步骤的化妆区域、对应步骤的化妆手法、对应步骤的化妆工具、对应步骤的化妆目。
[0015]所述输入信息为文字信息，对文字信息的处理方法为：S201e1、提取文字中的命名实体，所述命名实体包括化妆区域、目的、手法、化妆品；S201e2、分析所述命名实体之间的联系；S201e3、根据联系，生成一个或多个化妆步骤。
[0016]所述输入信息为视频信息，对视频信息的处理方法为：S201f1、分析视频中手部与脸部的存在关系与位置关系，对视频进行步骤分割，步骤分割依据为手部与脸部不同时叠加出现在同一区域的时间长度超过某一阈值；S201f2、对分割之后的步骤视频，按时间顺序对视频图像进行手部关键点检测和人脸检测，记录化妆时手部的动作作为化妆手法；
S201f3、检测视频中出现的化妆工具，将化妆工具作为该步骤的化妆工具；S201f4、提取视频中的声音信息，转换成文字之后，提取文字中的命名实体，并分析命名实体之间的联系；所述命名实体包含的化妆区域、目的、手法、化妆品。
[0017]本专利技术的有益效果如下：本专利技术对专业资料进行处理后构建知识库，基于知识库，利用人工智能算法与判断规则，学习化妆知识，利用推理机建立特定妆容的平均脸参数化模型，由大量的参数化模型、知识点、参数与算法组成专家系统。
[0018]本专利技术在服务器上可以仅储存用于训练算法的数据库，所生成的参数化的模型和算法占用内存很小，都可以在用户终端上直接本地运行，不用随时联网，可以离线使用，避免了需要随时联网并从服务器上下载大量数据的迟延，大大提升了用户的使用体验。
附图说明
[0019]图1为本专利技术的系统架构图。
[0020]图2为本专利技术的方法流程图。
[0021]图3为数字妆容建模系统的训练及处理流程图。
[0022]图4为采集模块采集的三维人脸图像。
[0023]图中：1、终端设备；11、处理器；12、通信模块；13、采集模块； 14、数字妆容建模系统；141、知识库；142、推理机；143、生成模块；144、评价模块；15、展示模块；2、边缘设备；3、边缘服务器；4、核心网络；5、云端服务器。
具体实施方式
[0024]下面结合附图，说明本专利技术的具体实施方式。
[0025]如图1所示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字妆容建模系统的知识库构建方法，其特征在于：专家系统对专业资料进行处理识别，提取人脸特征值及其计算方法、轮廓的参数化表示及化妆步骤存储至知识库（141）中。2.按照权利要求1所述的数字妆容建模系统的知识库构建方法，其特征在于：所述专业资料包括文字资料、图片资料、语音或视频资料、专业化妆师团队根据经验标定的区域轮廓资料；所述专业资料包括文字资料、语音或视频资料、专业化妆师团队根据经验标定的区域轮廓资料。3.按照权利要求2所述的数字妆容建模系统的知识库构建方法，其特征在于：对文字资料的处理包括如下步骤：S201a1，使用定制化的开源Bert
‑
CRF模型识别出文字中包含的目标人脸特征效果、化妆品、化妆区域、化妆手法信息；S201a2，确认命名实体识别的结果；S201a3，将命名实体识别的结果生成结构化信息，作为对应目标人脸特征效果对应的化妆步骤存储入知识库（141）。4.按照权利要求2所述的数字妆容建模系统的知识库构建方法，其特征在于：对图片资料的处理包括如下步骤：S201b1，选取一个化妆步骤；S201b2，使用定制化的开源模型提取图片中人脸关键点坐标；所述开源模型为MobileNet
‑
V2模型；S201b3，设定需要提取的人脸特征值及其计算方法；S201b4，利用人脸关键点坐标计算一个或多个人脸特征值；S201b5，将人脸特征值及其计算方法与选取的化妆步骤关联存储入知识库（141）。5.按照权利要求2所述的数字妆容建模系统的知识库构建方法，其特征在于：对视频资料的处理包括如下步骤：S201c1，提取视频的音频，将音频转换为文字；S201c2，使用定制化的开源模型识别出文字中包含的目标人脸特征效果、化妆品、化妆区域、化妆手法信息；所述开源模型为Bert
‑
CRF模型；S201c3，确认命名实体识别的结果；S201c4，将命名实体识别的结果生成结构化信息，作为对应目标人脸特征效果对应的化妆步骤存储入知识库（141）。6.按照权利要求2所述的数字妆容建...

【专利技术属性】
技术研发人员：浦泽霖，张浩，
申请(专利权)人：浦泽霖，
类型：发明
国别省市：