护肤辅助方法、设备及存储介质技术

本申请提供一种护肤辅助方法、设备及存储介质，此方法包括：响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像，图像中包含手部区域与面部区域，第一操作用于指示护肤过程的开始；在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；根据多帧图像对应的目标图像特征，输出护肤过程的完整度，其中多帧图像为护肤过程中按时间顺序生成的图像。本申请通过输出护肤过程的完整度，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，进而为其提供指导。进而为其提供指导。进而为其提供指导。

【技术实现步骤摘要】
护肤辅助方法、设备及存储介质


[0001]本申请涉及智能家居，尤其涉及一种护肤辅助方法、设备及存储介质。

技术介绍

[0002]随着生活水平的不断提高，人们对护肤和化妆的要求也越来越高。因此，如何进行合理的护肤/化妆，以及找到适合自己的护肤、化妆产品，显得至关重要。
[0003]目前，为了帮助用户找到适合自己的化妆产品，通过分析采集的试妆人员的试妆图像，获得试妆人员的模拟的实际化妆过程的动作行为，对试妆图像进行图像处理，进行虚拟着妆，得到试妆人员的虚拟化妆效果，用户可根据虚拟化妆效果选择适合的化妆产品。但是该方案并不能对用户的日常护肤进行指导。

技术实现思路

[0004]本申请提供一种护肤辅助方法、设备及存储介质，以对用户的护肤进行指导。
[0005]第一方面，本申请实施例提供一种护肤辅助方法，应用于具有摄像头的第一电子设备，首先，响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像，该图像包含手部区域与面部区域，第一操作用于指示护肤过程的开始；在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；之后，根据多帧图像对应的目标图像特征，输出护肤过程的完整度，其中多帧图像为护肤过程中按时间顺序生成的图像。通过呈现护肤过程的完整度，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，为其提供指导。
[0006]一种可能的实施方式中，根据多帧图像对应的目标图像特征，输出护肤过程的完整度，可以包括：根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长；根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
[0007]上述过程中，首先根据目标图像特征确定护肤动作及其持续时长，进而根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，提供一种具体的实现手段。
[0008]可选地，根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长，可以包括：根据多帧图像对应的目标图像特征和预先训练好的分类器，确定多帧图像对应的护肤动作；确定护肤动作的持续时长。
[0009]上述过程中，将目标图像特征作为预先训练好的分类器的输入参数，分类器的输出即输入的目标图像特征对应的护肤动作。在分类器识别到下一护肤动作时，可以理解，之前护肤动作结束，从初次识别待该护肤动作到识别到下一护肤动作，此段时间即该护肤动作的持续时长。
[0010]一种可能的实施方式中，确定护肤动作的持续时长之后，护肤辅助方法还可以包括：若护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作；或者，若护肤动作的持续时长小于预设时长，则提示用户继续进行护肤动作。
[0011]上述过程中，为每一护肤动作设置其应该持续的时长，也就是预设时长。小于该预
设时长认为该护肤动作不完整，提示用户继续该护肤动作；大于该预设时长则认为该护肤动作已足够，提示用户进行下一护肤动作，从而可以使得用户明确后续动作，进一步提升用户体验。
[0012]一种可能的实施方式中，提示对应的时长为预设值，提示持续的时长大于预设值后，提示自动消失。在护肤过程中，用户关注于使用手部进行护肤，因此，对于提示等通过设置对应的时长等自动化手段，减少人为参与，进一步的提升用户体验。
[0013]一种可能的实施方式中，确定多帧图像对应的护肤动作之后，护肤辅助方法还包括：检测护肤动作是否规范；若护肤动作不规范，则提示护肤动作对应的规范动作。
[0014]在上述过程中，通过检测护肤动作的规范性，确定是否显示对应的规范动作，以在用户护肤出现问题时，对其进行指导。
[0015]一种可能的实施方式中，根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，可以包括：根据护肤动作及每一护肤动作的持续时长、预设时长，确定护肤过程的完整度；输出护肤过程的完整度。
[0016]一种可能的实施方式中，在图像中提取目标图像特征，可以包括：若确定在不同帧图像之间手部相对面部存在位移，则在图像中提取目标图像特征。
[0017]上述过程中，在提取目标图像特征之前，首先判断图像中手部相对面部是否存在位移，只有在图像中手部相对面部存在位移时，才会在图像提取目标图像特征；否则，丢弃图像。
[0018]一种具体实现中，确定在不同帧图像之间手部相对面部存在位移，可以包括：提取图像中面部区域和手部区域的关键点信息；根据关键点信息，确定不同帧图像之间手部相对面部存在位移。
[0019]进一步地，根据关键点信息，确定不同帧图像之间手部相对面部存在位移，包括以下至少一种：
[0020]当不同帧图像之间手部关键点与面部关键点的相对位置距离改变，确定不同帧图像之间手部相对面部存在位移；
[0021]当不同帧图像之间手部关键点的位置信息改变，确定不同帧图像之间手部相对面部存在位移。
[0022]在上述过程中，提供两种具体的确定手部相对面部存在位移的实现方式：一种是通过手部关键点与面部关键点的相对位置距离改变；另一种是通过手部关键点的位置信息改变。
[0023]一种可能的实施方式中，输出护肤过程的完整度，可以包括：通过图表、图示和评分中的至少一种显示类型，显示护肤过程的完整度。这里，提供几种具体的完整度的显示类型。
[0024]可选地，图示包含不同护肤动作对应的圆环，其中圆环的完整程度用于指示对应护肤动作的完整度。
[0025]进一步地，护肤辅助方法还可以包括：响应于作用于圆环的第二操作，显示对应圆环的护肤详情。例如，用户点击或双击(即第二操作)圆环，电子设备对该点击或双击动作做出响应，显示对应圆环的护肤详情。
[0026]一种可能的实施方式中，护肤过程的完整度包含于分析报告中。此时，输出护肤过
程的完整度，包括：显示虚拟按钮，该虚拟按钮用于指示分析报告；响应于作用于虚拟按钮的第三操作，显示分析报告的内容。
[0027]一种可能的实施方式中，输出护肤过程的完整度，包括：发送护肤过程的完整度给第二电子设备，由第二电子设备显示完整度。该实施方式是考虑到第一电子设备的显示限制，例如智能镜的显示屏较小，此时，通过将完整度发送给第二电子设备，例如手机等显示屏相对较大的电子设备，通过第二电子设备显示完整度；除显示屏面积的考量，另外，智能镜体相对固定，不方便携带，而手机等便携设备可以随身携带，这样用户可以随时随地查看护肤过程的完整度。
[0028]一种可能的实施方式中，根据多帧图像对应的目标图像特征，输出护肤过程的完整度之后，护肤辅助方法还包括：基于完整度，输出对用户进行护肤指导的策略。通过完整度，用户可以了解其该次护肤过程的详情，例如护肤过程是否存在的问题，进一步基于其中的问题输出相应策略，对用户进行护肤指导。
[0029]可选地，输出对用户进行护肤指导的策略，可以包括：通过图片和/或视频的形式，输出对用户进行护肤指导的策略。
[0030]一种可能的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种护肤辅助方法，应用于具有摄像头的第一电子设备，其特征在于，所述方法包括：响应于作用于所述第一电子设备的第一操作，所述第一电子设备通过摄像头获取图像，所述图像中包含手部区域与面部区域，所述第一操作用于指示护肤过程的开始；在所述图像中提取目标图像特征，所述目标图像特征为与所述手部区域和面部区域相关的特征；根据多帧所述图像对应的目标图像特征，输出护肤过程的完整度，所述多帧图像为护肤过程中按时间顺序生成的图像。2.根据权利要求1所述的方法，其特征在于，所述完整度包括护肤动作是否标准、护肤动作是否遗漏和护肤时间是否充足中的至少一种。3.根据权利要求1或2所述的方法，其特征在于，所述根据多帧所述图像对应的目标图像特征，输出护肤过程的完整度，包括：根据多帧所述图像对应的目标图像特征，确定多帧所述图像对应的护肤动作及每一护肤动作的持续时长；根据所述护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。4.根据权利要求3所述的方法，其特征在于，所述根据多帧所述图像对应的目标图像特征，确定多帧所述图像对应的护肤动作及每一护肤动作的持续时长，包括：根据多帧所述图像对应的目标图像特征和预先训练好的分类器，确定多帧所述图像对应的护肤动作；确定所述护肤动作的持续时长。5.根据权利要求4所述的方法，其特征在于，所述确定所述护肤动作的持续时长之后，所述方法还包括：若所述护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作；或者，若所述护肤动作的持续时长小于预设时长，则提示用户继续进行所述护肤动作。6.根据权利要求5所述的方法，其特征在于，所述提示对应的时长为预设值，所述提示持续的时长大于所述预设值后，所述提示自动消失。7.根据权利要求4至6中任一项所述的方法，其特征在于，所述确定多帧所述图像对应的护肤动作之后，所述方法还包括：检测所述护肤动作是否规范；若所述护肤动作不规范，则提示所述护肤动作对应的规范动作。8.根据权利要求4至7中任一项所述的方法，其特征在于，所述分类器包括以下分类器中的至少一种：支持向量机、随机森林、决策树、神经网络和集成学习。9.根据权利要求3至8中任一项所述的方法，其特征在于，所述根据所述护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，包括：根据所述护肤动作及每一护肤动作的持续时长、预设时长，确定护肤过程的完整度；输出护肤过程的完整度。10.根据权利要求3至9中任一项所述的方法，其特征在于，所述目标图像特征包括以下特征中的至少一种：
手部关键点和面部关键点的欧氏距离；手部关键点和面部关键点的曼哈顿距离；手部关键点和面部关键点的相对位移；光流特征。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述在所述图像中提取目标图像特征，包括：若确定在不同帧图像之间手部相对面部存在位移，则在所述图像中提取目标图像特征。12.根据权利要求11所述的方法，其特征在于，所述确定在不同帧图像之间手...

【专利技术属性】
技术研发人员：赵琳，卢曰万，姚钊盈，董辰，胡宏伟，郜文美，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：