【技术实现步骤摘要】
本申请属于计算机，特别是涉及一种基于终端屏幕实现辅助化妆的方法、装置、计算机设备和存储介质。
技术介绍
1、随着智能手机功能越来越强大，手机成为人们日常出行随身携带的物品之一。现在很多人拿手机前置摄像头的拍照预览画面当作镜子使用，用于化妆、检查仪容等。但现实的拍照预览画面没有为化妆专门优化，使用上有诸多不便。
2、现实中，用户在使用手机作为化妆镜来化妆时，主要存在如下一些问题：
3、一、用户经常需要看清楚局部区域，而为了看清楚局部区域，用户会把脸部凑近摄像头，或者用手操作放大画面。当用户把脸部凑近摄像头时，容易引起失焦、画面模糊的问题；如果用户用手操作放大界面(譬如双指放大)，画面也仅是中心区域缩放，而用户想要检查的局部区域可能并非处于画面中央，用户则需要调整手机位置或者移动头部，操作不便。
4、二、用户化妆时也需要查看脸部整体效果，可能需要缩放或者来回切换。而来回切换局部放大画面和脸部整体画面，操作繁琐，不够便捷。
5、三、用户在化妆时，经常是一只手拿着手机，另一只手拿着化妆工具，或者手上沾染了化妆品，此时，由于手上拿着化妆工具或者沾染了化妆品，便没有办法来操作手机。
6、上述几种利用手机作为化妆镜的传统方式，均给用户带来了一些操作上的不便，如何利用现实的手机的特性，提供给用户一种智能化的辅助化妆方式，是目前需要解决的技术问题。
技术实现思路
1、基于此，针对上述技术问题，本申请提供一种基于终端屏幕实现辅助化妆的方法、装
2、本专利技术的第一方面，提供了一种基于终端屏幕实现辅助化妆的方法，包括：响应于接收到预设化妆指令，将所述终端的显示区域分为第一显示区域和第二显示区域，在所述第一显示区域显示用户的完整面部，在所述第二显示区域显示化妆辅助提示；基于所述终端获取的检测数据确定目标化妆部位，并将所述目标化妆部位显示在所述第二显示区域；基于所述终端获取的变化后的检测数据，在所述第二显示区域显示更新的目标化妆部位。
3、可选地，所述检测数据包括以下中的至少一个：通过所述终端的摄像头拍摄得到的图像数据，通过所述终端的麦克风传来的音频数据，和/或检测到的所述终端屏幕上的点击事件。
4、可选地，所述基于所述终端获取的检测数据确定目标化妆部位的步骤包括：
5、通过意图识别模型将所述音频数据和/或点击事件转换为文本数据；
6、基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位；
7、其中，所述多模态模型包含多模态网络模型和区域选择网络模型。
8、可选地，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位包括：
9、基于所述图像数据和/或所述文本数据，通过多模态模型，确定所述目标化妆部位在所述第二显示区域的位置参数及缩放倍数；
10、根据所述位置参数及缩放倍数，确定所述目标化妆部位在所述第二显示区域的位置及大小。
11、可选地，所述基于所述图像数据和/或所述文本数据，通过多模态模型，确定所述目标化妆部位在所述第二显示区域的位置参数及缩放倍数包括：
12、基于所述图像数据和/或所述文本数据，通过多模态网络模型，得到多模融合的特征表示向量；
13、基于所述特征表示向量，通过所述区域选择网络模型，得到所述目标化妆部位在所述第二显示区域的所述位置参数及缩放倍数。
14、可选地，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位还包括：当根据所述图像数据和所述文本数据确定出的目标化妆部位不一致时，将根据所述文本数据所确定的目标化妆部位作为所述多模态模型输出的目标化妆部位。
15、可选地，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位还包括：为所述文本数据设定有效时间段，当超过所述有效时间段后，将根据所述图像数据所确定的目标化妆部位作为所述多模态模型输出的目标化妆部位。
16、可选地，所述响应于接收到的预设化妆指令，将所述终端的显示区域分为第一显示区域和第二显示区域包括：
17、当检测到用户操作的折叠屏手机从完全展开状态折叠为悬停状态时，或者，检测到用户发出的化妆语音命令时，或者，检测到所述终端的相关化妆应用程序被点击时，触发所述终端屏幕分屏为所述第一显示区域和第二显示区域。
18、可选地，所述第一显示区域和所述第二显示区域可以根据用户操作和/或指令进行区域切换。
19、可选地，所述化妆辅助提示包括操作提示按钮和/或操作提示文字。
20、本专利技术的第二方面，提供了一种基于终端屏幕实现辅助化妆的装置，包括：
21、触发模块，响应于接收到的预设化妆指令，将所述终端的显示区域分为第一显示区域和第二显示区域，在所述第一显示区域显示用户的完整面部，在所述第二显示区域显示化妆辅助提示；
22、目标化妆部位显示模块，基于所述终端获取的检测数据确定目标化妆部位，并所述目标化妆部位显示在所述第二显示区域；
23、显示切换模块，基于所述终端获取的变化后的检测数据，在所述第二显示区域显示更新的目标化妆部位。
24、可选地，所述目标部位图像显示模块包括：
25、数据获取模块，用于获取检测数据，其中，所述检测数据包括用户的面部图像数据及用户发出的指令数据；
26、意图识别模块，用于将获取的所述指令数据转换成描述用户化妆意图的文本数据，并连同所述面部图像数据发送给多模态模块；
27、多模态模块，对接收的所述面部图像数据和文本数据进行处理，输出多个显示区域参数，同时将所述面部图像数据透传给显示区域控制模块；
28、显示区域控制模块，从所述多个显示区域参数中选取最优的一个或两个，并对所述面部图像数据进行截取和缩放处理后，确定最终的显示画面；
29、显示模块，接收并显示所述区域控制模块输出的显示画面并在所述终端屏幕的对应显示区域上显示。
30、本专利技术的第三方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
31、响应于接收到预设化妆指令，将所述终端的显示区域分为第一显示区域和第二显示区域，在所述第一显示区域显示用户的完整面部，在所述第二显示区域显示化妆辅助提示；
32、基于所述终端获取的检测数据确定目标化妆部位，并将所述目标化妆部位显示在所述第二显示区域；
33、基于所述终端获取的变化后的检测数据，在所述第二显示区域显示更新的目标化妆部位。
3本文档来自技高网...
【技术保护点】
1.一种基于终端屏幕实现辅助化妆的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述检测数据包括以下中的至少一个：通过所述终端的摄像头拍摄得到的图像数据，通过所述终端的麦克风传来的音频数据，和/或检测到的所述终端屏幕上的点击事件。
3.如权利要求2所述的方法，其特征在于，所述基于所述终端获取的检测数据确定目标化妆部位的步骤包括：
4.如权利要求3所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型，确定所述目标化妆部位在所述第二显示区域的位置参数及缩放倍数包括：
6.如权利要求5所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位还包括：当根据所述图像数据和所述文本数据确定出的目标化妆部位不一致时，将根据所述文本数据所确定的目标化妆部位作为所述多模态模型输出的目标化妆部位。
7.如权利要求5或6所述的方法，
8.如权利要求1所述的方法，其特征在于，所述响应于接收到的预设化妆指令，将所述终端的显示区域分为第一显示区域和第二显示区域包括：
9.如权利要求1所述的方法，其特征在于，所述第一显示区域和所述第二显示区域可以根据用户操作和/或指令进行区域切换。
10.如权利要求1所述的方法，其特征在于，所述的化妆辅助提示包括操作提示按钮和/或操作提示文字。
11.一种基于终端屏幕实现辅助化妆的装置，其特征在于，包括：
12.如权利要求11所述的装置，其特征在于，所述目标部位图像显示模块包括：
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于终端屏幕实现辅助化妆的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述检测数据包括以下中的至少一个：通过所述终端的摄像头拍摄得到的图像数据，通过所述终端的麦克风传来的音频数据，和/或检测到的所述终端屏幕上的点击事件。
3.如权利要求2所述的方法，其特征在于，所述基于所述终端获取的检测数据确定目标化妆部位的步骤包括：
4.如权利要求3所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型，确定所述目标化妆部位在所述第二显示区域的位置参数及缩放倍数包括：
6.如权利要求5所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通过多模态模型确定目标化妆部位还包括：当根据所述图像数据和所述文本数据确定出的目标化妆部位不一致时，将根据所述文本数据所确定的目标化妆部位作为所述多模态模型输出的目标化妆部位。
7.如权利要求5或6所述的方法，其特征在于，所述基于所述图像数据和/或所述文本数据，通...
【专利技术属性】
技术研发人员：梁健星，杨逸文，
申请(专利权)人：广州三星通信技术研究有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。