一种图像处理方法、计算设备及存储介质技术

本发明专利技术公开了一种图像处理方法，适于在计算设备中执行，计算设备包括摄像头和显示屏，摄像头适于获取用户图像，显示屏适于显示用户图像，方法包括：对摄像头获取的用户图像进行人脸识别，以确定包含用户人脸信息的有效图像；对有效图像进行唇部识别以提取唇部轮廓图；将唇部轮廓图和预先存储的模板图像进行匹配，以便根据匹配结果确定唇部轮廓图对应的口型；以及执行与所述口型相对应的操作，以便更新在所述显示屏处显示的用户图像。该方案通过非接触式的图像识别和处理完成用户交互，提升用户体验。

An Image Processing Method, Computing Equipment and Storage Media

The invention discloses an image processing method suitable for execution in a computing device, which includes a camera and a display screen. The camera is suitable for acquiring user images and the display screen is suitable for displaying user images. The method includes: face recognition of user images captured by a camera to determine the user's face information. Effective image; lip recognition of effective image to extract lip contour map; matching lip contour map with pre-stored template image to determine lip contour corresponding lip shape based on matching results; and performing operations corresponding to the lip shape to update the user displayed on the display screen Image. The scheme completes user interaction and improves user experience through non-contact image recognition and processing.

【技术实现步骤摘要】
一种图像处理方法、计算设备及存储介质
本专利技术涉及图像处理与识别
，尤其涉及一种图像处理方法、计算设备及存储介质。
技术介绍
随着电商经济的发展，虚拟试妆技术开始出现，该技术在一定程度上能够帮助消费者选择产品。目前市场上一款口红有多个不同的色号，同一个品牌又存在多个不同型号，所以口红试妆的时候会非常麻烦。现有的虚拟试妆方案通常采用触摸屏或键盘的方式进行交互，例如，通过手动点击智能镜屏幕上不同的色号进行切换，也就表明一只手要不停的操作屏幕切换，同时还要关注屏幕上口红上色的具体效果，给人一种忙乱的感觉，而且不同色号没有对比，影响用户体验。因此，需要一种操作简单、非接触式的的图像处理方法，提升用户试妆体验。
技术实现思路
为此，本专利技术提供了一种图像处理方法、计算设备及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种图像处理方法，适于在计算设备中执行，计算设备可以包括摄像头和显示屏，摄像头可以获取用户图像，显示屏可以显示用户图像。在该图像处理方法中，首先对摄像头获取的用户图像进行人脸识别，以确定包含用户人脸信息的有效图像。随后，对有效图像进行唇部识别以提取唇部轮廓图。紧接着，将唇部轮廓图和预先存储的模板图像进行匹配，以便根据匹配结果确定唇部轮廓图对应的口型。最后执行与所述口型相对应的操作，以便更新在所述显示屏处显示的用户图像。上述方法基于人脸识别、唇部识别提供了一种非接触式的图像处理方案，并通过匹配算法识别口型，以便根据识别的口型执行对应的操作完成用户交互，提升用户体验。可选地，在上述方法中，还可以提取包括嘴角、人中、人中脊、唇谷、唇峰、唇缘、唇红、唇珠中的一个或多个区域中预定数量个特征点，并基于特征点连线，以获得唇部轮廓图。可选地，上述方法还包括：提取模板图像中与有效图像对应的一个或多个区域中预定数量个特征点。然后，基于唇部轮廓图各区域的特征点分布和模板图像各区域的特征点分布，计算唇部轮廓图中各区域特征点的标准差和模板图像中各区域特征点的标准差。继而计算唇部轮廓图中各区域特征点的标准差和与模板图像对应的各区域特征点的标准差的差值，以便确定匹配结果。可选地，在上述方法中，可以将唇部轮廓图中各区域特征点的标准差和与模板图像对应的各区域特征点的标准差的差值与预定阈值比较，统计差值小于预定阈值的区域的数量。当差值小于预定阈值的区域的数量达到预定数量时，确定唇部轮廓图像与模板图像匹配成功，否则匹配不成功。可选地，在上述方法中，计算设备还可以获取模板图像对应的口型以及与口型相对应的操作，根据模板图像对应的口型，确定与模板图像匹配成功的唇部轮廓图对应的口型，以便执行与口型相对应的操作。可选地，在上述方法中，可以基于模板图像的特征点连线获得模板图像的轮廓图，然后将唇部轮廓图和模板图像的轮廓图映射到二维坐标系中，获得唇部轮廓图中特征点的坐标值和模板图像中特征点的坐标值。这样就可以基于唇部轮廓图中特征点的坐标值，计算唇部轮廓图中各区域特征点的标准差，基于模板图像中特征点的坐标值，计算模板图像中各区域特征点的标准差。可选地，在上述方法中，可以将模板图像放大或缩小预定比例后映射到二维坐标系中，以便与唇部轮廓图进行匹配。可选地，在上述方法中，计算设备还可以存储多个口红颜色贴图，当口型对应的操作为口红上色时，将口红颜色贴图以像素点渲染到唇部轮廓图上，以便在显示屏处显示口红上色后的用户图像。或者，当口型对应的操作为试妆切换时，将切换后的口红颜色贴图以像素点渲染到唇部轮廓图上，以便在显示屏处显示试妆切换后的用户图像。或者当用户保持口型达到预定时间，在显示屏处截取用户图像以便进行图片分享。根据本专利技术另一个方面，提供了一种计算设备，包括摄像头，可以获取用户图像；显示屏，可以显示用户图像；一个或多个处理器；存储器，可以预先存储模板图像并存储所述用户图像；一个或多个程序，可以存储在存储器中并被配置为由一个或多个处理器执行，包括用于执行图像处理方法的指令。可选地，在上述计算设备中，存储器还可以预先存储模板图像对应的口型及与口型相对应的操作。可选地，在上述计算设备中，存储器还可以预先存储多个口红颜色贴图。根据本专利技术另一个方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行图像处理方法。通过上述方案，可以通过对口型的识别来代替用户手动操作屏幕，通过不同口型的变化进行相应的屏幕操作、试妆切换、保存截图等处理，提升用户体验。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术的一个实施例的计算设备100的构造示意图；图2示出了根据本专利技术的一个实施例的口型示意图；图3示出了根据本专利技术的一个实施例的图像处理方法300的示意性流程图；图4示出了根据本专利技术的一个实施例的唇部区域示意图；图5示出了根据本专利技术的一个实施例的唇部特征点提取的示意图；图6示出了根据本专利技术的一个实施例的唇部特征点坐标映射示意图；图7示出了根据本专利技术的一个实施例的口红试妆方法的示意性流程图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。随着AR(增强现实)技术、人脸识别技术的发展，虚拟试妆模式使用户不需要在脸上上妆就可以体验各种化妆产品，一般需要用户使用手机打开应用程序，手机的摄像头转换成一面试妆镜，用户选择喜欢的口红款式点击“试妆”功能，即可实时看到试妆效果。但是现有的虚拟试妆方案一般都需要用户手动进行试妆、切换、截图保存等其他操作，这样在口红试妆时会非常麻烦。本方案提供一种图像处理方法，能够通过识别用户的口型进行屏幕操作，可以提升用户的试妆体验。图1示出了根据本专利技术一个实施例的计算设备100的构造示意图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(印U)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸本文档来自技高网...

【技术保护点】
1.一种图像处理方法，适于在计算设备中执行，所述计算设备包括摄像头和显示屏，所述摄像头适于获取用户图像，所述显示屏适于显示用户图像，所述方法包括：对所述摄像头获取的用户图像进行人脸识别，以确定包含用户人脸信息的有效图像；对有效图像进行唇部识别以提取唇部轮廓图；将唇部轮廓图和预先存储的模板图像进行匹配，以便根据匹配结果确定唇部轮廓图对应的口型；以及执行与所述口型相对应的操作，以便更新在所述显示屏处显示的用户图像。

【技术特征摘要】
1.一种图像处理方法，适于在计算设备中执行，所述计算设备包括摄像头和显示屏，所述摄像头适于获取用户图像，所述显示屏适于显示用户图像，所述方法包括：对所述摄像头获取的用户图像进行人脸识别，以确定包含用户人脸信息的有效图像；对有效图像进行唇部识别以提取唇部轮廓图；将唇部轮廓图和预先存储的模板图像进行匹配，以便根据匹配结果确定唇部轮廓图对应的口型；以及执行与所述口型相对应的操作，以便更新在所述显示屏处显示的用户图像。2.如权利要求1所述的方法，其中，所述对有效图像进行唇部识别以提取唇部轮廓图的步骤包括：提取多个区域中预定数量个特征点，所述多个区域包括下列中一个或者多个：嘴角、人中、人中脊、唇谷、唇峰、唇缘、唇红和唇珠；基于特征点连线，获得唇部轮廓图。3.如权利要求2所述的方法，其中，所述将唇部轮廓图和预先存储的模板图像进行匹配，以便根据匹配结果确定唇部轮廓图对应的口型的步骤包括：在所述模板图像中，在与所述有效图像中的多个区域相对应的区域中提取预定数量个特征点；基于唇部轮廓图各区域的特征点分布和模板图像各对应区域的特征点分布，计算唇部轮廓图中各区域特征点的标准差和模板图像中各对应区域特征点的标准差；计算唇部轮廓图中各区域特征点的标准差和与模板图像各对应区域特征点的标准差的差值，以便确定匹配结果。4.如权利要求3所述的方法，其中，所述计算唇部轮廓图中各区域特征点的标准差和模板图像中各对应区域特征点的标准差的步骤包括：基于模板图像的特征点连线获得模板图像的轮廓图；将唇部轮廓图和模板图像的轮廓图映射到二维坐标系中，获得唇部轮廓图中特征点的坐标值和模板图像中特征点的坐标值；基于唇部轮廓图中特征点的坐标值，计算唇部轮廓图中各区域特征点的标准差；基于模板图像中特征点的坐标值，计算模板图像中各对应区域特征点的标准差。5.如权利要求4所述的方法，其中，将模板图像的轮廓图映射到...

【专利技术属性】
技术研发人员：吕楠，
申请(专利权)人：深圳美图创新科技有限公司，
类型：发明
国别省市：广东,44