面向智能机器人的面部表情增强方法和装置制造方法及图纸

本发明专利技术提供一种面向智能机器人的面部表情增强方法，其包括以下步骤：获取用户的当前面部图像；检测当前面部图像中的关键点，并进行标记；基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；根据所述参考位置生成表情增强的面部图像。通过智能机器人对用户面部表情进行夸大处理，从而起到了日常生活中常见的哈哈镜的作用，丰富了智能机器人的功能并增强了智能机器人的娱乐性。本发明专利技术的表情增强方案可应用到各类智能机器人中。

【技术实现步骤摘要】
面向智能机器人的面部表情增强方法和装置
本专利技术涉及智能机器人领域，具体地说，涉及一种面向智能机器人的面部表情增强方法和装置。
技术介绍
随着科技技术的发展进步，人工智能的应用领域已经深入到人们生活的方方面面。当前的陪伴型智能机器人在人机交互方面已经逐步地可以替代人类的部分功能，与用户进行交谈。然而，智能机器人除了具有能够替代人类进行一些交互的功能之外，事实上还可以模拟许多娱乐设施给用户带来多种体验。针对这方面的深入应用，科技人员还在做努力尝试。
技术实现思路
本专利技术的目的在于提供能够利用智能机器人来模拟哈哈镜效果的的技术方案。为此，本专利技术提供了一种面向智能机器人的面部表情增强方法。该方法包括以下步骤：获取用户的当前面部图像；检测当前面部图像中的关键点，并进行标记；基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；根据所述参考位置生成表情增强的面部图像。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强方法，，在根据所述参考位置生成表情增强的面部图像的步骤中，所述方法还包括：基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型；基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型；将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列；以及结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强方法，在获取用户的当前面部图像的步骤之前，所述方法还包括：获取用户的无表情图像；检测所述无表情图像的关键点并进行标记；以及基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强方法，在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点，且在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强方法，将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量；以及将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置。根据本专利技术的另一个方面，还提供了一种面向智能机器人的面部表情增强装置。所述装置包括：当前面部图像获取单元，其用以获取用户的当前面部图像；关键点检测单元，其用以检测当前面部图像中的关键点，并进行标记；表情增强点位置提取单元，其用以基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；表情增强图像生成单元，其用以根据所述参考位置生成表情增强的面部图像。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强装置，在表情增强图像生成单元中还包括：用以基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型的第一子单元；用以基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型的第二子单元；用以将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列的第三子单元；以及用以结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像的第四子单元。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强装置，所述装置还包括：用以获取用户的无表情图像的第五子单元；用以检测所述无表情图像的关键点并进行标记的第六子单元；以及用以基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型的第七子单元。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强装置，所述装置还包括：在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点的第八子单元，以及在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点的第九子单元。在一个实施例中，根据本专利技术的面向智能机器人的面部表情增强装置，所述装置还包括用以将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情变动向量的第十子单元；以及用以将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置的第十一子单元。本专利技术的有利之处在于，通过智能机器人对用户面部表情进行夸大处理，从而起到了日常生活中常见的哈哈镜的作用，丰富了智能机器人的功能并增强了智能机器人的娱乐性。本专利技术的表情增强方案可应用到各类智能机器人中。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为根据本专利技术的一个实施例的面向智能机器人的面部表情增强方法的总体流程图；图2显示了根据本专利技术的一个实施例的用以获取表情增强的面部图像的详细流程图；图3显示了根据本专利技术的一个实施例的用以获取无表情面部三维模型的流程图；图4显示了根据本专利技术的一个实施例的对面部特征进行关键点标记的示意图；图5显示了根据本专利技术的一个实施例的用以面部检测并进行关键点标记的流程图；图6显示了根据本专利技术的一个实施例的进行面部表情增强的方法的详细流程图；图7显示了根据本专利技术的一个实施例的无表情二维图像和当前面部有表情图像获得表情增强的面部图像的示意图；图8显示了根据本专利技术的一个实施例的用以面向智能机器人的面部表情增强装置的结构框图；以及图9显示了根据本专利技术的另一个一个实施例的用以面向智能机器人的面部表情增强装置的关于生成无表情面部三维模型的单元的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。如图1所示，本专利技术的面向智能机器人的面部表情增强方法开始于步骤S101。在步骤S101中，智能机器人获取用户的当前面部图像。智能机器人获取用户的当前面部图像可以通过用户以自拍的形式利用摄像头捕捉用户当前的头像，尤其是当前头像中的面部表情的二维图片。在步骤S102中，智能机器人对获取的用户当前面部图像进行检测，主要是检测当前面部图像中的关键点，并进行标记。一般地，智能机器人可以通过机器学习类算法标记出二维图片上人脸五官特征的关键点位置。针对每个关键点分配固定编号。例如，左内测眼角的编号可以分配为39。检测的关键点的数量越多对面部图像的特征识别会越精确，但同时带来计算量大的缺点。本专利技术考虑了位置因素，选取一种折衷的方式来确定关键点的数量，优选为70个关键点。对于脸型轮廓在面部表情变化方面没有太多改变的情况，可以将关键点设置的比较稀疏，能够大致反映出轮廓即可。而对于嘴部、眼部和眉毛特征部分，它们在面本文档来自技高网...

【技术保护点】
一种面向智能机器人的面部表情增强方法，其特征在于，所述方法包括以下步骤：获取用户的当前面部图像；检测当前面部图像中的关键点，并进行标记；基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；根据所述参考位置生成表情增强的面部图像。

【技术特征摘要】
1.一种面向智能机器人的面部表情增强方法，其特征在于，所述方法包括以下步骤：获取用户的当前面部图像；检测当前面部图像中的关键点，并进行标记；基于所保存的用户的无表情面部三维模型和所述当前面部图像中的关键点提取相对于当前面部图像的关键点的表情增强点的参考位置；根据所述参考位置生成表情增强的面部图像。2.如权利要求1所述的面向智能机器人的面部表情增强方法，其特征在于，在根据所述参考位置生成表情增强的面部图像的步骤中，所述方法还包括：基于所述当前面部图像中的关键点建立当前面部图像的表情未增强的三角模型；基于所述表情增强点的参考位置建立相对于当前面部图像的表情增强的三角模型；将所述表情未增强的三角模型与表情增强的三角模型进行比对获得三角形仿射变换矩阵阵列；以及结合所述三角形仿射变换矩阵阵列对最初获取的当前面部图像进行逐三角形仿射变换以得到所述表情增强的面部图像。3.如权利要求1所述的面向智能机器人的面部表情增强方法，其特征在于，在获取用户的当前面部图像的步骤之前，所述方法还包括：获取用户的无表情图像；检测所述无表情图像的关键点并进行标记；以及基于所述无表情图像的关键点进行三维建模，并保存所得到的用户的无表情面部三维模型。4.如权利要求3所述的面向智能机器人的面部表情增强方法，其特征在于，在未检测到所述无表情图像的关键点时，提示进行手动标记面部图像的关键点，且在检测到所述无表情图像的关键点并已进行了标记之后，提示进行手动微量调整所述关键点。5.如权利要求3或4所述的面向智能机器人的面部表情增强方法，其特征在于，将所述无表情面部图像中的关键点和所述当前面部图像中的关键点之间的差异放大预设的增强系数倍，以获取面部表情增强变动向量；以及将所述面部表情变动向量叠加到所述当前面部图像中的关键点上以获取相对于当前面部图像的关键点的表情增强点的参考位置。6.一种面向智能机器人的面部表情增强装置，其特征在于，所述装置包括：当前面部图像获取单元，其用以获取用户的当前面部...

【专利技术属性】
技术研发人员：陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11