本公开提供人脸遮挡下的人脸表情确定方法，包括：检测视频中第一图像是否有人脸遮挡；响应于人脸的第一区域被遮挡，基于第一图像确定包括涉及人脸的第一区域的表情值的第一向量、和包括涉及人脸中除第一区域外的区域的表情值的第二向量；基于人脸对称性，根据第二向量调整第一向量得到第三向量；基于人脸部位间的联动关系，调整第三向量得到第四向量；基于视频中第一图像前的第二图像确定第五向量，第二图像中人脸的第一区域未被遮挡，第五向量包括涉及对应帧第二图像中人脸的第一区域的表情值，基于第五向量调整第四向量得到第六向量；基于第六向量调整基于第一图像建立的人脸三维模型。本公开还涉及人脸遮挡下的人脸表情确定装置。确定装置。确定装置。
【技术实现步骤摘要】
人脸遮挡下的人脸表情确定方法和装置
[0001]本公开涉及图像处理
，尤其是一种人脸遮挡下的人脸表情确定方法和装置。
技术介绍
[0002]人脸表情识别技术是一种涉及图像处理、机器学习、计算机视觉等多种领域的综合技术。它能够通过分析人脸的特征点和表情来识别人的情绪状态。人脸表情识别技术可以广泛应用于面部识别、情感分析、人机交互以及安全监控等领域。人脸表情识别技术主要包括人脸框检测、人脸特征提取和人脸表情识别等内容。
技术实现思路
[0003]本公开一个或多个实施例的目的之一是提供人脸遮挡下的人脸表情确定方法、装置及计算机可读存储介质。
[0004]根据本公开实施例的第一方面，提供一种人脸遮挡下的人脸表情确定方法，包括接收包含人脸的视频，检测所述视频中的一帧第一图像中是否存在人脸遮挡；响应于所述第一图像中人脸的第一区域被遮挡，基于所述第一图像确定人脸表情向量，所述人脸表情向量包括第一向量和第二向量，所述第一向量包括涉及人脸的第一区域的一个或多个表情值，所述第二向量包括涉及人脸中的除第一区域之外的区域的一个或多个表情值，每个表情值用于表示人脸的一个部位的状态；基于人脸对称性，根据所述第二向量对所述第一向量进行调整，得到第三向量；基于人脸部位之间的联动关系，对所述第三向量进行调整，得到第四向量；基于所述视频中位于所述第一图像之前的一帧或多帧第二图像确定相应的一个或多个第五向量，一帧或多帧第二图像中人脸的第一区域未被遮挡，一个或多个第五向量中的每个第五向量包括涉及一帧或多帧第二图像中的对应帧第二图像中人脸的第一区域的一个或多个表情值，基于一个或多个第五向量对所述第四向量进行调整，得到第六向量；以及基于所述第六向量调整基于所述第一图像建立的人脸三维模型。
[0005]根据本公开实施例的第二方面，提供一种人脸遮挡下的人脸表情确定方法，包括：接收包含人脸的视频，检测所述视频中的一帧第一图像中是否存在人脸遮挡；响应于所述第一图像中人脸的第一区域被遮挡，基于所述第一图像确定第一人脸表情向量，所述第一人脸表情向量包括第一子向量和第二子向量，所述第一子向量包括涉及人脸的第一区域的一个或多个表情值，所述第二子向量包括涉及人脸中除第一区域之外的区域的一个或多个表情值，每个表情值用于表示人脸的一个部位的状态；基于人脸对称性，根据所述第二子向量对所述第一子向量进行调整，基于调整后的第一子向量和所述第二子向量确定第二人脸表情向量；基于所述视频中位于所述第一图像之前的一帧或多帧第二图像确定相应的一个或多个第三子向量，一帧或多帧第二图像中人脸的第一区域未被遮挡，一个或多个第三子向量中的每个第三子向量包括涉及一帧或多帧第二图像中的对应帧第二图像中人脸的第一区域的一个或多个表情值，基于一个或多个第三子向量对所述第二人脸表情向量进行调
整，确定第三人脸表情向量；基于人脸部位之间的联动关系，对所述第三人脸表情向量进行调整，确定第四人脸表情向量；以及基于所述第四人脸表情向量调整基于所述第一图像建立的人脸三维模型。
[0006]根据本公开实施例的第三方面，提供一种人脸遮挡下的人脸表情确定装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。
[0007]根据本公开实施例的第四方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的方法。
[0008]根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法。
[0009]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0010]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1和图2分别是根据本公开一些实施例的人脸遮挡下的人脸表情确定方法的流程示意图。
[0012]图3是根据本公开一些实施例的人脸遮挡下的人脸表情确定方法中的第一图像、第二图像以及第一区域的示意图。
[0013]图4和图5分别是根据本公开一些实施例的人脸遮挡下的人脸表情确定方法的流程示意图。
[0014]图6是根据本公开一些实施例的人脸遮挡下的人脸表情确定装置的结构示意图。
具体实施方式
[0015]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0016]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0017]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0018]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0019]在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0020]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0021]人脸表情识别技术可以得到人脸的多个表情值，每个表情值可以用于表示人脸的一个部位的状态。例如，眉毛部位、眼睛部位以及嘴巴部位都可以有对应的表情值。眼睛部位可以有眼睛的睁闭状态、几何形状等多种表情值。以眼睛的睁闭状态为例，可以设置完全睁眼状态的表情值为1，闭眼状态的表情值为0。本文为简明起见，在对表情值进行举例时，通常取值为0或1。但应理解，人脸每个部位对应的表情值还可以具有大于0并且小于1的其他值。例如，眼睛对应的表情值表示眼睛睁开的程度，值越大(即越接近1)表示眼睛越接近完全睁开的状态。为了得到准确的表情值，人脸表情识别技术往往要求捕捉到的人脸清晰完整，也即人脸不被遮挡，特别是五官信息不被遮挡。但是在实际场景中，往往会存在头部大位姿(例如是低头或者侧头)造成的自遮挡，或者手部、手机等物品挡在人脸前造成的物体遮挡。人脸被遮挡会导致人脸表情识别的准确率降低，由此得到的表情值很可能是错误的、异常的。针对这一问题，常见的解决方案有多模态结合方案和多摄像头视觉融合方案。多模态结合方案可以结合图像、语音等多种输入去预测并修正表情。多摄像头视觉融合方案可以通过多个摄像头同时拍摄人脸图像，然后利用计算机视觉算法将多个图像进行融合，从而提高对头部姿本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸遮挡下的人脸表情确定方法，包括：接收包含人脸的视频，检测所述视频中的一帧第一图像中是否存在人脸遮挡；响应于所述第一图像中人脸的第一区域被遮挡，基于所述第一图像确定人脸表情向量，所述人脸表情向量包括第一向量和第二向量，所述第一向量包括涉及人脸的第一区域的一个或多个表情值，所述第二向量包括涉及人脸中的除第一区域之外的区域的一个或多个表情值，每个表情值用于表示人脸的一个部位的状态；基于人脸对称性，根据所述第二向量对所述第一向量进行调整，得到第三向量；基于人脸部位之间的联动关系，对所述第三向量进行调整，得到第四向量；基于所述视频中位于所述第一图像之前的一帧或多帧第二图像确定相应的一个或多个第五向量，一帧或多帧第二图像中人脸的第一区域未被遮挡，一个或多个第五向量中的每个第五向量包括涉及一帧或多帧第二图像中的对应帧第二图像中人脸的第一区域的一个或多个表情值，基于一个或多个第五向量对所述第四向量进行调整，得到第六向量；以及基于所述第六向量调整基于所述第一图像建立的人脸三维模型。2.根据权利要求1所述的方法，其中，根据所述第二向量对所述第一向量进行调整包括：判断人脸中除第一区域之外的区域中是否存在与第一区域中的一个或多个人脸部位关于人脸中轴线对称的一个或多个对称人脸部位；以及响应于存在所述一个或多个对称人脸部位，从所述第二向量中选取与所述一个或多个对称人脸部位对应的一个或多个表情值以形成第七向量；以及基于所述第七向量对所述第一向量进行调整。3.根据权利要求2所述的方法，其中，基于所述第七向量对所述第一向量进行调整包括：基于所述第一图像确定人脸的遮挡类型，所述遮挡类型包括自遮挡和物体遮挡；以及响应于遮挡类型为自遮挡，计算所述第七向量与所述第一向量的加权和，得到调整后的第一向量。4.根据权利要求3所述的方法，其中，计算所述加权和包括：基于所述第一图像确定自遮挡程度；以及基于所述自遮挡程度确定所述第七向量和所述第一向量各自的权重，自遮挡程度越高，所述第七向量的权重越高。5.根据权利要求1所述的方法，其中，基于多帧第二图像确定相应的多个第五向量；...
【专利技术属性】
技术研发人员：甘启，刘思远，金勇逸，张璐，陶明，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。