面部验证方法和设备技术

一种面部验证方法和设备。所述面部验证方法包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息来执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。

Face verification methods and equipment

A face verification method and device. The face validation method includes: detecting a face region from an input image; generating a composite face image by combining the image information of the face region with the reference image information based on a determined occlusion region; extracting one or more face features from the face region and the composite face image; and targeting the one. One or more facial features and predetermined registration information perform a verification operation; based on the result of the verification operation performed, the verification of the input image is indicated to be successful.

【技术实现步骤摘要】
面部验证方法和设备本申请要求于2017年3月28日提交到韩国知识产权局的第10-2017-0039202号韩国专利申请的权益，以及于2017年6月8日提交到韩国知识产权局的第10-2017-0071331号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有的目的通过引用合并于此。
下面的描述涉及面部验证技术。
技术介绍
面部验证技术是一种生物测量学认证技术，并且可包括基于静止图像或视频中呈现的面部来验证用户是否是有效用户。这样的面部验证技术可在不与目标接触的情况下验证目标。
技术实现思路
提供该
技术实现思路
来以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。该
技术实现思路
不意图指出要求保护的主题的关键特征或必要特征，所述
技术实现思路
也不意图用于帮助确定要求保护的主题的范围。在一个总体方面，一种处理器实现的面部验证方法，包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。确定的遮蔽区域可对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。提取一个或多个面部特征的步骤可包括：从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征；执行验证操作的步骤可包括：将第三面部特征与有效用户的登记面部特征进行比较。提取一个或多个面部特征的步骤可包括：从来自面部区域和合成的面部图像的图像信息的组合提取面部特征；执行验证操作的步骤可包括：将提取的面部特征与有效用户的登记面部特征进行比较。生成合成的面部图像的步骤可包括：通过将参考图像中的与遮蔽区域对应的区域的图像信息与从面部区域排除遮蔽区域的剩余区域的图像信息进行合成，来生成合成的面部图像。生成合成的面部图像的步骤可包括：通过将面部区域内的预定义的遮蔽区域的图像信息替换为参考图像信息，来生成合成的面部图像。生成合成的面部图像的步骤可包括：检测面部区域中的遮挡区域，确定检测到的遮挡区域的遮挡对象类型，基于确定的遮挡对象类型确定遮蔽区域，通过将面部图像中的与确定的遮蔽区域对应的面部区域内的图像信息替换为参考图像信息来生成合成的面部图像。所述方法还可包括：基于确定的遮蔽区域从参考图像确定参考图像信息。确定检测到的遮挡区域的遮挡对象类型的步骤可包括：检测面部区域中的面部的界标，基于界标的检测的结果来确定遮挡区域的遮挡对象类型。确定遮挡对象类型的步骤可包括：从眼镜、太阳镜、帽子和面具的多个遮挡对象类型之中确定遮挡对象类型。所述方法还可包括：将遮蔽区域确定为具有眼镜、太阳镜、面具或帽子的形式。提取一个或多个面部特征的步骤可包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像和从合成的面部图像提取面部特征。所述方法可包括：通过将训练数据反复地应用到神经网络并调节神经网络的参数，来训练神经网络特征提取器，直到神经网络被训练为从训练数据准确地提取特征为止。训练神经网络特征提取器的步骤还可包括：从训练数据生成参考图像信息。面部图像与参考图像之间的第一差分图像的图像信息可被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息可被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层可输出提取的面部特征，其中，可针对提取的面部特征和预定的登记信息执行验证操作。参考图像信息可以是从训练图像确定的图像信息，其中，通过训练图像训练执行所述一个或多个面部特征的提取的特征提取器。提取所述一个或多个面部特征的步骤可包括：从面部区域与参考图像之间的第一差分图像提取第一面部特征；从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征；基于第一面部特征和第二面部特征，确定与输入图像对应的第三面部特征，其中，可针对第三特征和预定的登记信息执行验证操作。可通过第一特征提取器提取第一面部特征，可通过第二特征提取器提取第二面部特征。确定第三面部特征的步骤可包括：通过第三特征提取器提取第三面部特征。参考图像信息可以是单个颜色。执行验证操作的步骤可包括：将来自提取的一个或多个面部特征中的提取的面部特征与在针对有效用户的登记操作中提取的登记特征进行比较。登记特征可代表是基于用于面部登记的登记图像和合成的登记面部图像，其中，通过将登记图像中的确定的登记遮蔽区域的图像信息替换为与参考图像信息对应的参考图像的图像信息来在面部登记中生成的合成的登记面部图像。所述方法还可包括：通过将登记图像的面部区域的图像信息和基于确定的登记遮蔽区域选择的对应的参考图像信息进行组合，来生成合成的登记面部图像，从登记面部图像的面部区域和合成的登记面部图像提取登记特征，其中，参考图像信息和对应的参考图像信息可以是参考图像的图像信息。登记特征可代表基于用于面部登记的登记图像和基于多个遮蔽区域类型合成的在面部登记中生成的合成的登记面部图像。在一个总体方面，提供一种存储指令的非暂时性计算机可读介质，其中，所述指令在被处理器执行时，使得处理器实现在此描述的一个或多个或所有操作。在一个总体方面，一种处理器执行的面部验证方法包括：从登记图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和基于验证图像提取的一个或多个特征，执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。确定的遮蔽区域可对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。提取一个或多个面部特征的步骤可包括：从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，其中，执行验证操作的步骤可包括：将第三面部特征与来自验证图像提取的一个或多个特征中的验证特征进行比较。所述方法还可包括：基于确定的验证遮蔽区域，通过将验证图像的面部区域的图像信息与对应的参考图像信息进行组合，来生成合成的验证面部图像；从验证图像的面部区域和合成的验证面部图像提取验证特征，其中，参考图像信息和对应的参考图像信息可以是同一参考图像的图像信息。提取一个或多个面部特征的步骤可包括：从来自面部区域与合成的面部图像的图像信息的组合提取面部特征，其中，执行验证操作的步骤可包括：将提取的面部特征与来自基于验证图像提取的一个或多个特征中的验证面部特征进行比较。提取一个或多个面部特征的步骤可包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像和从合成的面部图像提取面部特征。所述方法还可包括：使用训练的神经网络特征提取器，提取基于验证图像提取的所述一个或多个特征中的验证特征，并通过将验证特征与提取的面部特征进行比较，来执行验证操作。面部图像与参考图像之间的第一差分图像的图像信息可被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分本文档来自技高网...

【技术保护点】
1.一种面部验证方法，包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息来执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。

【技术特征摘要】
2017.03.28 KR 10-2017-0039202;2017.06.08 KR 10-2011.一种面部验证方法，包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息来执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。2.根据权利要求1所述的方法，其中，确定的遮蔽区域对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。3.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：通过将参考图像中的与遮蔽区域对应的区域的图像信息与从面部区域排除遮蔽区域的剩余区域的图像信息进行合成，来生成合成的面部图像。4.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：通过将面部区域内的确定的遮蔽区域的图像信息替换为参考图像信息，来生成合成的面部图像。5.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：检测面部区域中的遮挡区域；确定检测到的遮挡区域的遮挡对象类型；基于确定的遮挡对象类型来确定遮蔽区域；通过将面部区域中的确定的遮蔽区域内的图像信息替换为参考图像信息，来生成合成的面部图像。6.根据权利要求5所述的方法，还包括：基于确定的遮蔽区域，从参考图像确定参考图像信息。7.根据权利要求5所述的方法，其中，确定检测到的遮挡区域的遮挡对象类型的步骤包括：检测面部区域中的面部的界标；基于界标的检测的结果，确定遮挡区域的遮挡对象类型。8.根据权利要求5所述的方法，其中，确定检测到的遮挡区域的遮挡对象类型的步骤包括：从眼镜、太阳镜、帽子和面具的多个遮挡对象类型中，确定遮挡对象类型。9.根据权利要求1所述的方法，还包括：将遮蔽区域确定为具有眼镜、太阳镜、面具和帽子中的至少一种形式。10.根据权利要求1所述的方法，其中，提取一个或多个面部特征的步骤包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像以及从合成的面部图像提取面部特征。11.根据权利要求10所述的方法，还包括：通过将训练数据反复地应用到神经网络并调节神经网络的参数，来训练神经网络特征提取器，直到神经网络特征提取器被训练为从训练数据准确地提取特征为止，其中，训练神经网络特征提取器的步骤还包括：从训练数据生成参考图像信息。12.根据权利要求10所述的方法，其中，面部图像与参考图像之间的第一差分图像的图像信息被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层输出提取的面部特征，其中，针对提取的面部特征和预定的登记信息执行验证操作。13.根据权利要求1所述的方法，其中，提取一个或多个面部特征的步骤包括：从面部区域与参考图像之间的第一差分图像提取第一面部特征；从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征；基于第一面部特征和第二面部特征，确定与输入图像对应的第三面部特征，其中，针对第三面部特征和预定的登记信息执行验证操作。14.根据权利要求1所述的方法，其中，执行验证操作的步骤包括：将来自提取的一个或多个面部特征中的提取的面部特征与在针对有效用户的登记操作中提取的登记特征进行比较，其中，登记特征代表用于面部登记的登记图像和合成的登记面部图像，其中，通过将登记图像中的确定的登记遮蔽区域的图像信息替换为与参考图像信息对应的参考图像的图像信息来在面部登记中生成合成的登记面部图像。15.根据权利要求14所述的方法，还包括：生成合成的登记面部图像；从登记面部图像的面部区域和合成的登记面部图像提取登记特征。16.根据权利要求14所述的方法，其...

【专利技术属性】
技术研发人员：韩承周，高民守，金德相，崔昌圭，韩在濬，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR