一种图像处理方法和相关设备技术

本申请公开了一种图像处理方法和相关设备，应用于电子设备，所述电子设备包括RGB摄像头和深度摄像头。其中，所述方法包括：通过所述RGB摄像头获取目标人脸的RGB图像，并通过所述深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；在所述目标人脸的RGB图像中确定第一区域；根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；根据所述第二区域对所述目标人脸的第一深度图像进行处理。可见，通过本申请提供的技术方案，能够得到清晰有效的人脸深度信息，有利于人脸深度信息的应用。

An image processing method and related equipment

【技术实现步骤摘要】
一种图像处理方法和相关设备
本申请涉及图像处理
，具体涉及一种图像处理方法和相关设备。
技术介绍
近年来，人脸图像三维信息促进了计算机视觉在人脸检测、人脸识别以及3D活体检测等应用领域的发展。人脸深度图像作为一种普遍的人脸三维信息的表达形式，其每个像素点表征场景中某一点到深度摄像头的距离。然而，深度摄像头采集到的深度图像易受到多种噪声干扰，往往因深度值丢失而造成人脸图像的五官存在大量的黑洞，从而导致了人脸深度信息不能被充分地利用。此外，由于人脸深度范围在10～20cm之间，相对较窄；且与背景相比，人脸深度值相对较小。因此，现有人脸深度图像处理方法难以精确地定位到人脸在深度图像中的深度范围，导致人脸深度信息无法充分地被表征，从而很大程度地影响人脸深度信息在相关领域的应用。
技术实现思路
本申请实施例提供了一种图像处理方法及相关设备，能够得到清晰有效的人脸深度信息，有利于人脸深度信息的应用。第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，所述电子设备包括RGB摄像头和深度摄像头，所述方法包括：通过所述RGB摄像头获取目标人脸的RGB图像，并通过所述深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；在所述目标人脸的RGB图像中确定第一区域；根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；根据所述第二区域对所述目标人脸的第一深度图像进行处理。第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，所述电子设备包括RGB摄像头和深度摄像头，所述装置包括处理单元，所述处理单元用于：通过所述RGB摄像头获取目标人脸的RGB图像，并通过所述深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；以及在所述目标人脸的RGB图像中确定第一区域；以及根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；以及根据所述第二区域对所述第一深度图像进行处理。第三方面，本申请实施例提供了一种图像处理芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。第四方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。可以看出，本申请提供的技术方案，电子设备通过RGB摄像头获取目标人脸的RGB图像，并通过深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；在所述目标人脸的RGB图像中确定第一区域；根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；根据所述第二区域对所述目标人脸的第一深度图像进行处理。可见，在本申请提供的技术方案中，电子设备将采集到人脸的RGB图像和深度图像进行时间和空间上的配准，确保RGB图和深度图像的像素点之间是一一对应的，然后在RGB图像中确定该人脸的五官位置(第一区域)，由于深度图像的像素点之间是一一对应的，也即相当于在深度图像中确定了该人脸的五官位置(第二区域)，再根据该人脸的五官在深度图像中的位置对图像进行处理(五官部位黑洞补全、去除人脸以外的背景)，得到清晰有效的人脸深度信息，有利于人脸深度信息的应用。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种电子设备硬件的结构示意图；图2是本申请实施例提供的一种图像处理方法的流程示意图；图3A是本申请实施例提供的一种人脸关键点示意图；图3B是本申请实施例提供的一种深度图像的原始图；图3C是本申请实施例提供的一种深度图像处理后的效果图；图4是本申请实施例提供的另一种图像处理方法的流程示意图；图5是本申请实施例提供的一种电子设备的结构示意图；图6是本申请实施例提供的一种图像处理装置的功能单元组成框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminaldevice)等等。请参考图1，图1是本申请一个示例性实施例提供的电子设备100硬件的结构示意图。该电子设备100可以是智能手机、平板电脑本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括RGB摄像头和深度摄像头，所述方法包括：/n通过所述RGB摄像头获取目标人脸的RGB图像，并通过所述深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；/n在所述目标人脸的RGB图像中确定第一区域；/n根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；/n根据所述第二区域对所述目标人脸的第一深度图像进行处理。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括RGB摄像头和深度摄像头，所述方法包括：
通过所述RGB摄像头获取目标人脸的RGB图像，并通过所述深度摄像头获取所述目标人脸的第一深度图像，所述目标人脸的RGB图像的像素点与所述目标人脸的第一深度图像的像素点一一对应；
在所述目标人脸的RGB图像中确定第一区域；
根据所述一一对应关系在所述目标人脸的第一深度图像中确定与所述第一区域对应的第二区域；
根据所述第二区域对所述目标人脸的第一深度图像进行处理。


2.根据权利要求1所述的方法，其特征在于，所述在所述目标人脸的RGB图像中确定第一区域，包括：
将所述目标人脸的RGB图像输入预设的卷积神经网络模型中，得到所述目标人脸的预设数量个特征点；
根据所述预设数量个特征点在所述目标人脸的RGB图像中确定所述第一区域。


3.根据权利要求2所述的方法，其特征在于，所述特征点包括左眼眼角、右眼眼角、嘴角和鼻尖点，根据所述预设数量个特征点在所述目标人脸的RGB图像中确定所述第一区域，包括：
根据所述左眼眼角、所述右眼眼角、所述嘴角和所述鼻尖点在所述目标人脸的RGB图像中确定鼻部限定框、眼部限定框和嘴部限定框；
将所述鼻部限定框、所述眼部限定框和所述嘴部限定框中的其中一个作为所述第一区域。


4.根据权利要求3所述的方法，其特征在于，所述右眼眼角包括右眼右眼角和右眼左眼角，所述根据所述预设数量个特征点在所述目标人脸的RGB图像确定所述第一区域，包括：
在所述目标人脸的RGB图像中确定所述鼻尖点、所述右眼右眼角和所述右眼左眼角的坐标；
计算所述右眼右眼角和所述右眼左眼角的横坐标差的绝对值；
根据所述鼻尖点的横坐标和所述横坐标差的绝对值进行计算，得到第一横坐标和第二横坐标；
根据所述鼻尖点的纵坐标和所述横坐标差的绝对值进行计算，得到第一纵坐标和第二纵坐标；
根据所述第一横坐标、所述第二横坐标与所述第一纵坐标、所述第二纵坐标构建坐标，得到四个点坐标；
根据所述四个点坐标确定所述第一区域。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第二区域对所述目标人脸的第一深度...

【专利技术属性】
技术研发人员：李禹源，胡文泽，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44