图像处理方法和设备技术

公开一种图像处理方法和设备。图像处理方法包括：接收图像帧；检测图像帧中的用户的脸部区域；将多个预设特征点对准在包括在脸部区域中的多个特征部位；基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及基于确定第一检查和第二检查的成功，输出关于脸部区域的信息。

Image processing methods and equipment

【技术实现步骤摘要】
图像处理方法和设备本申请基于并要求于2018年12月4日提交到韩国知识产权局的第10-2018-0154351号韩国专利申请的优先权，所述韩国专利申请的公开通过整体引用包含于此。
与示例实施例一致的方法和设备涉及一种图像处理方法和设备。
技术介绍
基于相机的眼睛跟踪技术(例如，基于视点跟踪的自动立体或无眼镜三维(3D)超多视图(super-multiview,SMV)显示等)用于各种领域。眼睛跟踪技术的性能的水平基于所使用的相机捕获的图像质量来确定。眼睛跟踪技术在一些条件下(例如，在具有背光或强烈阳光的环境下、在黑暗或低照明环境下，以及在剧烈变化的照明环境下(例如，当车辆在实际驾驶期间通过隧道时))可表现出恶化的操作稳定性。因此，需要一种可在增强现实(AR)3D平视显示器(HUD)的实际使用期间(例如，在车辆驾驶期间)，在各种照明条件下稳定地操作的眼睛跟踪方法。因为当用户佩戴眼镜时，用户的眼睛可受到由红外(IR)光源和强烈阳光引起的眼镜的镜片的反射的影响，因此，眼睛跟踪方法的稳定性和准确度可被降低。
技术实现思路
一个或多个示例实施例可至少解决以上问题和/或缺点以及以上没有描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述的任何问题。根据公开的一个方面，提供一种图像处理方法，包括：接收图像帧；检测图像帧中的用户的脸部区域；将多个预设特征点对准在包括在脸部区域中的多个特征部位；基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及基于确定第一检查和第二检查二者的成功，输出关于脸部区域的信息。检测脸部区域的步骤可包括：当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。对准的步骤可包括：将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。对准的步骤可包括：基于脸部区域的图像信息移动所述多个预设特征点。当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点可对应于多个用户的特征部位的平均位置。当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点可对应于基于先前图像帧对准的点。所述多个特征部位的组合可包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。执行第一检查的步骤可包括：基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。执行第一检查的步骤可包括：基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。执行第二检查的步骤可包括：基于第二区域的图像信息确定第二区域是否对应于单个特征部位。执行第二检查的步骤可包括：基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。输出关于脸部区域的信息的步骤可包括：输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。所述图像处理方法还可包括：对重新检测的脸部区域重复地执行对准、第一检查和第二检查。图像帧包括彩色图像帧和红外(IR)图像帧中的至少一个。一种非暂时性计算机可读存储介质可存储指令，其中，所述指令能够由用于执行如上所述的图像处理方法的处理器来执行。根据公开的另一方面，提供一种图像处理设备，包括：处理器，被配置为：检测图像帧中的用户的脸部区域，将多个预设特征点对准在包括在脸部区域中的多个特征部位，基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查，基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查，并且基于确定第一检查和第二检查中的至少一个的失败重新检测脸部区域；以及通信接口，被配置为：接收图像帧，并基于确定第一检查和第二检查二者的成功输出关于脸部区域的信息。处理器还可被配置为：当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。处理器还可被配置为：将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。处理器还可被配置为：基于脸部区域的图像信息移动所述多个预设特征点。当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点对应于多个用户的特征部位的平均位置。当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点对应于基于先前图像帧对准的点。所述多个特征部位的组合可包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。处理器还可被配置为：基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。处理器还可被配置为：基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。处理器还可被配置为：基于第二区域的图像信息确定第二区域是否对应于单个特征部位。处理器还可被配置为：基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。通信接口还可被配置为：输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。处理器还可被配置为：对重新检测的脸部区域重复地执行对准、第一检查和第二检查。图像帧可包括彩色图像帧和红外(IR)图像帧中的至少一个。根据公开的另一方面，提供一种图像处理设备，包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行所述一个或多个指令以：检测图像帧中用户的脸部区域，确定第一区域中的多个特征部位的组合是否满足第一标准，确定所述多个特征部位中的一个或多个是否单独地满足第二标准，基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。第一标准可对应于脸部的特征。第二标准可对应于眼睛的特征。根据公开的另一方面，提供一种图像处理方法，包括：检测图像帧中用户的脸部区域；确定第一区域中的多个特征部位的组合是否满足第一标准；确定所述多个特征部位中的一个或多个是否单独地满足第二标准；基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。第一标准可对应于脸部的特征。第二标准可对应于眼睛的特征。附图说明本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n接收图像帧；/n检测图像帧中的用户的脸部区域；/n将多个预设特征点对准在包括在脸部区域中的多个特征部位；/n基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；/n基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；/n基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及/n基于确定第一检查和第二检查二者的成功，输出关于脸部区域的信息。/n

【技术特征摘要】
20181204 KR 10-2018-01543511.一种图像处理方法，包括：
接收图像帧；
检测图像帧中的用户的脸部区域；
将多个预设特征点对准在包括在脸部区域中的多个特征部位；
基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；
基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；
基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及
基于确定第一检查和第二检查二者的成功，输出关于脸部区域的信息。


2.根据权利要求1所述的图像处理方法，其中，检测脸部区域的步骤包括：
当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及
当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。


3.根据权利要求1所述的图像处理方法，其中，对准的步骤包括：
将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。


4.根据权利要求1所述的图像处理方法，其中，对准的步骤包括：
基于脸部区域的图像信息移动所述多个预设特征点。


5.根据权利要求1所述的图像处理方法，其中，当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点对应于多个用户的特征部位的平均位置。


6.根据权利要求1所述的图像处理方法，其中，当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点对应于基于先前图像帧对准的点。


7.根据权利要求1所述的图像处理方法，其中，所述多个特征部位的组合包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。


8.根据权利要求1所述的图像处理方法，其中，执行第一检查的步骤包括：
基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。


9.根据权利要求1所述的图像处理方法，其中，执行第一检查的步骤包括：
基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。


10.根据权利要求1所述的图像处理方法，其中，执行第二检查的步骤包括：
基于第二区域的图像信息确定第二区域是否对应于单个特征部位。


11.根据权利要求1所述的图像处理方法，其中，执行第二检查的步骤包括：
基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。


12.根据权利要求1所述的图像处理方法，其中，输出关于脸部区域的信息的步骤包括：
输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。


13.根据权利要求1所述的图像处理方法，还包括：
对重新检测的脸部区域重复地执行对准、第一检查和第二检查。


14.根据权利要求1所述的图像处理方法，其中，图像帧包括彩色图像帧和红外图像帧中的至少一个。


15.一种存储指令的非暂时性计算机可读存储介质，所述指令能够由用于执行权利要求1所述的图像处理方法的处理器来执行。


16.一种图像处理设备，包括：
处理器，被配置为：
检测图像帧中的用户的脸部区域，
将多个预设特征点对准在包括在脸部区域中的多个特征部位，
基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查，基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查，并且基于确定第一检查和第二检查中的至少一个的失败重新检测脸部区域；以及
通信接口，被配置为：接收图像帧，并基于确定第一检查和第二检查二者的成功输出关于脸部区域的信息。


17.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
当图像帧是初始图像帧时，检测包括在图像帧中的用户...

【专利技术属性】
技术研发人员：姜东佑，许珍九，姜柄敏，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR