【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及热面部和特征点(landmark)检测方法以及用于创建热面部图像集的特征点数据库作为基础真实值参考(ground truth reference)的方法。
技术介绍
1、与经典面部识别(fr)系统类似，交叉光谱面部识别(cfr)系统需要面部检测和对准过程作为首要处理步骤。虽然对rgb面部图像(可见光谱)执行特征点检测可能很容易，但在热光谱的上下文中仍然是一个挑战。特别是，热面部图像往往具有低对比度、低分辨率并缺乏纹理信息。因此，当直接应用于热场时，处理可见面部的现有工作遭受模态差异并且不能有效地提取面部关键点。此外，缺乏可用的带注释的热数据集使得聚焦于热面部特征点检测的工作非常有限。
2、本领域现有技术尤其是：
3、-poster,domenick,hu,shuowen,nasrabadi,nasser等人。“an examinationofdeep-learning based landmark detection methods on thermal face imagery”，载于：ieee/cvf计算机视觉与模式识别研讨会论文集(proceedings of the ieee/cvfconference on computer vision and pattern recognition workshops)。2019年。第0-0页。
4、-chu,wei-ta et liu,yu-hui。“thermal facial landmark detection by dee
5、-mallat,khawlaetdugelay,jean-luc。“faciallandmarkdetection on thermaldata via fully annotated visible-to-thermal data synthesis”，载于：2020ieee国际生物统计学联合会议(ijcb)(2020ieee international workshop on informationforensics and security(wifs))。ieee，2020年。第1-10页。
6、-keong,jin,dong,xingbo,jin,zhe等人。“多光谱面部特征点检测(multi-spectral facial landmark detection)”，载于：2020ieee信息取证与安全国际研讨会(wifs)(2020ieee international workshop on information forensics and security(wifs))。ieee，2020年。第1-6页。
7、-poster,domenick d.,,sshuowen,short,nathan j.等人。“用于面部特征点检测的可见热转移学习(visible-to-thermal transfer learning for facial landmarkdetection)”。ieee access，2001年第9期第52759-52772页。
8、大多数现有方法已经聚焦于现有的可见光谱方法，诸如深度对准网络(dan)、多任务级联卷积网络(mtcnn)或主动外观模型(aam)，并试图适用于热光谱。然而，大的光谱间差距导致不准确的检测结果。
9、尽管如此，通过热光谱的面部和特征点检测也可以通过设计基于生成式对抗网络(gan)的网络来解决，该网络将面部图像从热光谱转化到可见光谱。一旦应用了光谱转化，然后就可以提取面部关键点并在原始热面部上共享。然而，在光谱变换期间，面部标识没有被保留，并且意味着面部的显著区域具有与现实不同的外观。结果，该方法论提供了差的面部关键点位置。
技术实现思路
1、本专利技术的一个目的是提供一种在无约束的环境中(适用于野外场景)的可靠热面部和特征点检测方法，其克服了先前已知的仅热面部特征点检测工作的不足，同时对于诸如(1)面部姿势，(2)面部表情，(3)面部遮挡，(4)差的图像质量和(5)远程距离之类的不同条件是鲁棒的。
2、此外，专利技术人已经发现，在从不同的公共热数据集收集数据的同时，可以使用作为深度学习方法的起点所必需的必要初始自动基础真实值注释数据库来建立用于面部和特征点检测以及热场中的自动基础真实值注释的基准。
3、本方法解决了以下问题：(i)缺少带注释的热面部数据库，以及(ii)缺乏用于热面部检测以及热特征点面部检测的方法。
4、(i)很少热面部数据集包含经标记图像，并且通常包括有限数量的关键点(大约5个：左眼和右眼、鼻子以及左嘴角和右嘴角)。
5、具有这种低关键点的现有经标记数据集可以通过应用至多68个特征点的关键点扩充来增强。为了能够实现关键点扩充，本方法依赖于dlib，应用提取代表面部显著区域(诸如眼睛、眉毛、鼻子、嘴和下颌线)的68个特征点的最先进的面部检测器。
6、考虑到大规模数据库包括经同步且经对准的可见热面部，面部特征点从可见面部提取，并被共享给热对应面部，以便用作基础真实值参考。
7、(ii)有两个实施例：
8、在一个实施例中，本专利技术将面部和特征点检测视为传统对象检测模型的子任务，并且因此可以涉及yolov5。特别地，本专利技术分别设计了一系列的两个连续yolov5模型m1和m2。m1专用于检测热成像上的整个面部，而m2用于通过主要应用“面部超分辨率”(fsr)后处理滤波器来在先前检测到的经裁剪的面部上检测68个所学习的面部关键点。优选将高斯滤波器的这种方法应用命名为后处理滤波器。通过应用这些滤波器，许多视觉细节被突出显示，从而提高了边缘质量、对比度和面部锐度，并最终允许更好的检测准确性。
9、在另一实施例中，本专利技术还将面部和特征点检测视为传统对象检测模型的子任务，并且因此可以涉及yolov5。特别地，本专利技术分别设计了一系列的两个连续yolov5模型m1和m2。这里，对来自热传感器的数据使用用于热面部恢复滤波器的预处理滤波器tfr来产生增强的图像。只有这样，网络才被馈送有经预处理且经滤波的热图像，其中m1专用于检测fn个面部的集合，并为它们中的每一个提供经裁剪的图像，而m2用于检测经裁剪的图像上已经增强的68个所学习的面部关键点和面部。通过应用这些滤波器，许多视觉细节被突出显示，从而提高了边缘质量、对比度和面部锐度，并最终允许更好的检测准确性。
10、通过采用上述方法(i)和(ii)，本专利技术能够在具有挑战性的条件下以及在野外的几乎所有热图像中检测面部和特征点。本专利技术特别提供了检测大本文档来自技高网...
【技术保护点】
1.一种热面部和特征点检测方法，包括以下步骤：
2.一种热面部和特征点检测方法，包括以下步骤：
3.根据权利要求1或2所述的热面部和特征点检测方法，其中，在所述热图像(10)中检测面部(21)的所述步骤包括应用对象检测器(30)。
4.根据权利要求3所述的热面部和特征点检测方法，其中，所述对象检测器(30)和所述特征点检测器(50)基于Yolo，尤其是YoloV5。
5.一种用于创建热面部图像(120)集合的特征点数据库作为基础真实值参考数据库的方法，包括以下步骤：
6.根据权利要求5所述的方法，其中，所述可见图像面部特征点(111至117)表示所述面部的显著区域，尤其是从包括眼睛(113、116)、眉毛(114、117)、鼻子(115)、嘴(112)和下颌线(111)的群组中选取的区域。
7.根据权利要求6所述的方法，其中，通过所述鼻子(115)的所述可见图像面部特征点的竖直对称轴来区分眼睛(113、116)的左版本和右版本的所述可见图像面部特征点。
8.根据权利要求5至7中任一项所述的方法，其
9.根据权利要求5至8中任一项所述的方法，其中，可见图像(110)-热图像(120)对的所述热图像(120)被扩充，尤其是通过引入4个圆形遮挡(132)、4个矩形遮挡(133)、低分辨率降级(134)和FSR增强(135)的集合来扩充。
10.一种热面部识别方法，包括根据权利要求5至9中任一项所述的基础真实值参考数据库的初始离线创建步骤和根据权利要求1至4中任一项所述的后续实时在线面部识别步骤。
11.将根据权利要求5至9中任一项所述的特征点基础真实值参考数据库用于注释没有参考数据的热面部数据库。
...【技术特征摘要】
【国外来华专利技术】
1.一种热面部和特征点检测方法，包括以下步骤：
2.一种热面部和特征点检测方法，包括以下步骤：
3.根据权利要求1或2所述的热面部和特征点检测方法，其中，在所述热图像(10)中检测面部(21)的所述步骤包括应用对象检测器(30)。
4.根据权利要求3所述的热面部和特征点检测方法，其中，所述对象检测器(30)和所述特征点检测器(50)基于yolo，尤其是yolov5。
5.一种用于创建热面部图像(120)集合的特征点数据库作为基础真实值参考数据库的方法，包括以下步骤：
6.根据权利要求5所述的方法，其中，所述可见图像面部特征点(111至117)表示所述面部的显著区域，尤其是从包括眼睛(113、116)、眉毛(114、117)、鼻子(115)、嘴(112)和下颌线(111)的群组中选取的区域。
7.根据权利要求6所述的...
【专利技术属性】
技术研发人员：D·安吉隆，P·福雷，C·陈，A·丹切瓦，V·斯特日科娃，
申请(专利权)人：泰雷兹数字安全法国简易股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。