识别视频序列中的活的皮肤组织制造技术

根据一个方面，提供了一种用于识别视频序列中的活的皮肤组织的装置，所述装置包括：处理单元，其被配置为接收视频序列，所述视频序列包括多个图像帧；将所述图像帧中的每个划分成第一多个帧分段；形成第一多个视频子序列，每个视频子序列包括来自所述第一多个帧分段的针对所述图像帧中的两个或更多个的帧分段；将所述图像帧中的每个划分成第二多个帧分段，所述第二多个帧分段比所述第一多个帧分段包括更多数量的帧分段；形成第二多个视频子序列，每个视频子序列包括来自所述第二多个帧分段的针对所述图像帧中的两个或更多个的帧分段；分析所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列以确定针对每个视频子序列的脉动信号；并且分析所述脉动信号以识别所述视频序列中的活的皮肤组织的区。

Identifying the living skin tissue in a video sequence

【技术实现步骤摘要】
【国外来华专利技术】识别视频序列中的活的皮肤组织
本专利技术涉及用于识别视频序列中的活的皮肤组织的装置和方法。
技术介绍
近年来，已经开发出了用于执行远程光体积描记(远程PPG或rPPG)的技术。这些技术使得能够从使用成像单元(例如，相机)捕获的图像帧的视频序列获得PPG信号。期望能够处理视频序列并自动提取rPPG信号，使得能够自动监视对象。然而，这需要自动识别视频序列中的活的皮肤组织的区。作为计算机视觉的基础课题之一，在视频中检测对象的任务在过去的几十年里已经得到了广泛的研究。给定包含对象的视频序列，目标是定位与对象的身体部分相对应的区域。大多数现有的工作是利用人类外观特征来在监督训练机制中辨别对象与背景。然而，关于这些方法的一个共同问题是，他们训练的特征不是对人类独有的，任何与人类外观相似的特征都可能被错误地分类。此外，受监督的方法通常受限于已知的样本，并且当发生不可预测的样本时倾向于失败，例如，用正面训练的面部检测器不能定位从侧面观看的面部，而利用浅色皮肤的对象训练的皮肤分类器在深色皮肤对象的情况下会失败。基于rPPG技术的发展，已经观察到，与物理外观特征相比，不可见的生理特征(例如，脉动)能够更好地将视频序列中的人类与非人类区分开来。在自然环境中，只有活的对象的皮肤组织展现出脉动性，因此任何不显示脉动信号的目标都能够被安全地分类为非人类类别。这能够防止对具有与人类相似的外观的目标的错误检测，例如如图1所示。图1提供了活体组织检测技术应当如何成功操作的两个范例。在左边图像中，人类面部和人造面部被提供为面向相机，并且只有人类面部应当被识别出(尽管人造面部具有与人类面部相似的物理外观特征)，如虚线框所指示的并且该区的轮廓对应于活的皮肤组织。在右边图像中，人类面部和人造面部被提供为侧向于相机，并且只有人类面部才能被识别出。在G.Gibert和D.D'Alessandro以及F.Lance的文章“Facedetectionmethodbasedonphotoplethysmography”(10thIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance(AVSS)，第449-453页，2013年)中，设置了硬阈值以选择具有较高频谱能量的分割局部区域(例如，网格、三角形或体素)作为皮肤区域。在R.vanLuijtelaar、W.Wang、S.Stuijk和G.deHaan的文章“AutomaticROIdetectionforrPPGmeasurements”(ACCV2014，新加坡)中，使用预定义的聚类参数来对与皮肤区域共有相似性的区域进行聚类。然而，这些方法必须对皮肤区的预计尺寸做出假设以确定适当的分割，并且因此当皮肤区明显小于或大于预期时，这些方法趋于失败。因此，目的是提供一种用于识别视频序列中的活的皮肤组织的改进的方法和装置。
技术实现思路
根据第一方面，提供了一种用于识别视频序列中的活的皮肤组织的方法，所述方法包括：获得视频序列，所述视频序列包括多个图像帧；将所述图像帧中的每个划分成第一多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组；形成第一多个视频子序列，每个视频子序列包括来自所述第一多个帧分段的针对所述图像帧中的两个或更多个的帧分段；将所述图像帧中的每个划分成第二多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组，所述第二多个帧分段比所述第一多个帧分段包括更多数量的帧分段；形成第二多个视频子序列，每个视频子序列包括来自所述第二多个帧分段的针对所述图像帧中的两个或更多个的帧分段；分析所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列以确定针对每个视频子序列的脉动信号；并且一起分析针对所述第一多个视频子序列中的所述视频子序列的所述脉动信号和针对所述第二多个视频子序列中的所述视频子序列的所述脉动信号，以识别所述视频序列中的活的皮肤组织的区。在一些实施例中，所述第一多个帧分段中的所述帧分段具有相同的形状，并且所述第二多个帧分段中的所述帧分段具有相同的形状。在备选实施例中，将所述图像帧中的每个划分成所述第一多个帧分段的步骤和将所述图像帧中的每个划分成所述第二多个帧分段的步骤包括基于像素的颜色和空间相似度将所述像素分组到帧分段中。在一些实施例中，形成所述第一多个视频子序列的步骤和形成所述第二多个视频子序列的步骤包括：根据与所述多个图像帧中的两个或更多个中的对应的空间位置中的帧分段来形成每个视频子序列。在备选实施例中，形成所述第一多个视频子序列的步骤和形成所述第二多个视频子序列的步骤包括：针对每个视频子序列，从所述多个图像帧中的两个或更多个图像帧中选择帧分段，使得所述视频子序列中的所述帧分段之间的色度能量和/或空间距离能量被最小化。在一些实施例中，分析所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列以确定针对每个视频子序列的脉动信号的步骤包括：对针对帧分段中的所述像素的像素值进行平均化；并且根据针对视频子序列中的所述帧分段的经平均化的像素值来形成针对所述视频子序列的所述脉动信号。在一些实施例中，对像素值进行平均化的步骤包括：对帧分段中的像素的所述像素值进行加权，其中，所述像素值是基于所述帧分段中的所述像素的空间位置和/或与所述帧分段的中心处或所述中心附近的像素或像素的组的颜色差异而被加权的；并且对帧分段中的像素的经加权的像素值进行平均化。在一些实施例中，分析所述脉动信号的步骤包括：分析针对所述第一多个视频子序列的所述脉动信号以识别活的皮肤组织的候选区的第一集合；分析针对所述第二多个视频子序列的所述脉动信号以识别活的皮肤组织的候选区的第二集合；并且将所述候选区的第一集合与所述候选区的第二集合进行组合以识别所述视频序列中的活的皮肤组织的区。在一些实施例中，分析所述脉动信号以识别活的皮肤组织的区的步骤包括：分析所述脉动信号以确定所述脉动信号的频率特性；并且将所述脉动信号的所确定的频率特性与从活的皮肤组织的区获得的脉动信号的典型频率特性进行比较。在备选实施例中，分析所述脉动信号以识别活的皮肤组织的区的步骤包括基于针对视频子序列的所述脉动信号的相似度和/或所述视频子序列的颜色的相似度来对所述视频子序列进行空间聚类。在备选的、优选的实施例中，分析所述脉动信号以识别活的皮肤组织的区的步骤包括：针对所述第一多个视频子序列和所述第二多个视频子序列中的视频子序列，确定针对所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列中的所述脉动信号与针对所述第一多个视频子序列和所述第二多个视频子序列中的其他视频子序列中的每个的所述脉动信号之间的成对相似度；并且根据所述成对相似度来识别所述视频序列中的活的皮肤组织的区。在一些实施例中，针对脉动信号与其他脉动信号中的一个的所述成对相似度包括两个脉动信号的频谱之间的相关性的度量。在另外的实施例或备选实施例中，针对脉动信号与所述其他脉动信号中的一个的所述成对相似度包括所述两个脉动信号的所述频谱之间的归一化的互相关性的度量。在另外的实施例或备选实施例中，针对脉动信号与所述其他脉动信号中的一个的所述成对相似度包括所述两个脉动信号的所述频谱之间的相关性的正则性的度量。在本文档来自技高网...

【技术保护点】
一种用于识别视频序列中的活的皮肤组织的装置，所述装置包括：处理单元，其被配置为：获得视频序列，所述视频序列包括多个图像帧；将所述图像帧中的每个划分成第一多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组；形成第一多个视频子序列，每个视频子序列包括来自所述第一多个帧分段的针对所述图像帧中的两个或更多个的帧分段；将所述图像帧中的每个划分成第二多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组，所述第二多个帧分段比所述第一多个帧分段包括更多数量的帧分段；形成第二多个视频子序列，每个视频子序列包括来自所述第二多个帧分段的针对所述图像帧中的两个或更多个的帧分段；分析所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列以确定针对每个视频子序列的脉动信号；并且一起分析针对所述第一多个视频子序列中的所述视频子序列的所述脉动信号和针对所述第二多个视频子序列中的所述视频子序列的所述脉动信号，以识别所述视频序列中的活的皮肤组织的区。

【技术特征摘要】
【国外来华专利技术】2015.05.21 EP 15168569.01.一种用于识别视频序列中的活的皮肤组织的装置，所述装置包括：处理单元，其被配置为：获得视频序列，所述视频序列包括多个图像帧；将所述图像帧中的每个划分成第一多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组；形成第一多个视频子序列，每个视频子序列包括来自所述第一多个帧分段的针对所述图像帧中的两个或更多个的帧分段；将所述图像帧中的每个划分成第二多个帧分段，其中，每个帧分段是所述图像帧中的邻近的像素的组，所述第二多个帧分段比所述第一多个帧分段包括更多数量的帧分段；形成第二多个视频子序列，每个视频子序列包括来自所述第二多个帧分段的针对所述图像帧中的两个或更多个的帧分段；分析所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列以确定针对每个视频子序列的脉动信号；并且一起分析针对所述第一多个视频子序列中的所述视频子序列的所述脉动信号和针对所述第二多个视频子序列中的所述视频子序列的所述脉动信号，以识别所述视频序列中的活的皮肤组织的区。2.根据权利要求1所述的装置，其中，所述处理单元被配置为通过基于像素的颜色和空间相似度将所述像素分组到帧分段中来将所述图像帧中的每个划分成所述第一多个帧分段和所述第二多个帧分段。3.根据权利要求1-2中的任一项所述的装置，其中，所述处理单元被配置为：针对每个视频子序列，通过从所述多个图像帧中的两个或更多个图像帧中选择帧分段来形成所述第一多个视频子序列并形成所述第二多个视频子序列，使得所述视频子序列中的所述帧分段的色度之间的差异和/或所述帧分段的位置之间的空间距离被最小化。4.根据权利要求1-3中的任一项所述的装置，其中，所述处理单元被配置为通过以下来分析所述脉动信号：分析针对所述第一多个视频子序列的所述脉动信号以识别活的皮肤组织的候选区的第一集合；分析针对所述第二多个视频子序列的所述脉动信号以识别活的皮肤组织的候选区的第二集合；并且将所述候选区的第一集合与所述候选区的第二集合进行组合以识别所述视频序列中的活的皮肤组织的区。5.根据权利要求1-4中的任一项所述的装置，其中，所述处理单元被配置为通过以下来分析所述脉动信号以识别活的皮肤组织的区：针对所述第一多个视频子序列和所述第二多个视频子序列中的视频子序列，确定针对所述第一多个视频子序列和所述第二多个视频子序列中的所述视频子序列的所述脉动信号与针对所述第一多个视频子序列和所述第二多个视频子序列中的其他视频子序列中的每个的所述脉动信号之间的成对相似度；并且根据所述成对相似度来识别所述视频序列中的活的皮肤组织的区。6.根据权利要求1-5中的任一项所述的装置，其中，所述处理单元还被配置为根据与所述视频序列中的识别出的活的皮肤组织的区相关联的一个或多个脉动信号来确定一个或多个生理特性。7.根据权利要求1-6中的任一项所述的装置，其中，所述装置还包括：用于捕获所述视频序列的成像单元。8.一种用于识别视频序列中的活的皮肤组织的方法，所述方法包括：...

【专利技术属性】
技术研发人员：王文锦，G·德哈恩，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL