一种帕金森患者面部表情低迷的检测方法技术

本发明专利技术公开了一种基于VS‑C3D网络的帕金森患者面部表情低迷的检测方法，具体过程如下：首先，对面部视频进行人脸捕捉，裁剪掉与面部无关的区域，留下包含人脸的图像序列作为输入数据；接着，输入图像序列被分为两条通道：一条通道由RGB彩色图像序列构成，另一条通道是从RGB彩色图像中提取的光流图像；然后，VS‑C3D网络中的VEL算法切分了包含脸部活动的视频片段，去除了视频中无表情区域；最后，VGGV网络提取了脸部活动的时空特征，将脸部活动的拟态表示数字化，并通过这些时空特征区分患有面部表情低迷症状的帕金森患者和正常对照对象。综上所述，该发明专利技术实现了高准确率识别帕金森的面部表情低迷症状。

A detection method of facial expression depression in Parkinson's disease

【技术实现步骤摘要】
一种帕金森患者面部表情低迷的检测方法
本专利技术涉及帕金森的医疗决策支持
，涉及一种基于VS-C3D网络的帕金森患者面部表情低迷(hypomimia)的检测方法。
技术介绍
帕金森的面部表情低迷(hypomimia)是计算机视觉领域的一个典型应用，它在智能医疗、疾病监控、远程诊断等领域占据着重要地位。可是，因为最近的工作一直是基于静态图像发展的，因此，近两年来帕金森的面部表情低迷(hypomimia)检测技术一直停滞不前。本专利技术实现了从基于静态图像识别帕金森面部表情低迷(hypomimia)到基于动态视频片段探索帕金森面部表情低迷(hypomimia)模式的变革。当然，本专利技术是一个极其困难的工作。这是因为本专利技术不仅需要生成动态可变长度的视频片段，提取能捕捉帕金森面部表情低迷(hypomimia)渐进式僵化过程的时空表示，而且本专利技术可视化了一些病理现象。可是，大多数方法仍然沿用早期的几何特征、HOG特征等，并将这些手制特征放进一些分类器进行训练分类。显然，这些传统的方法有以下缺点：1)首先，他们没有意识到帕金森的面部表情低迷(hypomimia)是一个渐进式僵化过程。因此，他们没有使用动态视频片段，他们仍然依赖静态图像来量化面部表情低迷(hypomimia)活动。一旦他们的模型遭遇了一个面无表情的图片时，传统的方法极易误判，导致较差的检测性能。2)传统的手制表示集中于局部区域而不是全局，现如今，已经出现了大量依赖于面部器官结构的表示。这样的表示可能不是最优的，因为他们忽略了面部表情低迷(hypomimia)的感兴趣区域，例如：脸颊。3)设计这些手制表示需要大量专业知识，这对帕金森的面部表情低迷(hypomimia)检测研究者来说，门槛太高。下面是传统帕金森面部表情低迷(hypomimia)检测方法的一个简要描述。传统的检测方法开始于Katsikitis等人的一个面部轮廓的数学模型，在他的工作之后出现了各种各样的面部特征，随后，大多数检测方法都在他们的方法上进行改进。Katsikitis等人构建了一个面部参考模型作为对照，从垂直方向和水平方向度量面部肌肉基于参考模型的运动。为了简化这个模型，Grammatikopoulou等人使用面部关键点代替了之前的脸部轮廓模型中的线条。基于面部关键点，Andrea采用普氏分析构建了一个平均脸部模板作为中性参考模型，并计算了基于静态图像的面部表情和中性参考模型之间的距离。借助于统计分析，Andrea证明了健康人的面部表情变化幅度大于帕金森患者。可是，Andrea设计的一些手制特征在检测面部表情低迷(hypomimia)时运动距离较小，对检测贡献较小。因此，Shinde选择强表现力的脸部器官——眼睛作为检测目标，构建直方图来探索睁眼和闭眼过程。Shinde发现了健康人的眨眼率约为每分钟二十次，帕金森患者每分钟十次或者更少。显然，上面的方法使用手制特征对静态图像进行数学建模，很少挖掘帕金森面部表情低迷(hypomimia)的渐进式僵化过程。而且，以前的方法集中于量化类似于面部器官的局部地区，而没有捕捉全局面部表示。活动模式检测将会是静态图像检测的互补措施。另外，现有的方法主要采用静态图像和传统手制特征相结合的检测方法，很少采用深度网络等方法。这是因为帕金森面部表情低迷(hypomimia)检测属于临床医疗决策支持，非常重视病理机制的解释，因此，他们很少采用深度网络等这些不可解释的方法。该专利技术可能是第一个尝试使用深度学习方法和视频片段来检测帕金森面部表情低迷(hypomimia)，并给出可视化解释的方法。
技术实现思路
本专利技术提供了一种基于VS-C3D网络的帕金森患者面部表情低迷(hypomimia)的检测方法，VS-C3D网络基于面部视频从空间和时间两个角度实现了帕金森面部表情低迷(hypomimia)的检测。首先，本专利技术提出的VS-C3D网络捕捉了可变的内容依赖的视频片段，接着，提取了面部活动的时空表示，最后，本专利技术给出了VS-C3D网络决策的可视化说明。一种基于VS-C3D网络的帕金森患者面部表情低迷(hypomimia)的检测方法，VS-C3D，全称VariableSegmentConvolutional3DNetworks，可变片段卷积3D网络，主要利用VEL算法获取可变视频片段，并对可变视频片段进行学习获取强表现力特征，进行面部表情低迷的检测。包括如下步骤：1)人脸检测；2)将人脸检测后捕捉的人脸图像序列输入到二流通道(two-stream)中，二流通道的第一条通道直接接收人脸图像序列形成空间RGB图像序列，二流通道的第二条通道通过光流图提取器将人脸图像序列转换为时间光流图像序列；3)将步骤2)获得的空间RGB图像序列通过VEL算法分割得到空间可变长度的视频片段，形成各个面部活动的起始点，利用各个面部活动的起始点对步骤2)获得的时间光流图像序列分割，得到光流的可变长度视频片段；所述的VEL算法如式(1)所示：LN*M＝αMinSeg*AN*M+(1-α)*LFA·*keyvalue(1)式(1)中，L是最终的视频片段长度，LN*M是一个N*M维的矩阵，LN*M表示N个最多包含M个脸部活动的视频片段长度，MinSeg表示视频长度下限，t是默认的公开数据集帧率，f表示待检测视频帧率，AN*M是N*M维的向量，AN*M中各元素数值均为1，作为辅助矩阵，α是调整系数，LFA表示所有视频片段长度集合，keyvalue为包含1和/或0元素的集合，keyvalue中元素为1表示1对应的脸部活动片段之中的图像序列都是有效的活动发生区域，keyvalue中元素为0表示0对应的脸部活动片段之中的图像序列没有有效的活动发生区域。4)通过3D卷积神经网络对步骤3)获得的空间可变长度的视频片段和光流的可变长度视频片段进行训练，得到判断面部表情是否低迷的训练网络；5)采用步骤4)的判断面部表情是否低迷的训练网络对帕金森患者面部表情低迷情况进行检测，得到检测结果。本专利技术中，首先，该专利技术使用MTCNN算法对面部视频进行人脸捕捉，裁剪掉与面部无关的区域，留下包含人脸的图像序列作为输入数据；接着，输入图像序列被分为两条通道：一条通道由RGB彩色图像序列构成，另一条通道是从RGB彩色图像中提取的光流图像；然后，VS-C3D网络中的VEL算法切分了包含脸部活动的视频片段，去除了视频中无表情区域；最后，VGGV网络提取了脸部活动的时空特征，将脸部活动的拟态表示数字化，并通过这些时空特征区分患有面部表情低迷症状(hypomimia)的帕金森患者和正常对照对象。该专利技术实现了高准确率识别帕金森的面部表情低迷症状(hypomimia)。步骤1)中，所述的人脸检测包括：人脸检测从原始脸部视频中提取人脸部分，去除背景、服饰、椅子等与检测目标无关的物体，将脸部活动视频转换成仅包含人脸图像序列(即人脸的串行图像序列)。所述的人脸检测采用MTCNN算法。步骤2)中，二流通道(two-stream)直接将人脸检测提取的原始串行图像序列作为二本文档来自技高网...

【技术保护点】
1.一种帕金森患者面部表情低迷的检测方法，其特征在于，包括如下步骤：/n1)人脸检测；/n2)将人脸检测后捕捉的人脸图像序列输入到二流通道中，二流通道的第一条通道直接接收人脸图像序列形成空间RGB图像序列，二流通道的第二条通道通过光流图提取器将人脸图像序列转换为时间光流图像序列；/n3)将步骤2)获得的空间RGB图像序列通过VEL算法分割得到空间可变长度的视频片段，形成各个面部活动的起始点，利用各个面部活动的起始点对步骤2)获得的时间光流图像序列分割，得到光流的可变长度视频片段；/n4)通过3D卷积神经网络对步骤3)获得的空间可变长度的视频片段和光流的可变长度视频片段进行训练，得到判断面部表情是否低迷的训练网络；/n5)采用步骤4)的判断面部表情是否低迷的训练网络对帕金森患者面部表情低迷情况进行检测，得到检测结果。/n

【技术特征摘要】
1.一种帕金森患者面部表情低迷的检测方法，其特征在于，包括如下步骤：
1)人脸检测；
2)将人脸检测后捕捉的人脸图像序列输入到二流通道中，二流通道的第一条通道直接接收人脸图像序列形成空间RGB图像序列，二流通道的第二条通道通过光流图提取器将人脸图像序列转换为时间光流图像序列；
3)将步骤2)获得的空间RGB图像序列通过VEL算法分割得到空间可变长度的视频片段，形成各个面部活动的起始点，利用各个面部活动的起始点对步骤2)获得的时间光流图像序列分割，得到光流的可变长度视频片段；
4)通过3D卷积神经网络对步骤3)获得的空间可变长度的视频片段和光流的可变长度视频片段进行训练，得到判断面部表情是否低迷的训练网络；
5)采用步骤4)的判断面部表情是否低迷的训练网络对帕金森患者面部表情低迷情况进行检测，得到检测结果。


2.根据权利要求1所述的帕金森患者面部表情低迷的检测方法，其特征在于，步骤1)中，所述的人脸检测包括：
人脸检测从原始脸部视频中提取人脸部分，将脸部活动视频转换成仅包含人脸图像序列。


3.根据权利要求1所述的帕金森患者面部表情...

【专利技术属性】
技术研发人员：苏鸽，尹建伟，林博，罗巍，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33