基于条件生成对抗网络和SVM的婴儿异常行为检测方法技术

基于条件生成对抗网络和SVM的婴儿异常行为检测方法属视频图像处理和深度学习技术领域，本发明专利技术通过对视频中婴儿运动轨迹进行分析判断婴儿行为是否异常，首先获取婴儿视频，进行合理长度的截取并转化为帧图像，对四肢和全身进行标记建立样本库；然后利用条件生成对抗网络对婴儿的四肢和全身进行目标跟踪；再对得到的目标运动轨迹进行小波近似波形和小波功率谱计算，将得到的特征用支持向量机SVM进行分类，综合判断；本发明专利技术对婴儿四肢和全身信息进行运动轨迹检测，比单一肢体检测信息更全面，小波域和功率谱域结合训练，使检测精确度提高，检测婴儿行为是否异常，及早进行干预，对预防婴儿脑瘫等疾病有很重要的意义。

【技术实现步骤摘要】
基于条件生成对抗网络和SVM的婴儿异常行为检测方法
本专利技术属视频图像处理和深度学习
，具体涉及一种基于条件生成对抗网络和SVM的婴儿异常行为检测方法。
技术介绍
婴儿异常行为主要是指出生五个月内，行动未见到遍布全身的加速度可变的各方向的小幅度中速运动，于年龄相适应的其他运动形式(如四肢中线运动、手膝相触、视觉搜索、手指抓弄衣服等)缺乏，整体运动流畅性欠佳。婴儿的异常行为对应着脑部有损伤，严重者可能导致脑瘫的发生，由于脑瘫疾病通常在孩子一岁至两岁后才能确诊，因此，研究早期婴儿异常行为检测并及时进行干预治疗有很强的现实意义。针对这一问题，研究人员已经提出了一些婴儿异常行为检测的方法，大致可分为三种类型：全身运动质量评估，穿戴式传感器评估，结合模式识别评估。第一种方法是对婴儿采用特定的录像方式，对录像结果利用全身运动质量评估准则判断行为是否异常，这种方式主要依靠观察，有一定的主观性。第二种方法是给婴儿穿戴传感器设备从而观察参数，但这种穿戴式方法本身对婴儿的运动就会产生一定的干扰，造成预测结果的不准确。第三种方法是利用计算机提取婴儿运动特征进行模式识别分析，这种方法不会对婴儿运动造成干扰并且具有客观性，但在提取运动特征以及识别的过程中，往往只对有限个身体部位进行了观察，没有全身整体运动的分析，具有一定的特异性。由于以上算法的缺陷，在实际应用中很难取得理想的效果，故有必要改进。
技术实现思路
本专利技术的目的在于提供一种基于条件生成对抗网络CGAN的婴儿异常行为检测方法，结合有监督的SVM分类方法，提高婴儿异常行为检测的准确率。一种基于条件生成对抗网络和SVM的婴儿异常行为检测方法，提前构建目标跟踪所需的训练样本库，利用条件生成对抗网络对婴儿四肢及全身进行目标跟踪，所述训练样本库包括婴儿标记的四肢和全身，利用小波近似波形和小波功率谱分析对运动轨迹信息进行提取，再由支持向量机SVM对其特征进行分类，包括下列步骤：1.1获取婴儿视频并进行统一预处理；1.2将步骤1.1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名；1.3婴儿运动轨迹跟踪：对步骤1.2获取到的帧图像，利用条件生成对抗网络CGAN分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：1.3.1构建目标跟踪所需的训练样本库：对步骤1.2中所获得的帧图像中婴儿的左手、右手、左腿、右腿和全身整体进行标记，带有标记的婴儿四肢和全身部位构成训练样本库，作为输入CGAN的目标数据集，相应的标签作为条件Y；1.3.2生成模型设计：将每一帧包含婴儿的图像进行随机分割，作为伪目标数据集，然后和条件Y一起通过卷积层输入判别模型器中；1.3.3判别模型设计：将目标数据集和条件Y送入判别模型进行四肢和全身的判断，再将伪目标数据集送入判别器，判断是否为目标；1.3.4判别是否是目标，计算误差，使误差符合公式，具体公式如下：优化D：maxDV(D，G)＝Ex～pdata(x)[log(D(x))]+Ez～pz(z)[log(1-D(G(z)))]优化G：minGV(D，G)＝Ez～pz(z)[log(1-D(G(z)))]其中：V(D，G)表示损失函数；pdata(x)为真实样本分布；pz(z)为伪样本分布；D(x)表示判别器中的真实样本数据；D(G(z))表示判别器中的伪样本数据；E表示求期望；根据优化条件进行模型调参，其中，生成模型G和判别模型D的参数共享；1.3.5若误差太大，则反馈到生成模型的输入，重新构建伪目标数据集，再次判断，直至找到伪目标数据集中的婴儿四肢和全身位置，记录每一帧中婴儿左手、右手、左腿、右腿和全身的位置和运动轨迹；1.4对运动轨迹信息进行分析：对步骤1.3跟踪到的婴儿四肢和全身的运动轨迹，保存运动时的连续y轴坐标变化的位置信息，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：1.4.1由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波近似波形分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；1.4.2对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息；1.5对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：1.5.1将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为-1；1.5.2将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；1.6综合婴儿异常行为判断：根据步骤1.5.2得到的最佳训练模型，对于不同的精确度设置不同的权重，进行加权判断，具体包括下列步骤：1.6.1对于步骤1.4.1得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.35；右上肢A2：0.01；左下肢A3：0.2；右下肢A4：0.35；全身A5：0.09；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：Y1＝(testlabel+predictlabel)/2其中：testlabel为测试样本的实际标签；predictlabel为测试样本预测的标签；Y2到Y5的计算方式同上；对于所得到的五个结果向量进行加权，公式如下：Y＝0.35*Y1+0.01*Y2+0.2*Y3+0.35*Y4+0.09*Y5其中：*表示乘法运算，Y即为小波细节所预测的判断值，规定一个判断标准，若-1<Y<-0.3，判断婴儿行为为异常状态，若0.3＜Y＜1，判断婴儿行为为正常状态，其余均视为判断错误状态；1.6.2对于步骤1.4.2得到的小波功率谱训练出的SVM模型，根据对四肢和全身不同的精确度设置不同的权重系数，具体为：左上肢P1：0.35；右上肢P2：0.01；左下肢P3：0.35；右下肢P4：0.2；全身P5：0.09；用X1到X5分别表示四肢和全身的判断结果向量，计算公式如下：X1＝(testlabel+predictlabel)/2其中：testlabel为测试样本的实际标签；predictlabel为测试样本预测的标签；X2到X5的计算方式同上；对于所得到的五个结果向量进行加权，公式如下：X＝0.35*X1+0.01*X2+0.35*X3+0.2*X4+0.09*X5其中：*表示乘法运算，X即为小波功率谱所预测的判断值，规定一个判断标准，若-1＜X＜-0.3，判断婴儿行为为异常状态，若0.3＜X＜1，判断婴儿行为为正常状态，其余均视为判断错误状态；对X和Y进行综合判断，若测试样本至少满足X和Y中一个条件，就认为判断结果是正确的，即可分辨出婴儿行为是否正常。步骤1.3.2和步骤1.3.3所述的生成模型设计和判别模型设计，具体包括下列步骤：2.1生成模型设计：其中设置6层卷积层，步长设为1；6层池化层，池化窗的大小为2*2；网络中应用的是纠正线性单元ReLU(RectifiedLinearUnit)激活函数，这样能获得很好的结果，同时能够获得更快的收敛速度，具体操作公式如下：F(Z)＝σ(W*Z+b)其中：W是卷积核；*是卷积运算；z是特本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络和SVM的婴儿异常行为检测方法，其特征在于，提前构建目标跟踪所需的训练样本库，利用条件生成对抗网络对婴儿四肢及全身进行目标跟踪，所述训练样本库包括婴儿标记的四肢和全身，利用小波近似波形和小波功率谱分析对运动轨迹信息进行提取，再由支持向量机SVM对其特征进行分类，包括下列步骤：1.1获取婴儿视频并进行统一预处理；1.2将步骤1.1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名；1.3婴儿运动轨迹跟踪：对步骤1.2获取到的帧图像，利用条件生成对抗网络CGAN分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：1.3.1构建目标跟踪所需的训练样本库：对步骤1.2中所获得的帧图像中婴儿的左手、右手、左腿、右腿和全身整体进行标记，带有标记的婴儿四肢和全身部位构成训练样本库，作为输入CGAN的目标数据集，相应的标签作为条件Y；1.3.2生成模型设计：将每一帧包含婴儿的图像进行随机分割，作为伪目标数据集，然后和条件Y一起通过卷积层输入判别模型器中；1.3.3判别模型设计：将目标数据集和条件Y送入判别模型进行四肢和全身的判断，再将伪目标数据集送入判别器，判断是否为目标；1.3.4判别是否是目标，计算误差，使误差符合公式，具体公式如下：优化D：maxDV(D，G)＝Ex～pdata(x)[log(D(x))]+Ez～pz(z)[log(1‑D(G(z)))]优化G：minGV(D，G)＝Ez～pz(z)[log(1‑D(G(z)))]其中：V(D,G)表示损失函数；pdata(x)为真实样本分布；pz(z)为伪样本分布；D(x)表示判别器中的真实样本数据；D(G(z))表示判别器中的伪样本数据；E表示求期望；根据优化条件进行模型调参，其中，生成模型G和判别模型D的参数共享；1.3.5若误差太大，则反馈到生成模型的输入，重新构建伪目标数据集，再次判断，直至找到伪目标数据集中的婴儿四肢和全身位置，记录每一帧中婴儿左手、右手、左腿、右腿和全身的位置和运动轨迹；1.4对运动轨迹信息进行分析：对步骤1.3跟踪到的婴儿四肢和全身的运动轨迹，保存运动时的连续y轴坐标变化的位置信息，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：1.4.1由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波近似波形分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；1.4.2对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息；1.5对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：1.5.1将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为‑1；1.5.2将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；1.6综合婴儿异常行为判断：根据步骤1.5.2得到的最佳训练模型，对于不同的精确度设置不同的权重，进行加权判断，具体包括下列步骤：1.6.1对于步骤1.4.1得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.35；右上肢A2：0.01；左下肢A3：0.2；右下肢A4：0.35；全身A5：0.09；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：Y1＝(test label+predict label)/2其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；Y2到Y5的计算方式同上；对于所得到的五个结果向量进行加权，公式如下：Y＝0.35*Y1+0.01*Y2+0.2*Y3+0.35*Y4+0.09*Y5其中：*表示乘法运算，Y即为小波细节所预测的判断值，规定一个判断标准，若‑1<Y<‑0.3,判断婴儿行为为异常状态，若0.3<Y<1,判断婴儿行为为正常状态，其余均视为判断错误状态；1.6.2对于步骤1.4.2得到的小波功率谱训练出的SVM模型，根据对四肢和全身不同的精确度设置不同的权重系数，具体为：左上肢P1：0.35；右上肢P2：0.01；左下肢P3：0.35；右下肢P4：0.2；全身P5：0.09；用X1到X5分别表示四肢和全身的判断结果向量，计算公式如下：X1＝(test label+predict label)/2其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；X2到X5的计算方式同上；对于所得到的五个结果向量进行加权，公式如下：X＝0.35*X1+0.01*X2+0.35*X3+0...

【技术特征摘要】
1.一种基于条件生成对抗网络和SVM的婴儿异常行为检测方法，其特征在于，提前构建目标跟踪所需的训练样本库，利用条件生成对抗网络对婴儿四肢及全身进行目标跟踪，所述训练样本库包括婴儿标记的四肢和全身，利用小波近似波形和小波功率谱分析对运动轨迹信息进行提取，再由支持向量机SVM对其特征进行分类，包括下列步骤：1.1获取婴儿视频并进行统一预处理；1.2将步骤1.1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名；1.3婴儿运动轨迹跟踪：对步骤1.2获取到的帧图像，利用条件生成对抗网络CGAN分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：1.3.1构建目标跟踪所需的训练样本库：对步骤1.2中所获得的帧图像中婴儿的左手、右手、左腿、右腿和全身整体进行标记，带有标记的婴儿四肢和全身部位构成训练样本库，作为输入CGAN的目标数据集，相应的标签作为条件Y；1.3.2生成模型设计：将每一帧包含婴儿的图像进行随机分割，作为伪目标数据集，然后和条件Y一起通过卷积层输入判别模型器中；1.3.3判别模型设计：将目标数据集和条件Y送入判别模型进行四肢和全身的判断，再将伪目标数据集送入判别器，判断是否为目标；1.3.4判别是否是目标，计算误差，使误差符合公式，具体公式如下：优化D：maxDV(D，G)＝Ex～pdata(x)[log(D(x))]+Ez～pz(z)[log(1-D(G(z)))]优化G：minGV(D，G)＝Ez～pz(z)[log(1-D(G(z)))]其中：V(D,G)表示损失函数；pdata(x)为真实样本分布；pz(z)为伪样本分布；D(x)表示判别器中的真实样本数据；D(G(z))表示判别器中的伪样本数据；E表示求期望；根据优化条件进行模型调参，其中，生成模型G和判别模型D的参数共享；1.3.5若误差太大，则反馈到生成模型的输入，重新构建伪目标数据集，再次判断，直至找到伪目标数据集中的婴儿四肢和全身位置，记录每一帧中婴儿左手、右手、左腿、右腿和全身的位置和运动轨迹；1.4对运动轨迹信息进行分析：对步骤1.3跟踪到的婴儿四肢和全身的运动轨迹，保存运动时的连续y轴坐标变化的位置信息，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：1.4.1由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波近似波形分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；1.4.2对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息；1.5对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：1.5.1将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为-1；1.5.2将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；1.6综合婴儿异常行为判断：根据步骤1.5.2得到的最佳训练模型，对于不同的精确度设置不同的权重，进行加权判断，具体包括下列步骤：1.6.1对于步骤1.4.1得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.35；右上肢A2：0.01；左下肢A3：0.2；右下肢A4：0.35；全身A5：0.09；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：Y1＝(testlabel+p...

【专利技术属性】
技术研发人员：王世刚，戴晓辉，赵岩，韦健，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22