【技术实现步骤摘要】
本专利技术涉及神经网络，特别涉及一种面向脑瘫儿童的语音和面部表情数据处理方法及系统。
技术介绍
1、脑瘫（cerebral palsy），全称脑性瘫痪，是引起小儿机体运动残疾的主要疾病之一，大多数脑瘫儿童行为表达有限，难以被察觉，导致脑瘫儿童常伴有的抑郁、焦虑、悲伤和淡漠等精神心理问题被忽视，因此及时、有效的针对脑瘫儿童进行抑郁的早期筛查和干预，对改善患者康复和长期预后十分必要。
2、目前对脑瘫儿童的抑郁程度进行度量的方式主要依赖于量表，包括《力量和困难问卷》（sdq和简明婴幼儿社会情感评估表 (bitsea)等，虽然这些量表已经过一系列的临床验证具有较好的信度和效度，其仍具有以下不足：（1）主要依赖于父母或照顾者的报告，容易受到主观因素的影响。脑瘫儿童的行为表达往往有限，父母或照顾者可能无法准确地评估其情绪状态；（2）难以捕捉脑瘫儿童情绪的微妙变化；（3）评估操作相对不方便。
技术实现思路
1、基于此，本申请实施例提供了一种面向脑瘫儿童的语音和面部表情数据处理方法及系统，能够基于语音和面部表情数据对目标用户进行评分，从而辅助医生对目标用户的心理状态进行判断。
2、第一方面，提供了一种面向脑瘫儿童的语音和面部表情数据处理方法，该方法包括：
3、通过摄像头和麦克风来采集目标用户的视频和语音数据；
4、对视频和语音数据进行预处理操作；具体地对视频进行预处理操作包括采用预先训练好的mtcnn模型来识别视频中的人脸，并将检测出的人脸进行追踪及
5、将经过预处理的视频输入到3d的cnn中、音频数据对应的mel频率谱输入到2d的cnn中使用双向注意力机制来处理视频内部和音频内部不同时间点的相关性得到目标用户的状态评分结果；其中，所述状态评分结果用以表征目标用户的心理健康状态。
6、可选地，采用预先训练好的mtcnn模型来识别视频中的人脸，并将检测出的人脸进行追踪及对齐，具体包括：
7、将每一帧的图像进行不同尺度的缩放，以构建图像金字塔；
8、对于金字塔中的每个尺度，将视频图像传递给p-net；其中，p-net是完全卷积网络；用于检测视频图像中的各种比例的人脸，其使用边界框回归向量来校准各种尺度图像上收集的候选窗口，并应用非最大抑制来过滤高度重叠的候选窗口；
9、将p-net处理后的候选窗口传递到r-net中；其中r-net包括一个密集层，并通过边界框回归进行校准，并使用非最大值抑制来合并重叠的候选窗口，r-net输出信息包括输入是否是人脸、包含人脸的边界框以及面部关键点的位置；
10、将r-net输出信息进行修正，进一步确定面部关键点特征信息；其中，面部关键点具体包括眼睛、鼻子和嘴巴；
11、根据所述面部关键点特征信息计算出对应变换矩阵，将检测到的人脸对齐到标准大小和位置；
12、遍历视频中的所有视频帧，直到完成整个视频的处理。
13、可选地，将p-net处理后的候选窗口传递到r-net中，具体包括：
14、获取候选窗口坐标和大小信息；
15、修正边界框坐标；
16、根据修正后的边界框坐标坐标，在原始测试图像上裁剪出相应的图像块；
17、对裁剪并调整大小后的图像块进行归一化操作；
18、将经过归一化操作的图像块输入到r-net中，通过r-net对图像块进行处理并预测出人脸边界框的偏移量和概率；
19、根据r-net的输出概率，筛选出具有高概率的候选窗口；
20、对保留的候选窗口应用nms算法，以过滤掉高度重叠的窗口；
21、并对通过nms筛选的边界框进行进一步的校准；其中，进一步的校准包括将边界框转换为正方形；四舍五入边界框的坐标，以获得整数值的坐标；将边界框的坐标还原到原始图像的坐标空间；最终的人脸检测结果保存在 bboxes 数组中，每个边界框包含了修正后的坐标、置信度分数和其他信息。
22、可选地，将r-net输出信息进行修正，进一步确定面部关键点特征信息，包括：
23、确定图像块大小和数量；
24、使用correct_bboxes函数修正边界框；
25、创建空的图像块数组，用于存储裁剪和调整大小后的图像块；
26、遍历每个候选窗口，在原始测试图像中复制像素值裁剪并复制对应的像素区域，使用插值法调整到指定大小，并将处理后的图像块存储进图像块数组；
27、将处理后的图像块输入到o-net中，o-net用于对图像块进行处理并预测出人脸边界框的偏移量、概率和面部关键点位置；
28、根据o-net输出的概率，筛选出具有高概率的候选窗口；
29、根据o-net的输出，更新边界框的得分，并保留这些得分；同时，取面部关键点的位置坐标；
30、使用更新后的边界框信息，计算面部关键点在原始测试图像上的坐标位置；
31、对通过概率筛选后的边界框进行进一步的校准，通常包括对边界框应用修正偏移；然后使用nms算法对保留的边界框应用非最大抑制；
32、获取面部关键点特征信息，包括了更新后的边界框信息和面部关键点位置。
33、可选地，根据所述面部关键点特征信息计算出对应变换矩阵，将检测到的人脸对齐到标准大小和位置，包括：
34、左右眼坐标提取：从输入图像中提取左眼和右眼的坐标；
35、确定旋转方向：根据左眼和右眼的坐标，确定旋转的方向；
36、计算三角形边长：通过左眼、右眼和第三个点之间的坐标差来计算三角形的边长；
37、应用余弦定理：使用余弦定理来计算旋转角度；
38、旋转图像：根据旋转方向和计算得到的角度，将输入图像旋转相应的角度；
39、返回旋转后的图像：将旋转后的图像作为函数的输出。
40、可选地，对语音数据进行预处理操作包括对于语音数据进行切片，并将切片后的音频序列转换为对应mel语谱图，包括：
41、通过预加重、分帧、加窗、短时傅里叶变换获得音频序列的频域线性谱，然后采用mel滤波器组进一步将频域线性谱转换为mel语谱图。
42、可选地，所述预加重过程具体包括：
43、通过对每个音频样本进行差分运算来实现，通过公式
44、y[n]=x[n]-α·x[n-1]
45、确定预加重后的信号；其中，x[n]是音频帧，α是预加重系数。
46、可选地，所述分帧、加窗过程具体包括：
47、将预加重后的音频信号分成短时帧；
48、将每个分帧后的音频帧会与窗函数进行逐元素相乘，其中，窗函数本文档来自技高网...
【技术保护点】
1.一种面向脑瘫儿童的语音和面部表情数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用预先训练好的MTCNN模型来识别视频中的人脸，并将检测出的人脸进行追踪及对齐，具体包括：
3.根据权利要求2所述的方法，其特征在于，将P-Net处理后的候选窗口传递到R-Net中，具体包括：
4.根据权利要求2所述的方法，其特征在于，将R-Net输出信息进行修正，进一步确定面部关键点特征信息，包括：
5.根据权利要求2所述的方法，其特征在于，根据所述面部关键点特征信息计算出对应变换矩阵，将检测到的人脸对齐到标准大小和位置，包括：
6.根据权利要求1所述的方法，其特征在于，对语音数据进行预处理操作包括对于语音数据进行切片，并将切片后的音频序列转换为对应Mel语谱图，包括：
7.根据权利要求6所述的方法，其特征在于，所述预加重过程具体包括：
8.根据权利要求6所述的方法，其特征在于，所述分帧、加窗过程具体包括：
9.根据权利要求6所述的方法，其特征在于，短时傅里叶变换
10.一种面向脑瘫儿童的语音和面部表情数据处理系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种面向脑瘫儿童的语音和面部表情数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用预先训练好的mtcnn模型来识别视频中的人脸，并将检测出的人脸进行追踪及对齐，具体包括：
3.根据权利要求2所述的方法，其特征在于，将p-net处理后的候选窗口传递到r-net中，具体包括：
4.根据权利要求2所述的方法，其特征在于，将r-net输出信息进行修正，进一步确定面部关键点特征信息，包括：
5.根据权利要求2所述的方法，其特征在于，根据所述面部关键点特征信息计算出对应变换矩阵...
【专利技术属性】
技术研发人员：韩伟，韩欣冶，雷少元，王朵，王培申，成彦文，
申请(专利权)人：北京岷德生物科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。