【技术实现步骤摘要】
一种基于多模态融合的肌肤作业安全监测方法
[0001]本专利技术涉及安全监测领域，尤其涉及一种基于多模态融合的肌肤作业安全监测方法。
技术介绍
[0002]在中国，随着人口老龄化、社会竞争压力变大，医疗康复机构、美容按摩院等行业得到发展，由于人工成本高、作业人员水平参差不齐、培训成本高等问题，在进行人体肌肤作业时，不可避免地存在各种异常发生，例如：按压力过大、移动速度或加速度过大等等，容易造成皮肤疼痛、人体损伤、威胁人体身心健康甚至危害人身安全。
[0003]由于人体肌肤有复杂的生物力学特性，还具有触觉感受器，当肌肤作业装置末端以一定姿态施加一定的作用力按一定速度在肌肤表面运动时，皮肤受到这种机械刺激会引起用户不同程度的触觉感受，除了要考虑安全性外，还需考虑用户生理和心理感知的舒适程度。因此为了保证人体安全与提升人体舒服度，需要对人体肌肤交互作业过程进行监测。由于基因、性别、年龄、胖瘦等个性化差异导致肌肤的力学特性和对外界刺激的触觉感知存在差异，在监测过程中仅对单模态信息(如触觉)进行监测不足以监测到个性化差异，因此...
【技术保护点】
【技术特征摘要】
1.一种基于多模态融合的肌肤作业安全监测方法，其特征在于，包括以下步骤：获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；构建识别人脸表情的卷积神经网络，将所述人脸图像进行数据增强后输入所述卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；对所述语音信息进行语音识别，获得文本语义，基于情感词典对所述文本语义进行识别，获得第二基本信度赋值函数；基于控制图对所述力数据进行状态识别，获得第三基本信度赋值函数；对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，获得输出结果；其中，将视觉、语音以及力觉这三个模态的识别结果分为n个等级，针对每个模态识别后，获得n个等级的对应的置信度，将所述置信度作为基本信度赋值函数。2.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，获取所述人脸图像后，对所述人脸图像进行以下处理：利用harr特征分类器检测人脸图像中的人脸区域，截取所述人脸区域，并对截取后的人脸区域进行大小调整、灰度化处理以及缩放处理。3.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，获取所述力数据后，对所述力数据进行以下处理：利用滑动窗口对所述力数据进行降噪处理，以避免噪声干扰造成误判。4.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述对所述语音信息进行语音识别，获得文本语义，包括：将所述语音信息转换为wav文件，根据wav文件进行语音识别，获得文本语义；若获得的文本语义为空，则不对语音模态进行后续识别。5.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述卷积神经网络为人脸表情识别模型，所述人脸表情识别模型采用CK人脸表情识别库进行训练，获得模型的训练权重。6.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述基于情感词典对所述文本语义进行识别，包括：针对所述文本语义，根据停用词表去除停...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。