一种基于多模态融合的肌肤作业安全监测方法技术

本发明专利技术公开了一种基于多模态融合的肌肤作业安全监测方法，该方法包括：获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；构建识别人脸表情的卷积神经网络，将人脸图像输入卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；对语音信息进行语音识别，获得文本语义，基于情感词典对文本语义进行识别，获得第二基本信度赋值函数；基于控制图对力数据进行状态识别，获得第三基本信度赋值函数；对获得的三个基本信度赋值函数进行融合，获得输出结果。本发明专利技术对作业对象的多模态信息进行监测，避免在操作过程中人体受到伤害，同时判别肌肤作业时人体舒适度，为个性化作业操作提供有价值的信息。本发明专利技术可广泛应用于安全监测领域。监测领域。监测领域。

【技术实现步骤摘要】
一种基于多模态融合的肌肤作业安全监测方法


[0001]本专利技术涉及安全监测领域，尤其涉及一种基于多模态融合的肌肤作业安全监测方法。

技术介绍

[0002]在中国，随着人口老龄化、社会竞争压力变大，医疗康复机构、美容按摩院等行业得到发展，由于人工成本高、作业人员水平参差不齐、培训成本高等问题，在进行人体肌肤作业时，不可避免地存在各种异常发生，例如：按压力过大、移动速度或加速度过大等等，容易造成皮肤疼痛、人体损伤、威胁人体身心健康甚至危害人身安全。
[0003]由于人体肌肤有复杂的生物力学特性，还具有触觉感受器，当肌肤作业装置末端以一定姿态施加一定的作用力按一定速度在肌肤表面运动时，皮肤受到这种机械刺激会引起用户不同程度的触觉感受，除了要考虑安全性外，还需考虑用户生理和心理感知的舒适程度。因此为了保证人体安全与提升人体舒服度，需要对人体肌肤交互作业过程进行监测。由于基因、性别、年龄、胖瘦等个性化差异导致肌肤的力学特性和对外界刺激的触觉感知存在差异，在监测过程中仅对单模态信息(如触觉)进行监测不足以监测到个性化差异，因此需要对多模态信息进行监测。
[0004]不同于对机器故障的监测，涉及到人体的安全监测要求更高，更为复杂。现有的美容仪器较少配置用于安全监测的传感器，主要依靠人工操作，存有一定隐患；面向患者的医疗康复机器人一般采用力传感器、脑电信号传感器等获取输入信号，使用握手辅助肢体作业；人体按摩机器人一般使用视觉传感器获取信息，利用力传感器辅助以监测按摩作业。在与人协作、以人为作业对象的机器人任务中，针对触觉、视觉、听觉等多模态异常监测，有学者使用了隐马尔科夫模型、变分自编码器网络、随机森林模型等方法，但其构建模型过程过于复杂，且针对各模态准确性不够高。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多模态融合的肌肤作业安全监测方法，针对人体肌肤作业过程，在确保操作安全的同时，通过调整作业参数提高肌肤作业的准确性和人体舒适度。
[0006]本专利技术所采用的技术方案是：
[0007]一种基于多模态融合的肌肤作业安全监测方法，包括以下步骤：
[0008]获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；
[0009]构建识别人脸表情的卷积神经网络，将所述人脸图像进行数据增强后输入所述卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；
[0010]对所述语音信息进行语音识别，获得文本语义，基于情感词典对所述文本语义进行识别，获得第二基本信度赋值函数；
[0011]基于控制图对所述力数据进行状态识别，获得第三基本信度赋值函数；
[0012]对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，获得输出结果；
[0013]其中，将视觉、语音以及力觉这三个模态的识别结果分为n个等级，针对每个模态识别后，获得n个等级的对应的置信度，将所述置信度作为基本信度赋值函数。
[0014]进一步，获取所述人脸图像后，对所述人脸图像进行以下处理：
[0015]利用harr特征分类器检测人脸图像中的人脸区域，截取所述人脸区域，并对截取后的人脸区域进行大小调整、灰度化处理以及缩放处理。
[0016]进一步，获取所述力数据后，对所述力数据进行以下处理：
[0017]利用滑动窗口对所述力数据进行降噪处理，以避免噪声干扰造成误判。
[0018]进一步，所述对所述语音信息进行语音识别，获得文本语义，包括：
[0019]将所述语音信息转换为wav文件，根据wav文件进行语音识别，获得文本语义；
[0020]若获得的文本语义为空，则不对语音模态进行后续识别。
[0021]进一步，所述卷积神经网络为人脸表情识别模型，所述人脸表情识别模型采用CK人脸表情识别库进行训练，获得模型的训练权重。
[0022]进一步，所述基于情感词典对所述文本语义进行识别，包括：
[0023]针对所述文本语义，根据停用词表去除停用词；
[0024]基于sentence
‑
bert模型对所述文本语义与情感词典进行句子嵌入计算，采用余弦相似度进行相似度计算，获取与所述文本语义最匹配的句子，选取所述最匹配的句子对应的状态作为识别结果。
[0025]进一步，所述n个等级包括舒适、稍不适、不适以及伤害这四个等级；
[0026]所述基于控制图对所述力数据进行状态识别，包括：
[0027]将舒适阈值设为DL，伤害阈值设为UL，且DL＜UL；
[0028]从力数据中获取连续的m个采样点，若m个采样点中存有一个采样点的数值大于UL，则判定为伤害；若m个采样点的数值都小于DL，则判定为舒适；若m个采样点的数值均大于DL，且小于UL，则判定为不适；若m个采样点中，部分采样的数值小于DL，另一部分采样点的数值大于DL，则判定为稍不适。
[0029]进一步，在每个模态识别后，为了分配规则中避免一票否决，引入不确定度δ；
[0030]视觉模态中卷积神经网络获得各状态的概率加上不确定度δ作为视觉模态的基本信度赋值函数；语音模态与力觉模态识别状态后的基本信度赋值函数表根据预设的规则匹配选取。
[0031]进一步，所述对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，包括：
[0032]采样DSmT理论中的PCR2组合规则，对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合。
[0033]进一步，所述n个等级包括舒适、稍不适、不适以及伤害这四个等级；
[0034]所述肌肤作业安全监测方法，还包括改进DSmT的步骤：
[0035]针对基于PCR2原则的融合方法，设计标准离差法的自适应加权方法，计算不适与伤害状态的的均方差，利用均方差对融合后的概率赋值进行加权处理，以给予危险状态更大的权重。
[0036]本专利技术的有益效果是：本专利技术综合考虑了人体个性化差异、人体感受度、操作安全性等进行多模态安全监测，视觉模态利用卷积神经网络分类器进行识别，语音模态利用情感词典进行识别，力觉模态利用控制图进行识别；各模态识别结果按人体舒适度分类，构建基本信度赋值函数；进行多模态融合，实现肌肤作业的多模态安全监测。
附图说明
[0037]为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0038]图1本专利技术实施例中基于多模态融合的肌肤作业安全监测方法的作业流程图；
[0039]图2本专利技术实施例中基于多模态融合的肌肤作业安全监测方法的装置结构图；...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的肌肤作业安全监测方法，其特征在于，包括以下步骤：获取人脸图像、语音信息以及肌肤操作仪器输出的力数据；构建识别人脸表情的卷积神经网络，将所述人脸图像进行数据增强后输入所述卷积神经网络的分类器中进行识别，获得第一基本信度赋值函数；对所述语音信息进行语音识别，获得文本语义，基于情感词典对所述文本语义进行识别，获得第二基本信度赋值函数；基于控制图对所述力数据进行状态识别，获得第三基本信度赋值函数；对所述第一基本信度赋值函数、所述第二基本信度赋值函数和所述第三基本信度赋值函数进行融合，获得输出结果；其中，将视觉、语音以及力觉这三个模态的识别结果分为n个等级，针对每个模态识别后，获得n个等级的对应的置信度，将所述置信度作为基本信度赋值函数。2.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，获取所述人脸图像后，对所述人脸图像进行以下处理：利用harr特征分类器检测人脸图像中的人脸区域，截取所述人脸区域，并对截取后的人脸区域进行大小调整、灰度化处理以及缩放处理。3.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，获取所述力数据后，对所述力数据进行以下处理：利用滑动窗口对所述力数据进行降噪处理，以避免噪声干扰造成误判。4.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述对所述语音信息进行语音识别，获得文本语义，包括：将所述语音信息转换为wav文件，根据wav文件进行语音识别，获得文本语义；若获得的文本语义为空，则不对语音模态进行后续识别。5.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述卷积神经网络为人脸表情识别模型，所述人脸表情识别模型采用CK人脸表情识别库进行训练，获得模型的训练权重。6.根据权利要求1所述的一种基于多模态融合的肌肤作业安全监测方法，其特征在于，所述基于情感词典对所述文本语义进行识别，包括：针对所述文本语义，根据停用词表去除停...

【专利技术属性】
技术研发人员：翟敬梅，彭德祥，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：