基于多模态深度学习的帕金森病患智能辅助进食系统技术方案

本发明专利技术公开一种基于多模态深度学习的帕金森病患智能辅助进食系统，图像采集单元用于采集食物所在的桌面图像、用户脸部图像；语音交互单元用于采集并识别用户的语音指令信息；机械执行单元用于拿取目标食物，并将目标食物输送至用户嘴部；处理器用于接收语音指令信息，控制图像采集单元采集桌面图像并进行处理，识别出目标食物，同时规划出目标食物的拿取路径，然后控制机械执行单元按照拿取路径拿取目标食物到预定位置，再控制图像采集单元采集用户脸部图像，并对用户脸部图像进行处理，识别嘴部的开合状态，同时识别出张嘴时刻对应的用户头部位姿，最后根据用户头部位姿，微调机械执行单元的末端位置，确保目标食物顺利送入用户嘴里。

【技术实现步骤摘要】

本专利技术属于自动化控制的，具体涉及一种基于多模态深度学习的帕金森病患智能辅助进食系统。

技术介绍

1、帕金森病是一种常见的神经系统退行性疾病，患者常表现为肢体震颤、肌肉僵硬及运动迟缓等症状，这些症状严重影响患者日常生活自理能力甚至无法单独完成进食这项维持生命的基本活动。

2、针对此需求，现有
已涌现出一些辅助进食解决方案，一类是旨在增强患者自身能力的设备，如内置震颤抵消功能的餐具，它们在一定程度上缓解了症状影响，但仍要求用户具备相当的手部控制能力，且现行辅助装置缺乏针对帕金森患者特有症状的适应性设计，无法根据患者头部位置实时调整末端执行器朝向，导致进食过程中食物难以精确送达口腔；另一类是基础语音交互系统，但此类产品目前在处理帕金森患者可能存在的语音不清晰问题时表现欠佳，识别准确率显著下降。从系统架构角度看，现有辅助进食装置多为独立功能模块简单组合，集成度低，系统间协同性差，无法提供流畅一体化的辅助进食体验，严重影响了患者的使用体验和生活质量。

技术实现思路

1、本专利技术提供了一种基于多模本文档来自技高网...

【技术保护点】

1.一种基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：包括处理器、图像采集单元、语音交互单元、机械执行单元，

2.根据权利要求1所述的基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：采用第一神经网络对目标食物进行识别，采用第二神经网络识别嘴部的开合状态。

3.根据权利要求2所述的基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：所述第一神经网络设置为第一YOLOv5网络，其通过CSPDarknet53骨干网络提取多尺度特征，结合嵌入了SPP模块的PANet特征融合网络对多尺度特征进行特征融合，以完成目标食物识别；

4...

【技术特征摘要】

1.一种基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：包括处理器、图像采集单元、语音交互单元、机械执行单元，

2.根据权利要求1所述的基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：采用第一神经网络对目标食物进行识别，采用第二神经网络识别嘴部的开合状态。

3.根据权利要求2所述的基于多模态深度学习的帕金森病患智能辅助进食系统，其特征在于：所述第一神经网络设置为第一yolov5网络，其通过cspdarknet53骨干网络提取多尺度特征，结合嵌入了spp模块的panet特征融合网络对多尺度特征进行特征融合，以完成目标食物识别；

4.根据权利要求1所述的基于多模态深度学习的帕金森病患智能辅...

【专利技术属性】
技术研发人员：安康，李汉亭，赵雯锦，管融，房家辉，张会，宋亚庆，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：