一种融合多模态大模型与增强现实的老年人日常活动辅助系统技术方案

本发明专利技术公开了一种融合多模态大模型与增强现实的老年人日常活动辅助系统，涉及活动辅助领域。系统包括辅助软件和增强现实眼镜，所述辅助软件安装在与增强现实眼镜连接的智能手机终端上，通过增强现实眼镜采集多模态输入数据并送入多模态大模型中，经过多模态大模型处理后获得反馈信息并以文本和语音的形式虚拟呈现在增强现实眼镜中，所述多模态输入数据包括环境图像和文本或语音问题；所述增强现实眼镜用于采集多模态输入数据并将环境图像和多模态大模型的指导反馈信息虚拟呈现出来。本发明专利技术功能全面，具有广泛的现实应用场景，系统通过增强现实眼镜对老年人日常活动中遇到的问题提供相应的指导反馈，提高老年人活动质量。

【技术实现步骤摘要】

本专利技术涉及智慧养老领域，且更为具体地，本专利技术涉及一种融合多模态大模型与增强现实的老年人日常活动辅助系统。

技术介绍

1、人工智能(ai)和增强现实等技术的发展使其在许多领域中发挥了重要作用，包括医疗保健、教育、交通等。同时，多模态大模型的出现也在多个领域展现出非凡的能力，本专利技术在于研究多模态大模型和增强现实技术在智慧养老领域的可行性，探讨人工智能领域新的思路和方法。

2、因此，本申请通过将多模态大模型、增强现实技术与养老结合，提出一种融合多模态大模型与增强现实的老年人日常活动辅助系统及实现方法。

技术实现思路

1、本专利技术的目的是解决现有技术中的问题，而提出的一种融合多模态大模型与增强现实的老年人日常活动辅助系统。

2、一种融合多模态大模型与增强现实的老年人日常活动辅助系统，包括硬件模块、数据获取模块、用户模块、多模态大模型模块、文本－语音转换模块和数据库，所述硬件模块采用增强现实眼镜，所述用户界模块用于用户和硬件模块之间人机交互，所述数据获取模块用于获取多模态大模型的多本文档来自技高网...

【技术保护点】

1.一种融合多模态大模型与增强现实的老年人日常活动辅助系统，包括硬件模块、数据获取模块、用户模块、多模态大模型模块、文本-语音转换模块和数据库，其特征在于，所述用户界模块用于用户和硬件模块之间人机交互，所述数据获取模块用于获取多模态大模型的多模态数据，所述多模态大模型模块包括智能感知模块、微调模块、反馈信息模块，所述文本-语音转换模块用于通过使用与Eden AI API无缝同步的Eden AI Unity插件实现文本到语音和语音到文本之间的相互转换，所述数据库用于数据的储存，辅助系统还包括以下工作步骤：

2.根据权利要求1所述的一种融合多模态大模型与增强现实的老年人日常活动辅...

【技术特征摘要】

1.一种融合多模态大模型与增强现实的老年人日常活动辅助系统，包括硬件模块、数据获取模块、用户模块、多模态大模型模块、文本-语音转换模块和数据库，其特征在于，所述用户界模块用于用户和硬件模块之间人机交互，所述数据获取模块用于获取多模态大模型的多模态数据，所述多模态大模型模块包括智能感知模块、微调模块、反馈信息模块，所述文本-语音转换模块用于通过使用与eden ai api无缝同步的eden ai unity插件实现文本到语音和语音到文本之间的相互转换，所述数据库用于数据的储存，辅助系统还包括以下工作步骤：

2.根据权利要求1所述的一种融合多模态大模型与增强现实的老年人日常活动辅助系统，其特征在于：所述数据获取模块包括图像采集模块和问题获取模块；所述图像采集模块用于通过硬件模块获取用户日常活动的环境图像；所述问题获取模块用于通过硬件模块获取文本或语音形式的问题作为问答信息。

3.根据权利要求1所述的一种融合多模态大模型与增强现实的老年人日常活动辅助系统，其特征在于：所述用户模块包括智能辅助界面和历史记录界面；所述智能辅助界面包括数据获取模块输入的环境图像和问答信息，所述数据库将智能辅助界面中的环境图像和问答信息输入至历史记录界面中。

4.根据权利要求1所述的一种融合多模态大模型与增强现实的老年人日常活动辅助系统，其特征在于：所述微调模块用于从网络收集的有代表性的老年人活动场景图文问答数据，以及利用硬件模块上配备的高清摄像头和深度传感器采集的老年人当前活动环境与任务场景的rgbd数据，并对所述rgbd数据添加描述标签得到图像描述数据，然后使用所获得的图文问答数据和图像描述数据对多模态大模型进行微调，同时混入部分纯文本指令数据以弥补多模态数据的不足以...

【专利技术属性】
技术研发人员：宋天玉，付杰，张燕玲，赵瑞斌，
申请(专利权)人：滁州学院，
类型：发明
国别省市：