一种基于视觉模型和大模型的痤疮检测与护理建议生成方法技术

技术编号:42895902 阅读:27 留言:0更新日期:2024-09-30 15:13
本发明专利技术公开一种基于视觉模型和大模型的痤疮检测与护理建议生成方法,该方法包括下述步骤:采集含有痤疮的人脸可见光图像并标注痤疮,进行数据扩充及预处理;基于MBconv和Block Attention模块搭建YoLoX目标检测网络并进行训练;基于Transformer Block搭建Unet++图像分割网络并进行训练;基于痤疮区域和各人脸区域提取痤疮特征信息;基于痤疮专业护理知识搭建向量数据库并获取向量数据库检索所得知识条目;基于痤疮特征信息与向量数据库检索所得知识条目构建输入Prompt;微调部署本地大模型生成个性化痤疮护理建议。本发明专利技术能精确捕捉提取输入皮肤图像的痤疮信息,提供个性化护理建议。

【技术实现步骤摘要】

本专利技术涉及图像处理及自然语言处理,具体涉及一种基于视觉模型和大模型的痤疮检测与护理建议生成方法


技术介绍

1、痤疮是一种常见的皮肤病,尤其在青春期和年轻人中普遍存在。传统的痤疮检测方法通常依赖于皮肤科医生的视觉检查和经验判断。医生通过肉眼观察患者的皮肤状况来识别和诊断痤疮,但这种手动检测方法存在主观性强、效率较低的问题。此外,医生的经验和技能水平对检测结果的准确性有较大影响,可能导致漏诊或误诊。

2、随着图像处理和深度学习技术的发展,一些自动化系统开始应用于痤疮的检测。基于图像处理的算法可以提高检测的效率和一致性,但现有的自动化检测技术在准确性和个性化护理建议方面仍存在局限性:(a)复杂度过高,现有的自动化检测系统在识别痤疮的位置,严重程度,数目以及类型等多种信息上采用的多个深度神经网络的方法复杂度较高,在训练阶段,较多的参数量需要耗费较多的计算以及时间成本,且在推理时的运行速度也是难以落地与各个端侧;(b)图像提取信息不够完善,虽然采用深度神经网络在较为干净的数据集上进行训练可以使得目标检测的效果较为客观,但是单纯的痤疮识别以及位置信息本文档来自技高网...

【技术保护点】

1.一种基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,并对数据集进行扩充及预处理,具体包括:

3.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,所述基于MBconv和Block Attention模块搭建YoLoX目标检测网络,具体包括:

4.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,基于Transformer Block搭建Unet++图像分割网络,具体包括:...

【技术特征摘要】

1.一种基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,并对数据集进行扩充及预处理,具体包括:

3.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,所述基于mbconv和block attention模块搭建yolox目标检测网络,具体包括:

4.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,基于transformer block搭建unet++图像分割网络,具体包括:

5.根据权利要求1所述的基于视觉模型和大模型的痤疮检测与护理建议生成方法,其特征在于,基于训练数据集对yolox目标检测网络及unet++图像分割网络进行训练,损失函数表示为:

6.根据权利要求1所述的基于视觉模型...

【专利技术属性】
技术研发人员:向友君陈铭宇李翊恺唐瑞胡俊承宋弘健
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1