一种基于多模态机器学习的皮肤病分析方法技术

本发明专利技术属于医疗技术领域，具体涉及一种基于多模态机器学习的皮肤病分析方法。通过收集并建立信息库构建用于机器学习的数据集，进而构建和训练多模态深度学习神经网络模型，用于皮肤病的分析，还可以加入人机交互界面，构建常见皮肤病智能分析系统，提供皮肤病的居家诊断分析途径。本发明专利技术的方法简便易行，价格低廉，操作简单，无需专业的电力设备，适用于室内采集，并解决了患者就医难的问题。并解决了患者就医难的问题。

【技术实现步骤摘要】
一种基于多模态机器学习的皮肤病分析方法


[0001]本专利技术属于医疗
，具体涉及一种基于多模态机器学习的皮肤病分析方法。

技术介绍

[0002]银屑病是全球高发疾病，其中许多患者未能及时诊治或者误判病情，而贻误诊治。此外，随着现代医学的发展，医学界已经认识到，银屑病是一种遗传与环境共同作用诱发的免疫介导的慢性、炎症性、系统性疾病。如果治疗不及时，还会引起一系列共病，如糖尿病、心血管疾病、肥胖、关节炎等。因此，银屑病早发现、早治疗对于提升患者生存质量有至关重要的作用。但目前统计显示，超过75％的患者发病四周以上才就诊，缺乏对疾病的认识和早期鉴别诊断的途径是主要原因，并且患者在初步判断时，会将银屑病和其他相似皮肤病混淆，对疾病的风险认识程度不够，导致延误及时就医。
[0003]机器学习(Machine Learning，ML)是属于人工智能(Artificial Intelligence，AI)范畴的一项技术，旨在通过数据推断模式实现机器自动学习。随着医疗设备和电子医疗记录的进步，可用的医疗数据量呈指数级增长，医疗中ML的应用需求也随之增长。利用ML技术，研制方便、准确、高效的银屑病居家初步鉴别和风险分层的工具，可帮助患者更好地了解自己的疾病，并及时前往医院进一步检查，也可能帮助患者降低诊断和治疗成本。
[0004]近年来随着人工智能技术的发展，银屑病皮肤图像识别的准确率大幅提升。在一些小样本研究中，将皮肤图像分为健康和患病的分类准确率以高达95％以上。此外，从几种常见皮肤疾病的图像中识别银屑病的技术也日趋成熟。例如，研究者使用卷积神经网络，对中国某医院患有包括扁平苔藓、红斑狼疮、基底细胞癌、鳞状细胞癌、特应性皮炎、天疱疮、银屑病和脂溢性角化病等9种常见疾病的患者的8021张图像进行了银屑病和非银屑病分类。在对100张新图像进行测试时，他们的算法表现出了比25位中国皮肤科医生更好的表现。
[0005]但是，由于以上研究对于照片质量的要求较高，在现实应用中有更高价值的是，对智能手机拍摄的、质量一般的照片进行识别，这在识别痤疮方面已存在先例。在该方面的相关研究中，多光谱成像对头皮脂溢性皮炎和银屑病的鉴别诊断，其灵敏度为65％至75％，特异性为70％至80％。国内对该领域的探索仍然处于萌芽阶段，迫切需要一个更加准确的预测模型以实现银屑病的居家初判和风险分层。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供了一种基于多模态机器学习的皮肤病分析方法，主要是为了实现目标皮肤病与其他临床表征相似的皮肤病的初步鉴别，并实现风险预测，特别是针对银屑病以及临床表征相似的脂溢性皮炎、湿疹、毛囊炎等其他皮肤病的初步鉴别，为预先分诊提供参考，并进行风险预判。
[0007]本专利技术的方案主要包括以下步骤：
[0008]S1：收集并建立信息库
[0009]通过问卷和拍照收集方式，建立皮肤病信息库，其中包括已经进行了临床综合诊断的不同类型、不同阶段、不同程度和不同预后的目标皮肤病患者以及要鉴别诊断的其他皮肤病患者(不低于100例)的调查数据信息、患处典型图像。特别地，目标皮肤病可以为银屑病，所述要鉴别诊断的其他皮肤病为脂溢性皮炎、湿疹、毛囊炎等等。
[0010]用于收集调查数据信息的调查问卷可根据现有文献以及相关疾病的研究进展进行完善，可以包括患者基本信息、症状、体征、病程、前期治疗及治疗反应等相关信息。
[0011]患处典型图像可以在确定基于智能手机的标准拍照方法和具体要求后，由患者本人进行收集，标准拍照方法包括距离患处10cm处平行拍摄、保持相对一致采光条件、使用多部手机排除手机本身影响等。
[0012]S2：构建用于机器学习的数据集
[0013]以患者的临床综合诊断为真实值，以信息库中的患处典型图像和调查数据信息作为输入信息，构建数据集，用于后续深度学习神经网络模型的训练。
[0014]S3：构建和训练多模态深度学习神经网络模型
[0015]将数据集中的数据划分成训练集和测试集，采用图像特征提取模型提取患处典型图像的图像特征，采用文本特征提取模型提取调查数据信息中的文本特征，将提取的图像特征和文本特征进行多模态整合。
[0016]一种采用图像特征提取模型提取患处典型图像的图像特征的具体方法为：对于收集到的患处典型图像，做resize操作，以Color
×
Height
×
Width的结构输入VGGNet16模型，经过卷积层后输出提取特征。
[0017]一种采用文本特征提取模型提取调查数据信息中的文本特征的具体方法为：将问卷中的选择题结果按照不同选项进行独热编码形成张量，并进行MinMax归一化和缺失值处理(患者可能由于某些题的选择导致其余某些题无需作答)。
[0018]本方法需要用于训练模型的数据有图片和文本两种类型，采用多模态训练的方式整合通过拍照和问卷收集到的图像和文本信息，构建更为全面准确的多模态学习模型，具体方法为：
[0019]以整合后的多模态特征为输入，对于所患疾病的分析结果为输出，构建神经网络模型；采用训练集和测试集对神经网络模型进行训练，训练精度达标后可用于预测。优选地，神经网络的隐藏Linear层采用ReLU激活函数，附带dropout函数，在训练过程中，以在多分类任务中效果较好的交叉熵作为损失函数，经验学习率为0.001。预测结果可以采用三分类的模式进行输出(目标皮肤病
‑
中重度、目标皮肤病
‑
轻度、其他疾病)。
[0020]S4：皮肤病分析
[0021]通过问卷方式和拍照方式，对要进行分析的患者信息进行收集，通过训练好的神经网络模型给出分析结果。
[0022]具体来说，可以通过搭建人机交互界面，连接前端用户操作和后端数据传输、处理以及训练好的神经网络模型；在界面指导下，用户在人机交互界面将患处照片和问卷信息输入，经数据传输处理和神经网络预测后，将分析结果转至人机交互界面输出，对用户提供其所患皮肤病的初步分析结果和就医指导。如此可通过手机app等方式，构建线上常见皮肤病智能分析系统，提供皮肤病的居家诊断分析途径。
[0023]本专利技术具有以下有益效果：
[0024]目前多数皮肤病的主要分析诊断都在医院依靠于医生临床经验进行，因为新冠疫情期间及医疗资源分布不均等因素极易贻误病情，无法实现在线实时的对于疾病的诊断。本专利技术所设计的基于多模态机器学习的皮肤病分析方法，简便易行，价格低廉，操作简单，无需专业的电力设备，适用于室内采集，并解决了患者就医难的问题。
[0025]本专利技术的方法可以用于带有人机交互界面的常见皮肤病智能分析系统的构建，为广大患者提供一个简单、方便、快速的自查手段，指导皮肤病患者尽早就医、及时治疗，降低患者健康风险、减轻经济负担。
具体实施方式
[0026]下面结合银屑病分析的实施例对本专利技术进一步说明。除非特别说明，本专利技术实施例采用的方法和设备为本
常规的方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态机器学习的皮肤病分析方法，其特征在于，包括以下步骤：S1：收集并建立信息库通过问卷和拍照收集方式，建立皮肤病信息库，其中包括已经进行了临床综合诊断的不同类型、不同阶段、不同程度和不同预后的目标皮肤病患者以及要鉴别诊断的其他皮肤病患者的调查数据信息、患处典型图像；S2：构建用于机器学习的数据集以患者的临床综合诊断为真实值，以信息库中的患处典型图像和调查数据信息作为输入信息，构建数据集；S3：构建和训练多模态深度学习神经网络模型将数据集中的数据划分成训练集和测试集，采用图像特征提取模型提取患处典型图像的图像特征，采用文本特征提取模型提取调查数据信息中的文本特征，将提取的图像特征和文本特征进行多模态整合；以整合后的多模态特征为输入，对于所患疾病的分析结果为输出，构建神经网络模型；采用训练集和测试集对神经网络模型进行训练；S4：皮肤病分析通过问卷方式和拍照方式，对患者信息进行收集，通过训练好的神经网络模型给出分析结果。2.根据权利要求1所述的基于多模态机器学习的皮肤病分析方法，其特征在于，所述目标皮肤病为银屑病，所述要鉴别诊断的其他皮肤病为脂溢性皮炎、湿疹、毛囊炎中的一种或几种。3.根据权利要求1所述的基于多模态机器学习的皮肤病分析方法，其特征在于，所述采用图像特征提取模型提取患处典型图像的图像特征，具体方法为，对于患处典型图像，做resize操作，以Color...

【专利技术属性】
技术研发人员：朱嘉悦，王昭睿，宜宣，王路勤，刘会览，
申请(专利权)人：王昭睿宜宣王路勤刘会览，
类型：发明
国别省市：