【技术实现步骤摘要】
本申请涉及数字医疗领域，具体而言，涉及一种舌面图像分析方法及装置。
技术介绍
1、舌象能够反映出人体的状况。在中医中，舌诊是观察舌头的色泽、形态的变化来辅助诊断及鉴别的一个简单有效的方法。舌为心之苗，脾之外候，苔由胃气所生。脏腑病变，可在舌质和舌苔上反映出来，舌诊主要诊察舌质和舌苔的形态、色泽、润燥等，以此判断疾病的性质、病势的浅深、气血的盛衰、津液的盈亏及脏腑的虚实等。中西医结合，是将传统的中医中药知识和方法与西医西药的知识和方法结合起来，在提高临床疗效的基础上，阐明机理进而获得新的医学认识。然而，中医大都依赖于医生的经验，不利于进行大范围推广；因此，将舌诊数字化是一个关键的技术，舌诊数字化的基础是对舌面图像进行分析。
2、舌面图像能够分析得到某些疾病的发展程度，这样能够在这些疾病的早期就发现，从而避免了发现时已经较为严重的情况，耽误治疗的最佳时机。例如，胃癌已经成为一个全球性的健康问题，严重影响了人们的日常生活。在胃癌早期，并不容易被检查到，这使得确诊时，已经较为严重。名称为“舌头图像分析方法及装置”，申请公布号为“cn109740611a”的专利技术专利中公开了根据舌头图像进行脂肪肝患病情况判断的模型，其中采用了grabcut算法进行分割，分割精度较低，从而使得判断结果准确率误差较大。名称为“舌面图像分析方法、装置、计算机设备及计算机可读存储介质”，授权公告号为“cn110363072b”的专利技术专利公开了一种舌面分析的方法，根据舌面图像，分析得到舌头颜色和舌头形状，其中根据hsl颜色空间划分方法对所述舌头图
3、综上所述，现有技术中舌面图像分析方法的准确性较差，不能满足数字化医疗需要的高准确性分析。
技术实现思路
1、本专利技术的目的在于，针对上述现有技术中的不足，提供一种舌面图像分析方法及装置，以解决现有技术中舌面图像分析方法的准确性较差，不能满足数字化医疗需要的高准确性分析的问题。
2、为实现上述目的，本专利技术采用的技术方案如下：
3、本申请提供一种舌面图像分析方法，该方法包括如下步骤：
4、s1，获取舌面图像；
5、s2，利用第一提取模型对舌面图像进行预处理，得到第一图像；
6、s3，利用第二提取模型对第一图像进行分割，得到第二图像；
7、s4，利用第三提取模型对第二图像进行特征提取，得到舌体特征；
8、s5，将舌体特征输入分类模型，分类模型输出预测结果。
9、其中，第一提取模型为基于深度学习网络的目标检测模型，第二提取模型为卷积神经网络模型。
10、进一步地，第一图像为舌部图像；第一提取模块包括提取特征部分、特征融合部分、结果预测部分；提取特征部分包括依次连接的第一下采样层、第一残差层、第二残差层、第三残差层、空间池化层和第四残差层；特征融合部分包括依次连接的第一卷积层、第一上采样层、第一残差拼接层、第二卷积层、第二上采样层、第二残差拼接层、第二下采样层、第三残差拼接层、第三下采样层、第四残差拼接层。
11、更进一步地，第二图像为舌头图像；第二提取模型包括编码部分和解码部分，编码部分包括特征提取部分和空洞空间金字塔池化部分，特征提取部分为基于深度学习的轻量化骨干网络mobilenetv2，空洞空间金字塔池化部分包括并列连接的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、全局池化层。
12、更进一步地，第三提取模型包括依次连接的第六卷积层、第一池化层、第五残差层、第六残差层、第七残差层、第八残差层。
13、更进一步地，分类模型包括第七卷积层、七个深度可分离残差层、第八卷积层、第二池化层。
14、本申请还公开一种舌面图像分析装置，该装置包括：
15、获取模块，用于获取舌面图像；
16、第一处理模块，用于利用第一提取模型对舌面图像进行预处理，得到第一图像；
17、第二处理模块，用于利用第二提取模型对第一图像进行分割，得到第二图像；
18、第三处理模块，用于利用第三提取模型对第二图像进行特征提取，得到舌体特征；
19、分类模块，用于将舌体特征输入分类模型，分类模型输出预测结果；
20、其中，第一提取模型为基于深度学习网络的目标检测模型，第二提取模型为卷积神经网络模型。
21、进一步地，第一图像为舌部图像；第一提取模块包括提取特征部分、特征融合部分、结果预测部分；提取特征部分包括依次连接的第一下采样层、第一残差层、第二残差层、第三残差层、空间池化层和第四残差层；特征融合部分包括依次连接的第一卷积层、第一上采样层、第一残差拼接层、第二卷积层、第二上采样层、第二残差拼接层、第二下采样层、第三残差拼接层、第三下采样层、第四残差拼接层。
22、更进一步地，第二图像为舌头图像；第二提取模型包括编码部分和解码部分，编码部分包括特征提取部分和空洞空间金字塔池化部分，特征提取部分为基于深度学习的轻量化骨干网络mobilenetv2，空洞空间金字塔池化部分包括并列连接的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、全局池化层。
23、更进一步地，第三提取模型包括依次连接的第六卷积层、第一池化层、第五残差层、第六残差层、第七残差层、第八残差层。
24、更进一步地，分类模型包括第七卷积层、七个深度可分离残差层、第八卷积层、第二池化层。
25、与现有技术相比，本专利技术的有益效果：本申请方法通过采集患者的舌面图像数据，针对各个舌头进行舌面定位和粗提取，然后分割舌头，并对舌头图像进行标记，生成标准舌象数据集，建立胃癌预测模型。从而利用该模型对胃癌患者进行预测，识别患者是否患有胃癌，或者胃癌的患病程度，识别的准确度较高，能够满足数字化医疗需要的高准确性分析。
本文档来自技高网...【技术保护点】
1.一种舌面图像分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的舌面图像分析方法，其特征在于，所述第一图像为舌部图像；所述第一提取模块包括提取特征部分、特征融合部分、结果预测部分；所述提取特征部分包括依次连接的第一下采样层、第一残差层、第二残差层、第三残差层、空间池化层和第四残差层；所述特征融合部分包括依次连接的第一卷积层、第一上采样层、第一残差拼接层、第二卷积层、第二上采样层、第二残差拼接层、第二下采样层、第三残差拼接层、第三下采样层、第四残差拼接层。
3.根据权利要求2所述的舌面图像分析方法，其特征在于，所述第二图像为舌头图像；所述第二提取模型包括编码部分和解码部分，所述编码部分包括特征提取部分和空洞空间金字塔池化部分，所述特征提取部分为基于深度学习的轻量化骨干网络MobileNetV2，所述空洞空间金字塔池化部分包括并列连接的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、全局池化层。
4.根据权利要求3所述的舌面图像分析方法，其特征在于，所述第三提取模型包括依次连接的第六卷积层、第一池化层、第五残差层、第六
5.根据权利要求4所述的舌面图像分析方法，其特征在于，所述分类模型包括第七卷积层、七个深度可分离残差层、第八卷积层、第二池化层。
6.一种舌面图像分析装置，其特征在于，所述装置包括：
7.根据权利要求6所述的舌面图像分析装置，其特征在于，所述第一图像为舌部图像；所述第一提取模块包括提取特征部分、特征融合部分、结果预测部分；所述提取特征部分包括依次连接的第一下采样层、第一残差层、第二残差层、第三残差层、空间池化层和第四残差层；所述特征融合部分包括依次连接的第一卷积层、第一上采样层、第一残差拼接层、第二卷积层、第二上采样层、第二残差拼接层、第二下采样层、第三残差拼接层、第三下采样层、第四残差拼接层。
8.根据权利要求7所述的舌面图像分析装置，其特征在于，所述第二图像为舌头图像；所述第二提取模型包括编码部分和解码部分，所述编码部分包括特征提取部分和空洞空间金字塔池化部分，所述特征提取部分为基于深度学习的轻量化骨干网络MobileNetV2，所述空洞空间金字塔池化部分包括并列连接的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、全局池化层。
9.根据权利要求8所述的舌面图像分析装置，其特征在于，所述第三提取模型包括依次连接的第六卷积层、第一池化层、第五残差层、第六残差层、第七残差层、第八残差层。
10.根据权利要求9所述的舌面图像分析装置，其特征在于，所述分类模型包括第七卷积层、七个深度可分离残差层、第八卷积层、第二池化层。
...【技术特征摘要】
1.一种舌面图像分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的舌面图像分析方法，其特征在于，所述第一图像为舌部图像；所述第一提取模块包括提取特征部分、特征融合部分、结果预测部分；所述提取特征部分包括依次连接的第一下采样层、第一残差层、第二残差层、第三残差层、空间池化层和第四残差层；所述特征融合部分包括依次连接的第一卷积层、第一上采样层、第一残差拼接层、第二卷积层、第二上采样层、第二残差拼接层、第二下采样层、第三残差拼接层、第三下采样层、第四残差拼接层。
3.根据权利要求2所述的舌面图像分析方法，其特征在于，所述第二图像为舌头图像；所述第二提取模型包括编码部分和解码部分，所述编码部分包括特征提取部分和空洞空间金字塔池化部分，所述特征提取部分为基于深度学习的轻量化骨干网络mobilenetv2，所述空洞空间金字塔池化部分包括并列连接的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、全局池化层。
4.根据权利要求3所述的舌面图像分析方法，其特征在于，所述第三提取模型包括依次连接的第六卷积层、第一池化层、第五残差层、第六残差层、第七残差层、第八残差层。
5.根据权利要求4所述的舌面图像分析方法，其特征在于，所述分类模型包括第七卷积层、七个深度可分离残差层、第八卷积层、第二池化层。
...【专利技术属性】
技术研发人员：曹溪源，张志东，薛晨阳，金春阳，张德龙，李波，臧俊斌，
申请(专利权)人：中北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。