皮肤病图片分类方法、装置、产品及存储介质制造方法及图纸

本发明专利技术公开了一种皮肤病图片分类方法、装置、产品及存储介质，构建皮肤病RCM图像数据库基本对象；将不同种皮肤病RCM图像填充入对应的数据集中。构建识别RCM图像的基于CNN

【技术实现步骤摘要】
皮肤病图片分类方法、装置、产品及存储介质


[0001]本专利技术涉及图像处理技术，特别是一种皮肤病图片分类方法、装置、产品及存储介质。

技术介绍

[0002]反射式共聚焦显微镜(RCM)，简称皮肤CT，由于可以在体无创的实现表皮和真皮浅层细胞水平的实时成像，近年来在在皮肤科应用的越来越广。在我国，许多这样的先进影像设备由于缺乏能对检查结果作出诊断的医师而长期处于闲置状态，是对医疗资源的极大浪费。因此，面对数量庞大的患者全体以及日新月异的先进科技，要解决上述问题，探寻新方法、开辟新道路显得十分重要。
[0003]目前，已有的人工智能皮肤病图像分类系统多以能够进行单张医学影像识别分类任务的为主，大多采用了较为成熟的CNN作为框架，如现有技术1(申请号：201910334631.X，公开号：CN 110895968 A)公开了一种人工智能医学图像自动诊断系统和方法，通过其所述的最优AI分类模型和最优AI语义分割模型，实现了对医学显微镜图像特别是妇科微生态显微镜图像的分割及分类。但面对一系列彼此相关的连续多张医学影像如RCM影像、MRI影像时，传统的CNN框架并不能对其进行有效的综合分析。皮肤病本身复杂、多变等特点使得单纯皮损表面影像并不能完全表现其病变特征。为保证皮损病变特征的提取完备，皮肤病的分类应基于患者表皮层、棘层、颗粒层等多层皮肤影像。现有的人工智能皮肤病图像分类系统缺乏对多张关联图像的综合分析能力，仅能对单张皮肤影像进行特征提取与分类，从而使得基于单纯皮损表面影像得出的智能分类结果准确性不高，可靠性较弱。

技术实现思路

[0004]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种皮肤病图片分类方法、装置、产品及存储介质，可以对多张不同深度的图像进行识别，提高皮肤病图像分类准确率。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种皮肤病图片分类方法，包括以下步骤：
[0006]S1、构建皮肤病RCM图像数据库；
[0007]S2、将所述皮肤病RCM图像数据库划分为训练集和测试集；
[0008]S3、用训练集训练基于CNN
‑
LSTM的分类模型，得到皮肤病图像分类系统；所述CNN
‑
LSTM的分类模型包括编码器和解码器；所述编码器采用CNN网络，所述解码器采用LSTM网络；
[0009]S4、以皮肤深度为依据对待处理的RCM图像进行排序，并将排序后的图像序列输入所述皮肤病图像分类系统，得到分类结果。
[0010]本专利技术基于CNN
‑
LSTM的识别RCM图像的皮肤病图片分类系统，结合卷积神经网络和长短期记忆网络，能够整体分析多张连续相关的RCM图像，弥补了传统皮肤病辅助分类系
统只能识别单张图像的不足。
[0011]为了进一步提高图像分类精度，步骤S3之后，步骤S4之前，还包括：利用测试集测试所述皮肤病图像分类系统，若所述皮肤病图像分类系统测试结果未通过，则扩充所述皮肤病RCM图像数据库，得到扩充后的训练集，利用扩充后的训练集训练所述基于CNN
‑
LSTM的分类模型。
[0012]步骤S1的具体实现过程包括：
[0013]1)收集RCM皮肤病图像，对收集到的RCM图像进行编号；
[0014]2)构建皮肤病RCM图像数据库基本对象，所述基本对象包括多种表，所述多种表包括用于储存不同类型的RCM图像及图像种类、图像拍摄深度、图像编号；
[0015]3)将收集到的RCM皮肤病图像按照图像拍摄深度及图像种类填充到对应的表中，得到RCM图像数据库。
[0016]本专利技术将RCM图像按种类和皮肤深度分类，进一步提高了分类精度。
[0017]步骤S3中，所述CNN网络对输入的RCM图像进行包括如下步骤的操作：将图像编号相同的RCM图像的表皮层角化层、表皮层透明层、表皮层颗粒层、表皮层生发层、真皮层乳头层、真皮层网状层RCM图像于t1、t2、t3、t4、t5、t6时刻分别输入CNN网络中，将各层图像转化为二维数组，对所述二维数组进行卷积运算，得到二维数组对应的特征向量图；将所述特征向量图依次输入激活函数、池化层，得到标准化的RCM图像特征。本专利技术按皮肤层次由浅入深依次先后输入CNN系统，以时间来编码图片的拍摄深度属性，将LSTM系统不能处理的拍摄深度问题转化为LSTM系统可以处理的时间序列问题，使得CNN
‑
LSTM系统可以基于不同RCM图像的拍摄深度来分析图片，并对不同深度的多张图片综合分析，解决了现有技术基于单纯皮损表面影像得出的智能分类结果准确性不高，可靠性较弱的问题。
[0018]步骤S3中，所述LSTM网络进行包括如下步骤的操作：将所述CNN网络输出的标准化的RCM图像特征序列S1、S2、S3、S4、S5、S6分别于时间点t1
’
、t2
’
、t3
’
、t4
’
、t5
’
、t6
’
依次输入到LSTM中，LSTM网络的隐藏层提取各个时刻获取的图像特征的特征信息，并整合该图像信息与历史时刻其余皮肤层的图像信息。
[0019]步骤S3中，所述CNN
‑
LSTM的分类模型的误差方程E为：
[0020][0021]其中z
t
为输入一组RCM图像后CNN
‑
LSTM的分类模型给出的分类结果；y
t
为输入的一组RCM图像对应的正确分类结果；p为LSTM网格中训练样本的索引，训练样本为一组图像编号相同的RCM图像的表皮层角化层、表皮层透明层、表皮层颗粒层、表皮层生发层、真皮层乳头层、真皮层网状层RCM图像，上述图像分别于t1、t2、t3、t4、t5、t6时刻分别输入系统中。z
t
为t时刻输入的RCM图像后CNN
‑
LSTM的分类模型给出的分类结果；y
t
为输入的一组RCM图像对应的正确分类结果；；T为常数(本专利技术中设置为6)。
[0022]本专利技术的误差方程可以在训练系统的时候，对系统的准确率进行精确判断。
[0023]步骤S3中，利用梯度下降法训练所述CNN
‑
LSTM的分类模型。
[0024]本专利技术还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本专利技术上述方法的步骤。
[0025]本专利技术还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指
令被处理器执行时实现本专利技术上述方法的步骤。
[0026]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本专利技术上述方法的步骤。
[0027]与现有技术相比，本专利技术所具有的有益效果为：
[0028]1.本专利技术是一种基于CNN
‑...

【技术保护点】

【技术特征摘要】
1.一种皮肤病图片分类方法，其特征在于，包括以下步骤：S1、构建皮肤病RCM图像数据库；S2、将所述皮肤病RCM图像数据库划分为训练集和测试集；S3、用训练集训练基于CNN
‑
LSTM的分类模型，得到皮肤病图像分类系统；所述CNN
‑
LSTM的分类模型包括编码器和解码器；所述编码器采用CNN网络，所述解码器采用LSTM网络；S4、以皮肤深度为依据对待处理的RCM图像进行排序，并将排序后的图像序列输入所述皮肤病图像分类系统，得到分类结果。2.根据权利要求1所述的皮肤病图片分类方法，其特征在于，步骤S3之后，步骤S4之前，还包括：利用测试集测试所述皮肤病图像分类系统，若所述皮肤病图像分类系统测试结果未通过，则扩充所述皮肤病RCM图像数据库，得到扩充后的训练集，利用扩充后的训练集训练所述基于CNN
‑
LSTM的分类模型。3.根据权利要求1所述的皮肤病图片分类方法，其特征在于，步骤S1的具体实现过程包括：1)收集RCM皮肤病图像，对收集到的RCM图像进行编号；2)构建皮肤病RCM图像数据库基本对象，所述基本对象包括多种表，所述多种表包括用于储存不同类型的RCM图像及图像种类、图像拍摄深度、图像编号；3)将收集到的RCM皮肤病图像按照图像拍摄深度及图像种类填充到对应的表中，得到RCM图像数据库。4.根据权利要求1所述的皮肤病图片分类方法，其特征在于，步骤S3中，所述CNN网络对输入的RCM图像进行包括如下步骤的操作：将图像编号相同的RCM图像的表皮层角化层、表皮层透明层、表皮层颗粒层、表皮层生发层、真皮层乳头层、真皮层网状层RCM图像于t1、t2、t3、t4、t5、t6时刻分别输入CNN网络中，将各层图像转化为二维数组，对所述二维数组进行卷积运算，得到二维数组对应的特征向量图；将所述特征向量图依次输入激活函数、池化层，得到标准化的RCM图像特征。5.根据权利要求4所述的皮肤病图片分类方法，其特征在于，步骤S3中，...

【专利技术属性】
技术研发人员：高丽华，张博，康健，管昊瑜，蒋佳伶，陈菲雪，毕英琦，郝文龙，谢琪，黄小丁，周大维，
申请(专利权)人：管昊瑜，
类型：发明
国别省市：