【技术实现步骤摘要】
本专利技术涉及图像识别领域，特别是涉及一种皮肤图像分类方法、装置、芯片及终端。
技术介绍
1、皮肤癌是一种常见的恶性肿瘤，在过去几十年里，皮肤癌特别是黑色素瘤的发病率一直呈现出逐渐上升趋势，如果不及时诊断和治疗，可能导致严重的后果。
2、随着人工智能技术的发展，已初步实现了利用人工智能技术对皮肤癌的辅助识别，但是对于演变成皮肤癌的病变存在多种情况，且这些病变之间都存在较高的相似度，而为了提高识别度，目前主要是采用深度神经网络来实现，但是深度神经网络的分类中，要么仅仅采用精调预训练通用图像分类模型，而没有充分考虑任务图像的自身特征，要么利用简单的特征融合，不能很好地应对皮肤癌多病症类别分类的挑战，其分类识别的准确度仍然比较低。
技术实现思路
1、基于此，本专利技术提供一种皮肤图像分裂方法、装置、芯片及终端，以解决现有的皮肤图像分类识别的识别准确率较低的问题。
2、第一方面，提供一种皮肤图像分类方法，包括：
3、获取皮肤病图像数据集及对其中的各图像进行病变标注和预处理，并将标注和预处理后的皮肤图像数据集按照一定比例划分为训练集和测试集；
4、基于通过融合多尺度的卷积cnn和flatten transformer组成的网络模型，利用结构重参数化技术、线性变换和深度卷积对所述网络模型进行调整，构建皮肤图像分类网络；
5、将所述训练集输入到所述皮肤图像分类网络中进行模型训练，得到皮肤图像分类模型；
6、将所述测试集输入到
7、可选的，所述获取皮肤病图像数据集及对其中的各图像进行病变标注和预处理，并将标注和预处理后的皮肤图像数据集按照一定比例划分为训练集和测试集，包括：
8、获取皮肤镜输出的皮肤图像和所述皮肤图像对应的诊断结果；
9、基于所述诊断结果从预设的标注数据库中匹配出对应的标注信息和病变类型，并从对应的皮肤图像中提取与所述病变类型对应的病变图像块；
10、在所述皮肤图像中对应于所述病变图像块的位置上进行标注所述标注信息，并基于标注后的皮肤图像构建皮肤病图像数据集；
11、利用预设的图像增强模型对所述皮肤病图像数据集中的各皮肤图像特征增强，并利用预设的色彩矫正模型对增强后的皮肤图像的颜色进行校正，得到新的皮肤病图像数据集；
12、按照一定比例将所述新的皮肤病图像数据集划分为训练集和测试集。
13、可选的，所述利用预设的图像增强模型对所述皮肤病图像数据集中的各皮肤图像特征增强，并利用预设的色彩矫正模型对增强后的皮肤图像的颜色进行校正，得到新的皮肤病图像数据集，包括：
14、基于所述病变类型统计所述皮肤病图像数据集中各类型的图像数量，并选择所述图像数量最小的n个类型作为增强对象；
15、调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像；
16、将新的皮肤图像转换成lab彩色空间，并计算空间中的第一色彩通道和第二色彩通道的颜色均值，并基于所述颜色均值对新的皮肤图像的颜色进行增益调整，得到新的皮肤病图像数据集。
17、可选的，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，包括：
18、识别所述增强对象中的各图像是否存在冗余边界区域；
19、若不存在，则将所述增强对象中的每个图像依次旋转至预设的多个角度进行病变图像的展示，并利用中心裁剪法对各角度下的图像进行裁剪，得到新的皮肤图像。
20、可选的，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，还包括：
21、若所述增强对象中的各图像存在冗余边界区域，则对所述增强对象中的各图像进行裁剪去除所述冗余边界区域；利用随机旋转法调整去除所述冗余边界区域后的图像的展示角度，并利用中心裁剪法对展示调整后的图像进行裁剪，得到新的皮肤图像。
22、可选的，所述基于通过融合多尺度的卷积cnn和flatten transformer组成的网络模型，利用结构重参数化技术、线性变换和深度卷积对所述网络模型进行调整，构建皮肤图像分类网络，包括：
23、在融合多尺度的卷积cnn中融合结构重参数化技术，在所述卷积cnn对皮肤图像进行多个尺度的卷积操作提取图像中的局部特征时，利用所述结构重参数化技术优化在各尺度的卷积操作时资源的占用比例；
24、在flatten transformer中加入了线性变换和深度卷积，通过线性变换将所述卷积cnn输出的局部特征映射成固定维度的特征向量，并通过所述深度卷积利用多头注意力机制记录所述特征向量，构建皮肤图像分类网络。
25、可选的，所述将所述测试集输入到所述皮肤图像分类模型中进行分类识别，得到皮肤图像分类结果，包括：
26、将所述测试集中各皮肤图像输入至所述皮肤图像分类模型中，通过所述卷积cnn结合结构重参数化技术提取皮肤图像中的病原特征，并利用多尺度卷积对提取到的病原特征进行卷积计算，得到皮肤图像的局部特征；
27、通过所述flatten transformer利用线性变换对所述局部特征对应的病原图像块中的像素映射成固定维度的特征向量，得到对应的特征图；
28、对所述特征图中的特征进行分层分块操作，利用所述线性变换对分层分块操作得到的每个子块的特征向量映射到高维的特征空间，并通过所述深度卷积利用多头注意力机制对高维的特征空间中的特征向量做注意力计算，得到各特征向量之间的关联性；
29、基于所述关联性确定各病原图像块之间的邻接关系，并对相邻的病原图像块对应的局部特征的第一色彩通道和第二色彩通道合并，得到全局特征；
30、基于所述全局特征输出对应的皮肤图像的分类结果。
31、第二方面，提供一种皮肤图像分类装置，包括：
32、获取模块，用于获取皮肤病图像数据集及对其中的各图像进行病变标注和预处理，并将标注和预处理后的皮肤图像数据集按照一定比例划分为训练集和测试集；
33、构建模块，用于基于通过融合多尺度的卷积cnn和flatten transformer组成的网络模型，利用结构重参数化技术、线性变换和深度卷积对所述网络模型进行调整，构建皮肤图像分类网络；
34、训练模块，用于将所述训练集输入到所述皮肤图像分类网络中进行模型训练，得到皮肤图像分类模型；
35、分类模块，用于将所述测试集输入到所述皮肤图像分类模型中进行分类识别，得到皮肤图像分类结果。
36、可选的，所述获取模块包括：
37、获取单元，用于获取皮肤镜输出的皮肤图像和所述皮肤图像对应的诊断结果；
38、提取单元，用于基于所述诊断结果从预设的标注数据库中匹配出对应的标注信本文档来自技高网...
【技术保护点】
1.一种皮肤图像分类方法，其特征在于，包括：
2.根据权利要求1所述的皮肤图像分类方法，其特征在于，所述获取皮肤病图像数据集及对其中的各图像进行病变标注和预处理，并将标注和预处理后的皮肤图像数据集按照一定比例划分为训练集和测试集，包括：
3.根据权利要求2所述的皮肤图像分类方法，其特征在于，所述利用预设的图像增强模型对所述皮肤病图像数据集中的各皮肤图像特征增强，并利用预设的色彩矫正模型对增强后的皮肤图像的颜色进行校正，得到新的皮肤病图像数据集，包括：
4.根据权利要求3所述的皮肤图像分类方法，其特征在于，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，包括：
5.根据权利要求4所述的皮肤图像分类方法，其特征在于，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，还包括：
6.根据权利要求1-5中任一项所述的皮肤图像分类方法，其特征在于，所述基于通过融合多尺度的卷积CNN和Flatten Transformer组成的网络模
7.根据权利要求6所述的皮肤图像分类方法，其特征在于，所述将所述测试集输入到所述皮肤图像分类模型中进行分类识别，得到皮肤图像分类结果，包括：
8.一种皮肤图像分类装置，其特征在于，包括：
9.一种芯片，其特征在于，包括：第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的皮肤图像分类方法的各个步骤。
10.一种终端，其特征在于，包括第二存储器、第二处理器以及存储在所述第二存储器中并在所述第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的皮肤图像分类方法的各个步骤。
...【技术特征摘要】
1.一种皮肤图像分类方法，其特征在于，包括：
2.根据权利要求1所述的皮肤图像分类方法，其特征在于，所述获取皮肤病图像数据集及对其中的各图像进行病变标注和预处理，并将标注和预处理后的皮肤图像数据集按照一定比例划分为训练集和测试集，包括：
3.根据权利要求2所述的皮肤图像分类方法，其特征在于，所述利用预设的图像增强模型对所述皮肤病图像数据集中的各皮肤图像特征增强，并利用预设的色彩矫正模型对增强后的皮肤图像的颜色进行校正，得到新的皮肤病图像数据集，包括：
4.根据权利要求3所述的皮肤图像分类方法，其特征在于，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，包括：
5.根据权利要求4所述的皮肤图像分类方法，其特征在于，所述调整所述增强对象中的每个图像的展示角度，将图像中的病变图像块正视展示，并裁剪，得到新的皮肤图像，还包括：
6.根据权利要求1-...
【专利技术属性】
技术研发人员：雷高明，梁立新，李宁，覃为，梅逢城，林霖，赵建，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。