【技术实现步骤摘要】
本专利技术涉及图像检测，特别是一种基于协同学习和深度融合的皮肤图像检测方法。
技术介绍
1、随着科技不断的发展，社会进步，将ai结合到各相
成为当下较为热门几个ai应用之一。其中，传统的皮肤斑块的类型判定，人们需要通过皮肤斑块彩超视频、血液常规分析指标和危险因素这一系列的检查才能判定，整个流程下来，花费时间较长，费用较多。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于协同学习和深度融合的皮肤图像检测方法，能够有效地对皮肤斑块彩超视频进行分析，得到皮肤斑块的类型，便利人们的生活。
2、为实现上述目的，本专利技术采用如下技术方案：一种基于协同学习和深度融合的皮肤图像检测方法，包括以下步骤：
3、步骤s1：使用改进后的beit网络来对公开皮肤图片数据集进行训练，得到能分割出皮肤斑块的模型；
4、步骤s2：对全皮肤进行扫描，并将扫描后得到的视频进行切帧，使用改进后的beit网络进行分割后，得到静态斑块分数，再合并，形成分割好的皮肤斑块视频；
5、步骤s3：使用r(2+1)d对扫描皮肤视频数据集进行动态评分，评分根据为：皮肤斑块大小、数量以及程度；
6、步骤s4：使用clip网络针对分类信息和分割出来的皮肤斑块视频进行多模态训练，实现输入皮肤斑块扫描视频即可自动生成分类信息。
7、在一较佳的实施例中，所述步骤s1具体包括以下步骤：
8、步骤s11：整理公开数据集，清洗数据；
10、步骤s13：对出来的多尺度特征使用交叉注意力机制对其多级特征，放入head中；
11、步骤s14：使用回归损失来保证分割精准度
12、通过考虑重叠面积、中心点距离，长宽比的归一化距离，得到的回归损失函数aiouloss定义如下：
13、
14、其中iou为预测区域和目标区域的交集与预测区域和目标区域并集的比例，distance_22为预测区域和目标区域中心点的欧式距离，distance_c2表示两个区域的最小外界矩形的对角线距离，σ为针对distance_22与distance_c2的权重系数；β是针对影响因子的一个权重系数，v是衡量长宽比一致性的参数，定义为如下：
15、
16、其中π为数学上的圆周率，arctan代表数学上的反正切函数，wgt代表目标框的宽，hgt目标框的高，wp代表预测区域的宽，hp代表预测区域的高，其中γ为对衡量长宽比一致性进行调整的权重系数；
17、步骤s15：将改进后的模型在isic2018数据集上训练，保存。
18、在一较佳的实施例中，所述步骤s2具体包括以下步骤：
19、步骤s21：使用c3d模型作为对皮肤斑块轮廓视频分析的网络，以text encoder作为特征提取主干网络，并将第8个卷积核替代成卷积核，并这设置步长为2，同时将二次下采样特征图的步长从(2,2)改为(1,1)添加一层平均池化层方便特征传入rnn，接上卷积核防止信息损失，最终输出两帧的图像卷积特征图，实现特征提取；
20、步骤s22：计算两帧的特征图向量的相似度，相似度用点乘计算，相似度similarity定义如下：
21、
22、其中similarity用来计算两个向量之间的相似度，其中当similarity的值越接近1，则说明两帧特征图越接近；i表示处于处于该向量中的索引位置，n表示该向量的长度，x表示前一帧特征图向量，y表示后一帧特征图向量；
23、步骤s23：通过给定正面扫描帧索引和背面扫描帧索引对步骤s1得到的皮肤斑块轮廓视频进行标注，进行训练；
24、步骤s24：使用训练过c3d模型对步骤s1得到的皮肤斑块轮廓视频进行预测，得到所需要的正面扫描帧和背面扫描帧，使用opencv中的统计白色像素点个数获得皮肤斑块彩超的静态参数，即正面扫描数量edv，背面扫描数量esv的值；
25、步骤s25：通过静态指标计算该对象皮肤斑块的综合分数ef，综合分数ef定义如下：
26、ef＝(edv-esv)/edv*100％
27、其中ef是综合分数，edv是皮肤斑块正面扫描数量，esv是皮肤斑块背面扫描数量。
28、在一较佳的实施例中，所述步骤s3的包括以下步骤为：
29、步骤s31：对每个皮肤斑块彩超视频的皮肤斑块正面程度和皮肤斑块背面程度进行人工标注；
30、步骤s32：采用r(2+1)d作为用于视频特征提取的网络模型，并将其中的2d卷积使用可分离的3d卷积来代替，其中第一个5×5步长为2的卷积核以3个3×5且步长为1的卷积核代替；使得最后一个特征图的输出大小保持为5×5；此外，将恒等映射所在路径设为步长为2的平均池化接上步长为1的3×3卷积，以防止信息损失；
31、步骤s33：采用大小为5×5的卷积层代替平均池化层，可以更好地概率图、二值化图和阈值图；
32、步骤s34：得到概率图、二值化图和阈值图后，通过二元交叉熵计算概率图和二值化图损失和l1距离计算阈值图损失，损失函数定义如下：
33、l＝θ×ls+δ×lb+ε×lt
34、其中θ是概率图损失的权重参数，ls是概率图的损失值；δ是二值化图损失值的权重函数，lb代表二值化图损失值，ε是阈值图损失值的权重函数，lt代表阈值图损失值；
35、步骤s35：将训练好的视频理解作为检测模型，针对上述使用r(2+1)d得到皮肤斑块彩超视频的动态指标，即反面严重程度vstretch和正面严重程度vshrink。
36、在一较佳的实施例中，所述步骤s4中，具体包括以下步骤：
37、步骤s41：将得到的动态指标与静态指标作为训练样本指标，并且将每个皮肤斑块对应的皮肤斑块类型进行标注，作为标签，使用clip进行多模态分析模型，进行训练；
38、步骤s42：得到训练后的参数，其最终得分为score；定义如下：
39、score＝ρ×ef+σ×vstretch+τ×vshrink
40、其中ρ是综合分数ef的权重参数，σ是皮肤斑块反面严重程度的权重参数，vstretch是皮肤斑块反面程度，τ是皮肤斑块正面程度的权重参数，vshrink是皮肤斑块正面程度；
41、步骤s43：将得到的分数进行线性化处理，得到分数与本文档来自技高网...
【技术保护点】
1.一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，所述步骤S1具体包括以下步骤：
3.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，所述步骤S2具体包括以下步骤：
4.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，所述步骤S3的包括以下步骤为：
5.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，所述步骤S4中，具体包括以下步骤：
【技术特征摘要】
1.一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征在于，所述步骤s1具体包括以下步骤：
3.根据权利要求1所述的一种基于协同学习和深度融合的皮肤图像检测方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。