【技术实现步骤摘要】
本申请涉及人工智能及地质领域，具体涉及一种跨模态融合和注意力机制的有机质显微组分语义分割方法。
技术介绍
1、有机质的显微组分在确定其来源、物理化学性质（包括反应性和结焦性）、工艺特性（如结焦性和机械强度）等方面起着关键作用，并直接影响有机质的燃烧效率和工业应用。传统的有机质显微组分分析方法主要依赖于显微镜下的视觉观察，需要测试人员具有丰富的有机质学知识和熟练的显微镜操作技能。然而，这些方法耗时、耗力，且容易受到测试人员主观经验和分辨率的影响，导致分析结果主观性强，而且不具备较强的实验室间可比性，限制了有机质显微组分鉴定及参数分析的工业应用。
2、此外，现有的基于图像的有机质显微组分识别方法主要依赖于分析灰度、颜色和纹理等常见特征。然而，有机质显微组分复杂多样，导致部分组分在常见特征下难以区分。此外，这些方法通常需要手动选择特征，可能影响识别结果。在提取形状特征方面，特定组分仍需手动分割，无法实现无缝像素级分析和全自动识别。
3、中国专利申请，公开号cn114581907a，记载了一种基于改进mobilenetv3的惰质组显微图像分类方法及系统。该专利技术通过改进mobilenetv3网络，得到更加轻量的、准确率更高的网络模型，能够降低模型参数量并提高惰质组分类的准确率。但是该专利技术仅仅对属于惰质组的单幅显微图像进行分类，模型的输出为整张图像所属类别，当一幅图像中存在除了惰质组以外的其他显微组分时，该专利技术就失去了作用。
4、中国专利申请，公开号cn113177965a，记载了一种基于改进
技术实现思路
1、1.要解决的技术问题
2、针对现有技术中存在的基于单模态的显微图像识别准确率较低及缺少端到端的语义分割识别方案等问题，本申请提供了一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，应用一种改进的cfa-unet网络结构，将有机质显微组分的识别看作像素级别的分类任务，通过油浸反射光下和荧光下的有机质显微图像的融合分析，实现了对有机质显微组分的全面鉴定，解决了传统方法的限制性问题。此外，本申请提供了独特的跨模态融合和注意力加权方法，深入挖掘了不同光源图像间组分特征的互补性和相关性，增强了相关信息，减少了无关细节，实现了特征信息的跨模态交互，提高了组分识别准确性，减轻了误识别问题。
3、2.技术方案
4、本专利技术的目的通过以下技术方案实现。本申请的具体方法步骤如下：
5、（1）获取油浸反射光和荧光下的双模态显微图像。
6、（2）从双模态显微图像中裁剪出有机质显微组分较多的区域，排除矿物质和背景树脂等无关组分占比较大的区域，并对裁剪后的双模态显微图像进行背景树脂、镜质组、惰质组和壳质组四类有机质显微组分类别的像素级标注，为显微图像的每一个像素生成相应的类别标签，所述类别标签为背景树脂、镜质组、惰质组或壳质组中的一种。构建数据集并将其划分为训练集和测试集。
7、（3）对裁剪后的双模态显微图像进行预处理，确保图像的尺寸和特征分布的一致性。
8、（4）设计基于u形语义分割网络（unet）的深度学习模型cfa-unet，cfa-unet网络中构建两个独立的编码器，分别用于深入挖掘油浸反射和荧光有机质显微图像的显微组分特征信息，两个独立的编码器通过跳跃连接将从不同模态学习中获得的特征输出与解码过程中的特征输出融合，形成更完整且丰富的特征表示，最终进行密集预测，实现有机质显微组分的语义分割。cfa-unet网络中还包括注意力门控模块。
9、（5）使用联合优化的focal loss和dice loss作为损失函数对模型进行训练，二者的加权比重为1:1；用训练集对cfa-unet模型进行训练。
10、（6）将训练完成后的最优模型保存，使用训练好的cfa-unet模型进行有机质显微组分的语义分割，输入油浸反射光和荧光下的双模态有机质显微图像，模型即可输出该显微图像每一像素点所属的类别，即该像素点属于背景树脂、镜质组、惰质组和壳质组中的哪一类。实现对背景树脂、镜质组、惰质组和壳质组等组分的准确识别。
11、优选的，步骤1-3中所述的双模态有机质显微图像中含有背景树脂、镜质组、惰质组和壳质组四种显微组分，该显微图像经过专业人员的选择和像素级标注，成为利于网络训练的双模态显微图像数据集，拥有一致的尺寸和特征分布。
12、优选的，在两个独立的编码器中采用了基于跳跃连接和高效通道注意力（eca）的跨模态特征融合方法，该方法首先通过跳跃连接将荧光模态的显微组分特征信息引入到油浸反射光有机质显微图像的特征提取网络中，然后使用eca模块对获得的不同尺度的融合特征图进行加权，确保在特征提取过程中实现跨模态信息交互。
13、优选的，cfa-unet网络中引入了注意力门控模块，用于提高网络对有益特征信息的关注度，该模块的输入为编码器和解码器输出的特征图，分别使用和来表示，该输入经过卷积层进行特征融合，再通过非线性变换和激活函数进行加权，最终通过残差连接实现对有益特征区域的关注，以提高有机质显微组分的识别准确性。该注意力门控的具体公式如下：
14、
15、在公式中：表示 relu激活函数；表示 sigmoid激活函数；表示应用 sigmoid激活函数之前的注意力参数矩阵；表示最终注意力参数矩阵；wx和表示卷积操作；t表示矩阵转置；和代表偏置；表示模型参数；表示注意力加权后的特征图。
16、优选的，步骤5中所述的网络损失函数采用了focal loss和dice loss的联合优化策略，以平衡不同组分的损失贡献度，提高模型的鲁棒性。focal loss和dice loss损失函数的具体公式如下：
17、
18、其中：表示样本为1类的预测概率，范围从0到1。表示真实值标签，值为0或1。和是用于解决类不平衡问题的超参数。
19、
20、在公式中，和交集的元素数，而和分别表示集合和中的元素数。分子乘以2消除了分母对和公共元素造成的重复计算的影响。这可确保损失函数的值在0到1的范围内。
21、优选的，步骤5中所述网络的训练过程中，根据模型在测试集的性能表现挑选最优的模型。本申请所使用的性能评价指标包括像素准确度（pa）、平均像素准确度（mpa）、交并比（iou）和平均交并比（miou），用于评估网络在有机质显微组分识别任务中的性能。各评价指标的公式如下：
22、
23、
24、
25、
26、在上面的公式中，我们假本文档来自技高网...
【技术保护点】
1.一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，有机质显微组分类别包括背景树脂、镜质组、惰质组和壳质组。
3.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，图像预处理的方法为：首先使用直方图均衡化或双边滤波算法提高图像质量，强化图像特征，随后将图像大小更改为固定的672×672像素。
4.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，对双模态显微图像进行像素级标注的方法为：为显微图像的每一个像素生成相应的类别标签，所述类别标签为背景树脂、镜质组、惰质组或壳质组中的一种。
5.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，CFA-Unet首先通过跳跃连接将荧光模态的显微组分特征信息引入到油浸反射光有机质显微图像的特征提取网络中，然后使用ECA模块对获得的不同尺度的融合特征图进行加权。
<...【技术特征摘要】
1.一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，有机质显微组分类别包括背景树脂、镜质组、惰质组和壳质组。
3.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，图像预处理的方法为：首先使用直方图均衡化或双边滤波算法提高图像质量，强化图像特征，随后将图像大小更改为固定的672×672像素。
4.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，对双模态显微图像进行像素级标注的方法为：为显微图像的每一个像素生成相应的类别标签，所述类别标签为背景树脂、镜质组、惰质组或壳质组中的一种。
5.根据权利要求1所述的一种基于跨模态融合和注意力机制的有机质显微组分鉴定方法，其特征在于，cfa-unet首先通过跳跃连接将荧光模态的显微组分特征信息引入到油浸反射光有机质显微图像的特征提取网络中，然后使用eca模块对获得的...
【专利技术属性】
技术研发人员：邹亮，赵荣焕，徐志斌，雷萌，周星翰，郑丽娜，何坤，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。