【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种乳腺光学影像处理方法及装置、存储介质及电子设备。
技术介绍
1、乳腺癌的早期检测和诊断是乳腺癌治疗的关键。医生在诊断时需要对乳腺影像进行观察和分析，依赖于医生的经验和对乳腺影像的解读进行诊断。乳腺影像具有负载的特征和变化，依靠医生的肉眼难以全面捕捉这些细微的差异，极易影响医生的诊断结果。故而，如何为医生提供准确、全面的乳腺影像的描述信息，提高医生的诊断结果的准确率，成为目前亟需解决的问题。
技术实现思路
1、有鉴于此，本申请实施例提供一种乳腺光学影像处理方法及装置、存储介质及电子设备，本申请将病理文本以及乳腺光学影像处理成结构化多模态数据，然后乳腺动态光学影像多模态大模型结合提问数据和结构化多模态数据得到乳腺影像分析数据，使用结构化多模态数据可以从多个方向分析乳腺影像，并且结合提问数据进行分析，提高了得到的数据的精度和准确性。
2、为实现上述目的，本专利技术实施例提供如下技术方案：
3、一种乳腺光学影像处理方法，包括：
4、获取病理文本和乳腺光学影像，所述乳腺光学影像包括乳腺近红外影像和乳腺动态近红外影像；
5、对所述乳腺光学影像进行预处理，得到结构化影像；
6、评估所述病理文本的文本权重，并对所述病理文本中的高纬度词义空间进行降维处理和文本优化处理，得到结构化病理文本；
7、将所述结构化影像和所述结构化病理文本进行级联融合，得到结构化多模态数据；
8、获取提问数
9、使用预先训练完成的乳腺动态光学影像多模态大模型对所述结构化多模态数据和所述提问数据进行处理，输出乳腺影像分析数据，所述乳腺影像分析数据中包含所述提问数据中的每个图像描述问题的推导答案。
10、上述的方法，可选的，所述对所述乳腺光学影像进行预处理，得到结构化影像，包括：
11、对所述乳腺光学影像进行去噪处理，得到去噪影像；
12、对所述去噪影像中的乳腺图像进行非线性灰度变换，以对所述去噪影像进行校准，得到校准影像；
13、调整所述去噪影像的亮度和对比度，以及进行尺寸缩放和空间归一化操作，得到标准化后的结构化影像。
14、上述的方法，可选的，训练乳腺动态光学影像多模态大模型的过程，包括：
15、加载乳腺动态光学影像多模态大模型的二维模型和二维模型的模型权重，所述二维模型为预先使用二维的各个乳腺近红外样本影像进行预训练的模型，所述二维模型用于提取二维图像中的特征；
16、使用三维的各个乳腺动态近红外样本影像对所述乳腺动态光学影像多模态大模型的三维模型进行预训练，直到三维模型完成预训练；
17、获取多模态样本数据，所述多模态样本数据中包含病理样本文本、第一样本影像数据以及第二样本影像数据；
18、使用所述多模态样本数据对所述乳腺动态光学影像多模态大模型进行微调，以便同时调整二维模型和三维模型的模型权重，直至所述乳腺动态光学影像多模态大模型满足预设的收敛条件时，完成对所述乳腺动态光学影像多模态大模型的训练。
19、上述的方法，可选的，所述使用预先训练完成的乳腺动态光学影像多模态大模型对所述结构化多模态数据和所述提问数据进行处理，输出乳腺影像分析数据，包括：
20、将所述结构化多模态数据输入乳腺动态光学影像多模态大模型中，以及将所述提问数据输入该乳腺动态光学影像多模态大模型中；
21、所述乳腺动态光学影像多模态大模型从所述结构化多模态数据的结构化影像中提取影像特征数据，以及从所述结构化多模态数据的结构化病理文本中提取文本特征数据；
22、基于所述影像特征数据、所述文本特征数据和所述提问数据生成第一阶段分析内容，所述第一阶段分析内容包含所述提问数据中的每个图像描述问题的筛查内容；
23、对所述第一阶段分析内容和所述影像特征数据做进一步处理，得到第二阶段分析内容，所述第二阶段分析内容包含所述提问数据中的每个图像描述问题的推导答复内容，并将所述第二阶段分析内容确定为乳腺影像分析数据。
24、上述的方法，可选的，还包括：
25、将与所述乳腺光学影像对应的预设描述问题多次输入微调后的乳腺动态光学影像多模态大模型；
26、获取所述乳腺动态光学影像多模态大模型每次对所述预设描述问题输出的问题答复；
27、获取每个所述问题答复的答案评分，基于各个所述问题答复的答案评分将各个所述问题答复进行排序，得到各个所述问题答复的评分排序结果；
28、将所述评分排序结果反馈至所述乳腺动态光学影像多模态大模型中，并通过反向传播算法调整乳腺动态光学影像多模态大模型。
29、一种乳腺光学影像处理装置，包括：
30、第一获取单元，用于获取病理文本和乳腺光学影像，所述乳腺光学影像包括乳腺近红外影像和乳腺动态近红外影像；
31、预处理单元，用于对所述乳腺光学影像进行预处理，得到结构化影像；
32、评估单元，用于评估所述病理文本的文本权重，并对所述病理文本中的高纬度词义空间进行降维处理和文本优化处理，得到结构化病理文本；
33、融合单元，用于将所述结构化影像和所述结构化病理文本进行级联融合，得到结构化多模态数据；
34、第二获取单元，用于获取提问数据，所述提问数据包含用于分析乳腺影像时的图像描述问题；
35、分析单元，用于使用预先训练完成的乳腺动态光学影像多模态大模型对所述结构化多模态数据和所述提问数据进行处理，输出乳腺影像分析数据，所述乳腺影像分析数据中包含所述提问数据中的每个图像描述问题的推导答案。
36、上述的装置，可选的，所述预处理单元，包括：
37、去噪处理模块，用于对所述乳腺光学影像进行去噪处理，得到去噪影像；
38、校准模块，用于对所述去噪影像中的乳腺图像进行非线性灰度变换，以对所述去噪影像进行校准，得到校准影像；
39、归一化模块，用于调整所述去噪影像的亮度和对比度，以及进行尺寸缩放和空间归一化操作，得到标准化后的结构化影像。
40、上述的装置，可选的，还包括：训练单元；
41、所述训练单元用于加载乳腺动态光学影像多模态大模型的二维模型和二维模型的模型权重，所述二维模型为预先使用二维的各个乳腺近红外样本影像进行预训练的模型，所述二维模型用于提取二维图像中的特征；使用三维的各个乳腺动态近红外样本影像对所述乳腺动态光学影像多模态大模型的三维模型进行预训练，直到三维模型完成预训练；获取多模态样本数据，所述多模态样本数据中包含病理样本文本、第一样本影像数据以及第二样本影像数据；使用所述多模态样本数据对所述乳腺动态光学影像多模态大模型进行微调，以便同时调整二维模型和三维模型的模型权重，直至所述乳腺动态光学影像多模态大模型满足预设的收敛条件时，本文档来自技高网...
【技术保护点】
1.一种乳腺光学影像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述乳腺光学影像进行预处理，得到结构化影像，包括：
3.根据权利要求1所述的方法，其特征在于，训练乳腺动态光学影像多模态大模型的过程，包括：
4.根据权利要求1所述的方法，其特征在于，所述使用预先训练完成的乳腺动态光学影像多模态大模型对所述结构化多模态数据和所述提问数据进行处理，输出乳腺影像分析数据，包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.一种乳腺光学影像处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述预处理单元，包括：
8.根据权利要求6所述的装置，其特征在于，还包括：训练单元；
9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1-5任意一项所述的乳腺光学影像处理方法。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者
...【技术特征摘要】
1.一种乳腺光学影像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述乳腺光学影像进行预处理，得到结构化影像，包括：
3.根据权利要求1所述的方法，其特征在于，训练乳腺动态光学影像多模态大模型的过程，包括：
4.根据权利要求1所述的方法，其特征在于，所述使用预先训练完成的乳腺动态光学影像多模态大模型对所述结构化多模态数据和所述提问数据进行处理，输出乳腺影像分析数据，包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.一种乳腺光学影像处理装置，其特征...
【专利技术属性】
技术研发人员：李杰，李小瑞，袁细国，李雪，郭君，张国旺，于强，
申请(专利权)人：浙江杜比医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。