【技术实现步骤摘要】
本专利技术涉及图像融合，具体为基于深度学习的血管荧光图像与rgb图像融合系统。
技术介绍
1、图像融合是指将荧光图像与rgb图像进行结合，生成一张包含两者信息的图像。
2、公开号为cn117575924a的中国专利公开了一种统一模型的可见光与近红外荧光图像融合方法，主要通过各种融合颜色模式的统一模型，融合过程不需要硬阈值参数和针对性调优的超参数，所以模型泛化性更好，在融合过程种将图像的色彩与亮度解耦，既能够灵活设置融合过程中亮度和色彩的融合方案，又能够同时兼顾呈现可见光图像的细节和近红外荧光图像信号的强弱，设计正弦三角非线性的动态融合系数，客源消除融合边界的锯齿现象，使得融合效果更加真实，边界过渡自然，上述专利虽然解决了图像融合的问题，但是在实际操作中还存在以下问题：
3、1.没有根据融合图像的模型进行进一步的深度网络学习优化，从而导致融合图像的性能降低。
4、2.没有采用最佳的优化方式对融合图像进行融合，从而导致不同分辨率的图像无法融合。
5、3.没有将图像进行有效的图像优化，从而导致图像融合效果降低。
技术实现思路
1、本专利技术的目的在于提供基于深度学习的血管荧光图像与rgb图像融合系统，将调整后的红外图像输入到生成器中，损失函数也变了，这样的处理步骤可以确保在后续图像处理中，尽量避免出现因为分辨率不匹配而导致的噪声问题，从而保障最终融合结果的清晰度和准确性，通过正向传播和反向传播的方式，可以精确地调整模型参数，使得模型在处理图
2、为实现上述目的，本专利技术提供如下技术方案：
3、基于深度学习的血管荧光图像与rgb图像融合系统，包括：
4、图像采集处理单元，用于：
5、将血管荧光图像和rgb图像分别进行采集，采集完成后统一进行图像优化处理，并将优化处理完成的图像标注为目标融合图像；
6、图像融合处理单元，用于：
7、将目标融合图像进行图像配准，图像配准完成后根据图像融合算法将配准完成的目标融合图像进行图像融合，图像融合完成后得到标准融合图像；
8、融合图像加强单元，用于：
9、将标准融合图像进行模型构建，并将模型构建完成的标准融合图像进行神经网络模型运算，神经网络模型运算完成后得到加强融合图像，并将加强融合图像作为最终的学习图像。
10、优选的，所述图像采集处理单元，包括：
11、图像采集模块，用于：
12、将血管荧光图像进行图像采集，其中，血管荧光图像是通过高速摄像机捕捉荧光反应的过程；
13、将rgb图像进行图像采集，其中，rgb图像是通过摄像头捕捉红、绿、蓝三个颜色通道的图像信息；
14、并将血管荧光图像和rgb图像单独进行存储。
15、优选的，所述图像采集处理单元，还包括：
16、图像处理模块，用于：
17、将单独存储的血管荧光图像和rgb图像分别进行图像预处理；
18、图像预处理包括对血管荧光图像和rgb图像的去噪、亮度和对比度的优化；
19、其中，先将血管荧光图像和rgb图像的清晰度数值进行确认，采用高斯滤波模型对清晰度数值不在标准清晰度范围内的图像进行滤波处理，并对滤波去噪效果进行评估；
20、若评估效果未达到设定的去噪效果，则对高斯滤波模型进行滤波参数调整，调整后重新进行图像滤波处理和评估，直至滤波后的图像达到预设的去噪效果为止；
21、将血管荧光图像和rgb图像去噪处理后的亮度值进行确认，若图像的亮度值小于预设的亮度阈值，则先获取并记录图像中的颜色，然后去除图像中的颜色使图片的亮度更加均匀；
22、再通过调整图像的灰度级别达到图像的白平衡，在达到白平衡之后，根据记录的图像颜色对图像进行色彩渲染，得到白平衡调整的图像；
23、将血管荧光图像和rgb图像白平衡调整后的图像的前景区域和背景区域进行识别，并确认前景区域和背景区域的对比度；
24、若对比度小于预设的对比度阈值，则对前景区域进行图像增强处理；
25、提取前景区域和背景区域之间临界位置的边缘特征，根据边缘特征识别临界位置宽度；
26、若临界位置宽度超过设定的宽度阈值，则将临界位置宽度进行两边对称缩减至与宽度阈值相等，得到清晰度调整后的图片；
27、并将清晰度调整后的图像标注为目标融合图像。
28、优选的，对滤波去噪效果进行评估的方式如下：
29、采用设定的像素尺寸为m×n对滤波后的血管荧光图像进行图像块分割，得到多个第一图像块；遍历滤波后的rgb图像分别和每个第一图像块进行相似度对比，将与第一图像块相似度最大且相似度大于设定值的滤波后的rgb图像中的图像块作为第二图像块，将相应的第一图像块和第二图像块作为图像块对；剔除分割剩余的滤波后的血管荧光图像和rgb图像，以及剔除无法形成图像块对的第一图像块或者第二图像块；
30、对每个图像块对采用以下公式计算滤波指数：
31、
32、上式中，表示第个图像块对的滤波指数；表示第一图像块中像素点的第个图像参数；表示第二图像块中像素点的第个图像参数；表示红r、绿g、蓝b三个通道的颜色图像参数；
33、若计算得到的所有滤波指数都大于预先设定的指数阈值，则表示滤波后的图像达到预设的去噪效果；否则，表示未达到设定的去噪效果。
34、优选的，所述图像融合处理单元，还用于：
35、根据图像融合算法将配准完成的目标融合图像进行图像融合；
36、图像融合包括融合图像和可视图像，融合图像和可视图像根据鉴别器和生成器进行计算；
37、鉴别器和生成器损失函数的计算公式如下：
38、。
39、d表示为鉴别器结果；g表示为生成器的生成结果；表示为先验的输入噪声变量；g(z;)表示为数据空间的映射，g为可微函数，通过一个参数为的多层感知器表示；d(x;)表示为第二个多层感知器；d和g进行极小极大博弈，其值函数为v(g，d)。
40、优选的，所述图像融合处理单元，还用于：
41、图像融合后将鉴别器和生成器的损失函数进行计算，生成器损失函数的计算公式如下：
42、
43、其中，表示总损失；表示生成器的损失函数和鉴别器；λ用于平衡和；
44、生成器的损失函数和鉴别器的计算公式如下：
45、
46、其中，表示融合图像；n表示融合图像的数量；
47、和中的计算公式如下：
48、
49、其中，h,w 分别代表输入图片的高和宽； 表示矩阵fribenius范数；表示梯度算子；
本文档来自技高网...【技术保护点】
1.基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像采集处理单元，包括：
3.根据权利要求2所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像采集处理单元，还包括：
4.根据权利要求3所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：对滤波去噪效果进行评估的方式如下：
5.根据权利要求3所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
6.根据权利要求5所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
7.根据权利要求6所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
8.根据权利要求7所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
9.根据权利
10.根据权利要求1所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像采集处理单元，包括：
...【技术特征摘要】
1.基于深度学习的血管荧光图像与rgb图像融合系统，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的血管荧光图像与rgb图像融合系统，其特征在于：所述图像采集处理单元，包括：
3.根据权利要求2所述的基于深度学习的血管荧光图像与rgb图像融合系统，其特征在于：所述图像采集处理单元，还包括：
4.根据权利要求3所述的基于深度学习的血管荧光图像与rgb图像融合系统，其特征在于：对滤波去噪效果进行评估的方式如下：
5.根据权利要求3所述的基于深度学习的血管荧光图像与rgb图像融合系统，其特征在于：所述图像融合处理单元，还用于：
6.根据权利要...
【专利技术属性】
技术研发人员：侯泽渭，陶波，刘运辉，刘向蕾，季重阳，任飞亚，
申请(专利权)人：苏州西默医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。