一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法技术

本发明专利技术公开了一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，属于医学图像处理领域。随着人工智能与深度学习的不断发展，网络模型不断趋向复杂化，其参数量和运算量也在不断增加。本发明专利技术利用嵌入式AI处理器对宫腔镜图像进行实时预处理和特征提取，然后使用经过大模型焦点和全局知识蒸馏的网络模型对图像中的异常目标进行检测和分类，最后将检测结果输出到显示器上。本发明专利技术能够有效地提高宫腔镜图像目标检测的速度和准确度，满足医学目标检测的实时性需求，降低推理时间和计算资源的消耗。消耗。消耗。

【技术实现步骤摘要】
一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法


[0001]本专利技术涉及医学图像处理领域，具体涉及一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法。

技术介绍

[0002]宫腔镜是一种用于检查和治疗子宫内膜疾病的医疗器械，它可以将子宫腔内的图像通过光纤传输到显示器上，供医生观察和操作。宫腔镜图像目标检测是指对宫腔镜图像中的感兴趣区域进行定位和识别，如子宫内膜、息肉、肌瘤、粘连等，以便于医生进行诊断和治疗。宫腔镜图像目标检测是一种具有挑战性的任务，因为宫腔镜图像通常具有低分辨率、低对比度、高噪声、遮挡、形变等特点，导致目标难以识别。为了提高宫腔镜图像目标检测的性能和准确度，近年来出现了许多基于深度学习的方法，如卷积神经网络(CNN)。这些方法通常需要大量的标注数据和计算资源来训练复杂的模型，如Faster R
‑
CNN、YOLO、SSD等。然而，这些模型在推理时需要较长的时间和较高的内存消耗，不适合用于实时的医学目标检测。
[0003]为了解决这个问题，一种可行的方案是使用嵌入式AI处理器来加速宫腔镜图像目标检测。嵌入式AI处理器是一种专门设计用于执行人工智能任务的芯片，如NVIDIA Jetson Nano、Google Coral Edge TPU等。这些芯片具有低功耗、高性能、小尺寸等优点，可以在边缘设备上实现快速的图像处理和推理。然而，直接将深度学习模型部署到嵌入式AI处理器上仍然存在一些问题，如模型过大、计算量过高、精度损失等。为了解决这些问题，一种有效的方法是使用大模型知识蒸馏(Big Model Knowledge Distillation,BMKD)。BMKD是一种模型压缩的技术，它通过构建一个轻量化的小模型(学生模型)，利用性能更好的大模型(教师模型)的监督信息，来训练这个小模型，以期达到更好的性能和精度。BMKD可以有效地减少模型的参数数量和计算量，提高模型在嵌入式AI处理器上的运行效率和适应性。
[0004]本专利技术就是基于嵌入式AI处理器和BMKD技术，提出了一种加速宫腔镜图像目标检测的方法。

技术实现思路

[0005]本专利技术的目的在于提供一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，主要采用知识蒸馏的方法利用大模型训练一个实时性好，推理时间短又能保持一定精度的轻量模型。当前的知识蒸馏方法多用于图像分类的任务，本专利在此基础上改进模型损失函数，一定程度上可以改进知识蒸馏在目标检测任务上的表现，便于使用AI处理器进行加速。
[0006]本专利技术的目的通过以下技术方案予以实现：
[0007]一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，包括以下步骤：
[0008]步骤1：准备一组宫腔镜图像用于模型训练，训练前对图像进行预处理，包括：图像缩放，随机水平翻转，随机垂直翻转，随机角度旋转，Gamma变换，中心裁剪，标准化；
[0009]步骤2：使用GAIA大模型作为教师网络，任意轻量级目标检测模型作为学生网络；
[0010]步骤3：将训练图像输入步骤2中提到的教师网络和学生网络，教师网络得到软标签，学生网络得到模型预测输出；
[0011]步骤4：通过GcBlock模块从网络的Neck中捕捉单个图像全局关系信息，以此计算得到损失函数中的全局蒸馏损失L
global
；
[0012]步骤5：通过网络Neck输出的特征图计算二元掩膜M
i,j
、尺度掩膜S
i,j
、注意力掩膜A
C
、A
S
,以此计算得到损失函数中的焦点蒸馏损失L
focal
；
[0013]步骤6：根据蒸馏所需的与软标签和学生网络预测输出计算得到原始损失函数L
original
,与目标检测步骤4、步骤5中损失函数相加，得到综合损失函数；
[0014]步骤7：根据损失函数L
global
、L
focal
、L
original
进行模型参数更新；
[0015]步骤8：重复步骤2
‑
7，直到训练次数达到预期值；
[0016]步骤9：将训练得到的轻量最优模型部署到合适的AI处理器中，使用NNIE进行加速，利用AI处理器的强大加速能力加速异常检测过程，增强实时性。
[0017]本专利技术的目的可以通过以下技术措施进一步实现：
[0018]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，学生网络使用二阶段检测模型、一阶段anchor
‑
based模型、一阶段anchor
‑
free模型均可。
[0019]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，Neck部分采用GcBlock模块，从模型的Neck部分获得特征图用于计算全局蒸馏损失。全局蒸馏损失的计算公式由式(Ⅰ)给出。
[0020]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，使用二元掩膜来分离图像的前景和背景。
[0021]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，使用尺度掩膜来平衡不同尺度目标对模型性能造成的影响。
[0022]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，考虑像素和通道注意力,计算特征图的像素和通道注意力图G
S
、G
C
,并以此计算注意力掩膜A
S
、A
C
。根据二元掩膜、尺度掩膜、注意力掩膜计算得到特征损失L
fea
。
[0023]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，使用注意力损失L
at
来迫使学生检测器模仿教师检测器的空间和通道注意力掩膜。焦点蒸馏损失由特征损失和注意力损失共同组成。
[0024]前述一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，推理引擎可采用3588嵌入式AI处理器，经过大模型蒸馏优化过的模型可以方便地进行部署，在边缘设备上实现快速的图像处理和推理。
[0025]与最接近的现有技术相比，本专利技术提供的技术方案具有如下有益效果：
[0026]采用焦点蒸馏损失函数和全局蒸馏损失函数平衡图像中的前景和背景，同时又不失像素间的关系信息，使得蒸馏的方法可以较好地应用于目标检测任务。将所得性能良好的轻量化模型在AI处理器上进行部署，可以加快推理速度，满足医学图像检测和诊断对实时性的要求。
附图说明
[0027]图1是本专利技术中宫腔镜图像目标检测加速方法流程图；
[0028]图2是本专利技术中宫腔镜图像目标检测方法效果图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嵌入式AI处理器的宫腔镜图像目标检测加速方法，其特征在于，包括以下步骤：步骤1：准备一组宫腔镜图像用于模型训练，训练前对图像进行预处理，包括：图像缩放，随机水平翻转，随机垂直翻转，随机角度旋转，Gamma变换，中心裁剪，标准化；步骤2：使用GAIA大模型作为教师网络，任意轻量级目标检测模型作为学生网络；步骤3：将训练图像输入步骤2中提到的教师网络和学生网络，教师网络得到软标签，学生网络得到模型预测输出；步骤4：通过GcBlock模块从网络的Neck中捕捉单个图像全局关系信息，以此计算得到损失函数中的全局蒸馏损失；步骤5：通过网络Neck输出的特征图计算二元掩膜、尺度掩膜、注意力掩膜、,以此计算得到损失函数中的焦点蒸馏损失；步骤6：根据蒸馏所需的与软标签和学生网络预测输出计算得到原始损失函数,与目标检测步骤4、步骤5中损失函数相加，得到综合损失函数；步骤7：根据损失函数、、进行模型参数更新；步骤8：重复步骤2
‑
7，直到训练次数达到预期值；步骤9：将训练得到的轻量最优模型部署到合适的AI处理器中，使用NNIE进行加速，利用AI处理器的强大加速能力加速异常检测过程，增强实时性。2.根据权利要求1所述的一种基于嵌入式AI处理器...

【专利技术属性】
技术研发人员：张云飞，蔡占毅，曹黎俊，
申请(专利权)人：江苏济远医疗科技有限公司，
类型：发明
国别省市：