用于内窥镜的病灶检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提出一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质，属于机器学习领域，该方法获取待检测图像，待检测图像为内窥镜采集得到的图像；通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像。其中，预先训练的内窥镜图像检测模型能够应用在内窥镜中，使得内窥镜能够对采集得到的图像进行实时病灶检测，在能够保证检测精度的同时，提高了检测速率，有利于医生快速获取病灶信息和病灶位置。且在不具备GPU硬件的条件下也能够对内窥镜采集得到的图像进行病灶区域的实时检测。灶区域的实时检测。灶区域的实时检测。

【技术实现步骤摘要】
用于内窥镜的病灶检测方法、装置、电子设备及存储介质


[0001]本申请涉及机器学习
，尤其涉及一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，基于深度学习的图像检测方法，由于模型大，计算复杂度高，只能部署在计算机上，通过计算机的GPU才能实时运行。在医生观察或诊治时，要求画面高清且低延时，且需要检测方法能够达到很高的实时性，但内窥镜主机一般是ARM架构，内存小，算力弱，不具备实时性，即基于内窥镜主机本身无法对内窥镜采集的图像进行实时病灶区域检测。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质。旨在构建一种内窥镜图像检测模型，应用在内窥镜上，使得内窥镜能够对采集得到的图像进行实时检测，并输出病灶显著性图像，能够在保证检测精度的同时，提高检测速度，且不需要GPU也能够运行。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种用于内窥镜的病灶检测方法，所述方法包括：获取待检测图像，所述待检测图像为内窥镜采集得到的图像；通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样
单元进行特征降维，得到第三特征图像；所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同。
[0005]在一些实施例，所述第一编码模块包括卷积层、批量归一化层、swish激活函数和下采样单元，所述第三编码模块和第四编码模块与所述第一编码模块的结构相同；所述第一解码模块包括卷积层、批量归一化层、swish激活函数和上采样单元，所述第三解码模块和第四解码模块与所述第一解码模块的结构相同；所述第五编码模块包括卷积层、批量归一化层和swish激活函数；所述第二编码模块包括U型网络结构单元和下采样单元，所述U型网络结构单元包括第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块、第一解码子模块、第二解码子模块和第三解码子模块；所述第一编码子模块、第二编码子模块和第三编码子模块与所述第一编码模块的结构相同，所述第四编码子模块与所述第五编码模块的结构相同，所述第一解码子模块、第二解码子模块和第三解码子模块与所述第一解码模块的结构相同；所述第一编码子模块的输出输入至所述第二编码子模块和所述第三解码子模块，所述第二编码子模块的输出输入至所述第三编码子模块和所述第二解码子模块，所述第三编码子模块的输出输入至所述第四编码子模块和所述第一解码子模块，所述第四编码子模块的输出输入至所述第一解码子模块，所述第一解码子模块的输出输入至所述第二解码子模块，所述第二解码子模块的输出输入至所述第三解码子模块；所述第三解码模块包括所述U型网络结构单元和上采样单元。
[0006]在获取待检测图像之后，所述方法还包括：将所述待检测图像裁剪成预设像素值大小的图像；将裁剪后的图像按通道进行标准化处理。
[0007]在一些实施例，所述将裁剪后的图像按通道进行标准化处理，包括：获取裁剪后的图像各个通道的像素均值和像素方差；将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。
[0008]在一些实施例，所述通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像，包括：通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出显著概率图；对所述显著概率图进行归一化处理；对归一化处理后的显著概率图乘以255，得到病灶显著性图像。
[0009]在一些实施例，在输出病灶显著性图像之后，所述方法还包括：确定分割阈值；根据所述分割阈值，基于阈值分割技术对所述病灶显著性图像进行分割，得到病灶区域的分割图像。
[0010]在一些实施例，预先训练所述内窥镜图像检测模型包括：根据内窥镜采集的图像，构建得到训练样本集，并对所述训练样本集中的每一幅图像的病灶区域进行标注，得到标注后的训练样本集；对标注后的训练样本集中的每一幅图像按通道进行标准化处理；获取标准化处理后的所述训练样本集对所述内窥镜图像检测模型进行训练；确定损失函数，并根据所述损失函数更新所述内窥镜图像检测模型的参数；判断所述内窥镜图像检测模型训练是否满足结束条件，若满足结束条件，则输出所述内窥镜图像检测模型，若不满足结束条件，则继续训练。
[0011]在一些实施例，预先训练所述内窥镜图像检测模型还包括：根据内窥镜采集的图像，构建得到验证图像集；将所述验证图像集输入所述内窥镜图像检测模型，以对所述内窥镜图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于内窥镜的病灶检测方法，其特征在于，所述方法包括：获取待检测图像，所述待检测图像为内窥镜采集得到的图像；通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同。2.根据权利要求1所述的方法，其特征在于：
所述第一编码模块包括卷积层、批量归一化层、swish激活函数和下采样单元，所述第三编码模块和第四编码模块与所述第一编码模块的结构相同；所述第一解码模块包括卷积层、批量归一化层、swish激活函数和上采样单元，所述第二解码模块和第四解码模块与所述第一解码模块的结构相同；所述第五编码模块包括卷积层、批量归一化层和swish激活函数；所述第二编码模块包括U型网络结构单元和下采样单元，所述U型网络结构单元包括第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块、第一解码子模块、第二解码子模块和第三解码子模块；所述第一编码子模块、第二编码子模块和第三编码子模块与所述第一编码模块的结构相同，所述第四编码子模块与所述第五编码模块的结构相同，所述第一解码子模块、第二解码子模块和第三解码子模块与所述第一解码模块的结构相同；所述第一编码子模块的输出输入至所述第二编码子模块和所述第三解码子模块，所述第二编码子模块的输出输入至所述第三编码子模块和所述第二解码子模块，所述第三编码子模块的输出输入至所述第四编码子模块和所述第一解码子模块，所述第四编码子模块的输出输入至所述第一解码子模块，所述第一解码子模块的输出输入至所述第二解码子模块，所述第二解码子模块的输出输入至所述第三解码子模块；所述第三解码模块包括所述U型网络结构单元和上采样单元。3.根据权利要求1所述的方法，其特征在于，在获取待检测图像之后，所述方法还包括：将所述待检测图像裁剪成预设像素值大小的图像；获取裁剪后的图像各个通道的像素均值和像素方差；将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。4.根据权利要求1所述的方法，其特征在于，所述通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像，...

【专利技术属性】
技术研发人员：刘华成，曹歌，李占鹏，廖想宏，鲁应君，
申请(专利权)人：惠州市先赞科技有限公司，
类型：发明
国别省市：