一种出血点检测方法、装置及系统制造方法及图纸

本申请提供一种出血点检测方法、装置及系统，该方法包括：确定原始检测图像与前一帧检测图像之间的光流检测信息，生成光流检测信息对应的光流检测图像；将原始检测图像和光流检测图像输入给目标网络模型，以通过目标网络模型从原始检测图像中提取上下文语义检测特征，从光流检测图像中提取运动检测特征，对上下文语义检测特征和运动检测特征进行融合，得到融合检测特征；将融合检测特征和上下文语义检测特征输入给目标网络模型，以通过目标网络模型输出二值掩膜检测图像，其包括出血区域和非出血区域；基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置。通过本申请的技术方案，能够快速且准确地定位到出血点位置，提高检测准确性。提高检测准确性。提高检测准确性。

【技术实现步骤摘要】
一种出血点检测方法、装置及系统


[0001]本申请涉及图像处理领域，尤其涉及一种出血点检测方法、装置及系统。

技术介绍

[0002]内窥镜(Endoscopes)是一种常用的医疗器械，由导光束结构及一组镜头组成，在内窥镜进入到目标对象的内部后，可以使用内窥镜采集目标对象内部的原始图像，并基于目标对象内部的原始图像对目标对象进行检查及治疗。
[0003]如果目标对象内部存在出血状况，则需要及时找到出血点，从而对出血点进行处理。然而，快速且准确地找到出血点比较困难，需要较高的专业知识和大量实操经验，对于经验不够丰富的医生来说，可能无法找到出血点，即使有内窥镜采集的原始图像，也无法基于原始图像获知目标对象内部的出血点。

技术实现思路

[0004]本申请提供一种出血点检测方法，所述方法包括：
[0005]通过内窥镜采集目标对象内部的原始检测图像；
[0006]确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；
[0007]将原始检测图像和光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，所述运动检测特征表示光流检测图像中出血点的运动信息；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
[0008]本申请提供一种出血点检测装置，所述装置包括：采集模块，用于通过内窥镜采集目标对象内部的原始检测图像；生成模块，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，并生成所述光流检测信息对应的光流检测图像；获取模块，用于将原始检测图像和光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，所述运动检测特征表示光流检测图像中出血点的运动信息；以及，将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像
素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；确定模块，用于基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
[0009]在一种可能的实施方式中，所述装置还包括训练模块，用于通过以下操作训练得到目标网络模型：通过内窥镜采集目标对象内部的原始训练图像；确定所述原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，并生成所述光流训练信息对应的光流训练图像；将原始训练图像和光流训练图像输入给初始网络模型，以通过所述初始网络模型从所述原始训练图像中提取上下文语义训练特征，从所述光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；其中，所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；其中，所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；其中，所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，出血区域中各像素点的像素值均为第一取值，非出血区域中各像素点的像素值均为第二取值；基于所述损失值对所述初始网络模型进行训练，得到目标网络模型。
[0010]本申请提供一种出血点检测系统，所述出血点检测系统包括：内窥镜、光源装置、摄像主机、显示装置和存储装置；其中：所述内窥镜，用于采集目标对象内部的原始检测图像，并将所述原始检测图像输入给所述摄像主机；
[0011]所述光源装置，用于为所述内窥镜提供光源；
[0012]所述摄像主机，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像，所述二值掩膜检测图像包括出血区域和非出血区域；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置；
[0013]所述显示装置，用于显示所述目标对象内部的出血点位置；
[0014]所述存储装置，用于存储所述原始检测图像和所述二值掩膜检测图像。
[0015]由以上技术方案可见，本申请实施例中，将原始检测图像和光流检测图像输入给目标网络模型，通过目标网络模型输出二值掩膜检测图像，基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置，也就是说，基于原始检测图像和光流检测图像确定目标对象内部的出血点位置，从而快速且准确地定位到出血点位置，实时准确地辅助定位到出血点，提醒医生尽快找到出血点，并对出血点进行处理。通过将光流检测图像输入给目标网络模型，可以将光流信息(即出血点的运动信息)输入给目标网络模型，从而使用运动信息来引导目标网络模型做出更加准确的判断，提高出血点位置检测的准确性。
附图说明
[0016]图1是本申请一种实施方式中的出血点检测系统的结构示意图；
[0017]图2是本申请一种实施方式中的目标网络模型的训练过程的方法流程图；
[0018]图3是本申请一种实施方式中的HSV颜色空间的示意图；
[0019]图4A和图4B是本申请一种实施方式中的初始网络模型的结构示意图；
[0020]图5是本申请一种实施方式中的出血点检测方法的流程示意图；
[0021]图6是本申请一种实施方式中的摄像主机的结构示意图；
[0022]图7是本申请一种实施方式中的智能处理单元的结构示意图；
[0023]图8A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种出血点检测方法，其特征在于，所述方法包括：通过内窥镜采集目标对象内部的原始检测图像；确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示所述原始检测图像中出血点的上下文语义信息，所述运动检测特征表示所述光流检测图像中出血点的运动信息；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。2.根据权利要求1所述的方法，其特征在于，所述生成所述光流检测信息对应的光流检测图像，包括：若所述光流检测信息包括运动方向和运动速度，则将所述运动方向映射到HSV颜色空间的色调分量，将所述运动速度映射到HSV颜色空间的明度分量；基于所述色调分量和所述明度分量生成所述光流检测图像。3.根据权利要求1所述的方法，其特征在于，所述目标网络模型包括第一子网络，第二子网络和第三子网络；所述通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，包括：通过所述目标网络模型的第一子网络从所述原始检测图像中提取上下文语义检测特征，并将所述上下文语义检测特征输入给所述第三子网络；通过所述目标网络模型的第二子网络从所述光流检测图像中提取运动检测特征，并将所述运动检测特征输入给所述第三子网络；通过所述第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，并将所述融合检测特征输入给所述第一子网络。4.根据权利要求3所述的方法，其特征在于，通过所述第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，包括：对所述运动检测特征进行卷积，得到卷积后的运动检测特征，并用激活函数对卷积后的运动检测特征进行映射，得到映射后的运动检测特征；对所述上下文语义检测特征和映射后的运动检测特征进行乘法运算，得到融合检测特征。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置之后，还包括：确定与所述出血点位置匹配的最小外接圆形；基于所述最小外接圆形确定所述目标对象内部的出血点面积；
统计出血点面积大于预设面积阈值的出血累积时间；在预览页面显示所述出血点位置、所述出血点面积和所述出血累积时间。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述目标网络模型的训练过程，包括：通过内窥镜采集目标对象内部的原始训练图像；确定所述原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，并生成所述光流训练信息对应的光流训练图像；将所述原始训练图像和所述光流训练图像输入给初始网络模型，以通过所述初始网络模型从所述原始训练图像中提取上下文语义训练特征，从所述光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；其中，所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；其中，所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；其中，所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值...

【专利技术属性】
技术研发人员：徐雨亭，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：