医用内窥镜图像处理方法和系统技术方案

本发明专利技术实施例公开了一种医用内窥镜图像处理方法和系统，具体包括：在医用内窥镜输出视频流时从视频流中确定出第一内窥镜图像；确定医用内窥镜采集第一内窥镜图像时的坐标位置和进镜速度；将坐标位置和第一内窥镜图像输入器官识别模型中，得到医用内窥镜采集第一内窥镜图像时所在当前器官的器官类别；根据器官类别

【技术实现步骤摘要】
医用内窥镜图像处理方法和系统


[0001]本专利技术属于图像处理
，尤其涉及医用内窥镜图像处理方法和系统
。

技术介绍

[0002]随着医疗影像技术的发展，医用内窥镜被广泛用于人体电子检查，以通过医用内窥镜采集人体内部各个器官的影像，通过影像分析确定病灶部分
。
[0003]目前，在使用医用内窥镜的过程中，医用内窥镜输出视频流到上位机连接的显示屏，在显示屏上实时显示当前采集到的图像，当需要再次查看内窥镜已查看过的位置时，一种方式是需要控制医用内窥镜退镜到指定位置再次采集图像，另一种方式是对上位机操作，从已接收的视频流中查找指定位置的图像
。
[0004]上述第一种方式需要来回控制医用内窥镜进镜
、
退镜，对人体器官造成一定影响，第二种方式需要停下医用内窥镜转换为操作上位机，操作麻烦，延长了医用内窥镜在人体内的时间，同样对人体器官造成影响
。

技术实现思路

[0005]本专利技术实施例的目的在于提供医用内窥镜图像处理方法和系统，旨在解决
技术介绍
中提出的问题
。
[0006]为实现上述目的，本专利技术实施例提供如下技术方案：一种医用内窥镜图像处理方法，具体包括以下步骤：在医用内窥镜进镜输出视频流时，从所述视频流中确定出第一内窥镜图像；确定所述医用内窥镜采集所述第一内窥镜图像时的坐标位置和进镜速度；将所述坐标位置和所述第一内窥镜图像输入器官识别模型中，得到所述医用内窥镜采集所述第一内窥镜图像时所在当前器官的器官类别；根据所述器官类别
、
所述坐标位置以及所述进镜速度确定第二内窥镜图像，所述第二内窥镜图像为所述视频流中在所述第一内窥镜图像之前的图像；关联所述第一内窥镜图像和所述第二内窥镜图像，以在显示所述第一内窥镜图像时显示所述第二内窥镜图像
。
[0007]作为本专利技术实施例技术方案进一步的限定，所述在医用内窥镜进镜输出视频流时，从所述视频流中确定出第一内窥镜图像，具体包括以下步骤：在医用内窥镜进镜输出视频流时，将所述视频流输入图像质量评估模型中，得到所述视频流中每帧内窥镜图像的质量分数；将质量分数大于阈值的内窥镜图像确定为第一候选内窥镜图像；从所述第一候选内窥镜图像中确定出属于关键帧的图像，以作为第一内窥镜图像
。
[0008]作为本专利技术实施例技术方案进一步的限定，所述器官识别模型通过以下步骤训练：
获取训练图像和医用内窥镜采集所述训练图像时的坐标位置，并为所述训练图像和所述坐标位置标注第一器官类别，以及将所述训练图像和所述坐标位置作为训练数据对；初始化器官识别模型；随机提取训练数据对中的训练图像和所述坐标位置输入所述器官识别模型中，得到所述训练图像的第二器官类别和所述坐标位置的第三器官类别；将所述第一器官类别
、
第二器官类别
、
第三器官类别输入损失函数中得到损失率；判断所述损失率是否小于损失率阈值；若是，停止对所述器官识别模型进行训练；若否，根据所述损失率对所述器官识别模型的参数进行更新，返回随机提取训练数据对中的训练图像和所述坐标位置输入所述器官识别模型中的步骤
。
[0009]作为本专利技术实施例技术方案进一步的限定，所述损失函数如下：；其中，为第
i
个训练数据对中坐标位置的第三器官类别，为第
i
个训练数据对中训练图像的第二器官类别，为第
i
个训练数据对中坐标位置和训练图像标注的第一器官类别，
n
为训练数据对的数量，为坐标位置的权重，为训练图像的权重，为训练数据对中训练图像和坐标位置预测结果的误差权重
。
[0010]作为本专利技术实施例技术方案进一步的限定，所述根据所述器官类别
、
所述坐标位置以及所述进镜速度确定第二内窥镜图像，具体包括以下步骤：从所述视频流中筛选出第二候选内窥镜图像，所述第二候选内窥镜图像为在所述当前器官内采集的
、
在所述第一内窥镜图像之前的图像；根据所述坐标位置和所述进镜速度从所述第二候选内窥镜图像中确定出至少一帧内窥镜图像，以作为第二内窥镜图像
。
[0011]作为本专利技术实施例技术方案进一步的限定，所述根据所述坐标位置和所述进镜速度从所述第二候选内窥镜图像中确定出至少一帧内窥镜图像，以作为第二内窥镜图像，具体包括以下步骤：在预设的时长因子表中查找与所述器官类别
、
坐标位置
、
进镜速度匹配的目标时长因子，所述时长因子表中包括医用内窥镜在每种类别的器官中的各个位置时不同进镜速度对应的时长因子；获取所述第一内窥镜图像的第一时间点；确定所述医用内窥镜进入所述当前器官的时长，并计算所述时长与所述时长因子的乘积得到目标时长；将所述第一时间点之前的
、
与所述第一时间点的间隔时长等于所述目标时长的时间点确定为第二时间点，并确定所述医用内窥镜在所述第二时间点时在所述当前器官中的位置；从所述视频流中确定出所述医用内窥镜在所述第二时间点时在所述当前器官中
的位置采集的内窥镜图像确定为第二内窥镜图像
。
[0012]作为本专利技术实施例技术方案进一步的限定，所述根据所述坐标位置和所述进镜速度从所述第二候选内窥镜图像中确定出至少一帧内窥镜图像，以作为第二内窥镜图像，具体包括以下步骤：从所述视频流中截取视频片段，所述视频片段为所述医用内窥镜进入所述当前器官后所采集的视频片段；将所述器官的器官类别
、
所述坐标位置
、
所述进镜速度以及所述视频片段输入图像选择模型中，得到第二内窥镜图像
。
[0013]作为本专利技术实施例技术方案进一步的限定，所述关联所述第一内窥镜图像和所述第二内窥镜图像，具体包括以下步骤：在所述第二内窥镜图像为所述医用内窥镜在同一个坐标位置采集的多个方向的图像时，将多张所述第二内窥镜图像拼接为全景图像；关联所述第一内窥镜图像和所述全景图像
。
[0014]一种医用内窥镜图像处理系统，具体包括以下单元：第一内窥镜图像确定单元，用于在医用内窥镜进镜输出视频流时，从所述视频流中确定出第一内窥镜图像；坐标位置和进镜速度确定单元，用于确定所述医用内窥镜采集所述第一内窥镜图像时的坐标位置和进镜速度；器官类别识别单元，用于将所述坐标位置和所述第一内窥镜图像输入器官识别模型中，得到所述医用内窥镜采集所述第一内窥镜图像时所在当前器官的器官类别；第二内窥镜图像确定单元，用于根据所述器官类别
、
所述坐标位置以及所述进镜速度确定第二内窥镜图像，所述第二内窥镜图像为所述视频流中在所述第一内窥镜图像之前的图像；图像关联显示单元，用于关联所述第一内窥镜图像和所述第二内窥镜图像，以在显示所述第一内窥镜图像时显示所述第二内窥镜图像
。
[0015]作为本专利技术实施例技术方案进一步的限定，所述第一内窥镜图像确定单元具体包括：图像质量评估模块，用于在医用内窥镜进镜输出视频流时，将所述视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种医用内窥镜图像处理方法，其特征在于，具体包括以下步骤：在医用内窥镜进镜输出视频流时，从所述视频流中确定出第一内窥镜图像；确定所述医用内窥镜采集所述第一内窥镜图像时的坐标位置和进镜速度；将所述坐标位置和所述第一内窥镜图像输入器官识别模型中，得到所述医用内窥镜采集所述第一内窥镜图像时所在当前器官的器官类别；根据所述器官类别
、
所述坐标位置以及所述进镜速度确定第二内窥镜图像，所述第二内窥镜图像为所述视频流中在所述第一内窥镜图像之前的图像；关联所述第一内窥镜图像和所述第二内窥镜图像，并在显示所述第一内窥镜图像时显示所述第二内窥镜图像
。2.
根据权利要求1所述的医用内窥镜图像处理方法，其特征在于，所述在医用内窥镜进镜输出视频流时，从所述视频流中确定出第一内窥镜图像，具体包括以下步骤：在医用内窥镜进镜输出视频流时，将所述视频流输入图像质量评估模型中，得到所述视频流中每帧内窥镜图像的质量分数；将质量分数大于阈值的内窥镜图像确定为第一候选内窥镜图像；从所述第一候选内窥镜图像中确定出属于关键帧的图像，以作为第一内窥镜图像
。3.
根据权利要求1所述的医用内窥镜图像处理方法，其特征在于，所述器官识别模型通过以下步骤训练：获取训练图像和医用内窥镜采集所述训练图像时的坐标位置，并为所述训练图像和所述坐标位置标注第一器官类别，以及将所述训练图像和所述坐标位置作为训练数据对；初始化器官识别模型；随机提取训练数据对中的训练图像和所述坐标位置输入所述器官识别模型中，得到所述训练图像的第二器官类别和所述坐标位置的第三器官类别；将所述第一器官类别
、
第二器官类别
、
第三器官类别输入损失函数中得到损失率；判断所述损失率是否小于损失率阈值；若是，停止对所述器官识别模型进行训练；若否，根据所述损失率对所述器官识别模型的参数进行更新，返回随机提取训练数据对中的训练图像和所述坐标位置输入所述器官识别模型中的步骤
。4.
根据权利要求3所述的医用内窥镜图像处理方法，其特征在于，所述损失函数如下：；其中，为第
i
个训练数据对中坐标位置的第三器官类别，为第
i
个训练数据对中训练图像的第二器官类别，为第
i
训练数据对中坐标位置和训练图像标注的第一器官类别，
n
为训练数据对的数量，为坐标位置的权重，为训练图像的权重，为训练数据对中训练图像和坐标位置预测结果的误差的权重
。5.
根据权利要求1‑4任一项所述的医用内窥镜图像处理方法，其特征在于，所述根据所述器官类别
、
所述坐标位置以及所述进镜速度确定第二内窥镜图像，具体包括以下步骤：从所述视频流中筛选出第二候选内窥镜图像，所述第二候选内窥镜图像为在所述当前
器官内采集的
、
在所述第一内窥镜图像之前的图像；根据所述坐标位置和所述进镜速度从所述第二候选内窥镜图像中确定出至少一帧内窥镜图像，以作为第二内窥镜图像
。6.
根据权利要求5所述的医用内窥镜...

【专利技术属性】
技术研发人员：谭亚军，陈锦棋，
申请(专利权)人：广东实联医疗器械有限公司，
类型：发明
国别省市：