一种基于视频分类的超声图像部位识别方法及系统技术方案

本发明专利技术公开了一种基于视频分类的超声图像部位识别方法及系统，涉及目标识别技术领域，该方法为：实时检测当前帧图像的超声扫查区域；根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像，计算当前帧图像的扫查速度；根据当前帧图像的扫查速度计算当前采样频率；从当前帧图像的前n帧图像开始至当前帧图像结束，提取一段帧图像；根据当前采样频率，对该段帧图像进行采样，得到一系列采样点图像；根据每个采样点的超声扫查区域图像进行视频分类，输出结果即为当前帧图像的部位类别。本发明专利技术基于当前帧图像的扫查速度动态调整当前帧采样频率，基于视频分类对采样得到的帧图像序列进行分类，提高了当前帧图像的部位识别精度。度。度。

【技术实现步骤摘要】
一种基于视频分类的超声图像部位识别方法及系统


[0001]本专利技术涉及目标识别
，尤其是一种基于视频分类的超声图像部位识别方法及系统。

技术介绍

[0002]图像分类是根据单张图片信息，对图片上的内容做预设性分类的任务。视频分类是综合一段视频信息，对视频中的内容做预设性分类的任务。相比图像分类，视频分类的优点是，视频分类模型的输入是一个图像序列，模型不仅能获得每个图像内的信息，还能获取图像与图像之间的信息，获得的信息量更大。
[0003]现阶段基于人工智能开发的超声算法不是通用算法，需要根据不同的超声扫查部位做具体的部位超声算法的调整和开发，特定的部位超声算法需要特定的部位信息作为输入参数。
[0004]因此，如何设计一个能够自动识别超声扫查部位的算法有很大的意义。医生在实际扫查时，如常规检查中，一般会按顺序扫查患者的不同部位，如甲状腺，乳腺，肝脏，肾脏等部位。这就需要部位识别算法能够根据实时获得的超声视频判断目前具体扫查部位，然后自动切换到相应的部位超声算法中，避免部位和部位超声算法不匹配产生的误检信息。相比迫使医生手动通过UI界面交互切换部位算法的方式，使用部位识别算法能大大减轻医生在交互上的负担。部位识别算法识别出部位后，可以供后续的部位超声算法使用，满足全流程自动化超声视频数据处理的需求。
[0005]经了解，经验丰富的超声医生能通过观看短时超声视频，准确的判断出当前超声扫查的部位，如甲状腺、乳腺、腹部等。通过与许多超声医生交流，发现超声医生判断超声扫查部位的依据主要是，不同组织和部位在超声成像下有它们独特的成像特点，如：甲状腺组织成像均匀；乳腺组织分层；腹部有各种大器官轮廓以及各种腔室的轮廓信息。但如果只给一张超声图像，超声扫查部位的判断准确率就会有所下降，主要原因是单张超声图像只是对某个部位的一个局部进行成像，信息量有限。不同的部位在超声探头动态扫查过程中，成像会根据各自部位特点，发生一些有规律的图像变化。这些动态信息对医生判断扫查部位具有重要的作用。
[0006]一般的超声设备会在操作界面上，通过文字的形式显示扫查的部位信息，如“甲状腺”、“乳腺”等字样。但市面上超声仪器厂家很多，不同厂家设计的操作界面上显示部位信息的位置和内容各有不同，如果通过传统的OCR字符检测识别技术对部位信息进行提取，以识别部位，有很大的局限性，这种方法主要存在以下缺点：首先，检测精度不仅受字符检测模型精度的约束，还会受到不同超声设备厂商设置字符字体，颜色等限制。
[0007]其次，操作界面上显示的部位信息字符占UI界面的比例往往很小，对字符检测模型来说，属于小目标检测任务，要想达到较高的检测精度，需要在大尺度下对整图进行检测，或者采用分块检测方式，然而这些方式往往具有高耗时的特点，在需要进行实时分析的
任务中，就意味着需要性能更强的硬件作为支撑，不利于模型在边缘设备上部署和产品成本的降低。

技术实现思路

[0008]为了克服上述现有技术中的缺陷，本专利技术提供一种基于视频分类的超声图像部位识别方法，基于当前帧图像的扫查速度动态调整当前帧采样频率，基于视频分类对采样得到的帧图像序列进行分类，提高了当前帧图像的部位识别精度。
[0009]为实现上述目的，本专利技术采用以下技术方案，包括：一种基于视频分类的超声图像部位识别方法，包括以下步骤：S1，输入超声视频，实时检测当前帧图像的超声扫查区域，从当前帧图像中提取当前帧的超声扫查区域图像；S2，根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像，计算当前帧图像的扫查速度v；S3，根据当前帧图像的扫查速度v，计算当前采样频率f；S4，从当前帧图像的前n帧图像开始至当前帧图像结束，提取一段帧图像；根据当前采样频率f，对所提取的该一段帧图像进行采样，得到一系列采样点图像；若当前帧图像为采样点图像，则进入步骤S5；若当前帧图像不为采样点图像，则当前帧图像的部位类别沿用前一帧图像的部位类别；S5，根据每个采样点的超声扫查区域图像进行视频分类，输出结果即为当前帧图像的部位类别。
[0010]优选的，还包括以下步骤：S6，按照步骤S1
‑
S5的方式得到超声视频中每一帧图像的部位类别后，对超声视频进行划分，每m秒划分为一段子视频，根据子视频中每一帧图像的部位类别，选择帧数量占比最多的部位类别作为子视频的部位类别。
[0011]优选的，步骤S1中，采用基于深度学习的目标检测模型实时检测当前帧图像的超声扫查区域；所述目标检测模型的训练数据为已标注有包围框的超声图像，包围框内即为超声扫查区域。
[0012]优选的，步骤S1中，还对当前帧图像中检测出的超声扫查区域进行校验，并根据超声扫查区域的校验结果进行后处理：若检验通过，即超声扫查区域检测正确，则提取当前帧的超声扫查区域图像；若检验不通过，即超声扫查区域检测错误，则跳过当前帧图像，继续检测下一帧图像的超声扫查区域，后续在步骤S4中提取一段帧图像时，不对所跳过的帧图像进行提取。
[0013]优选的，对当前帧图像中检测出的超声扫查区域的位置进行校验，校验方式具体如下所示：超声视频中当前帧图像的宽度为W，高度为H；当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y)；若x>0.8W或x<0.2W或y>0.8H或y<0.2H，则当前帧图像中检测出的超声扫查区域为校验不通过；若0.2W≤x≤0.8W且0.2H≤y≤0.8H，则当前帧图像中检测出的超声扫查区域
为校验通过。
[0014]优选的，步骤S2中，当前帧图像的扫查速度v的计算方式具体如下所示：img=abs(pre_img
–
cur_img)；v=Count(img>0)/(img_w
×
img_h)；其中，pre_img表示前一帧图像，cur_img表示当前帧图像，img表示差分图像，abs(
·
)函数表示对前一帧图像pre_img的像素值和当前帧图像cur_img的像素值的差值取绝对值；Count(img>0)表示统计差分图像img中像素值大于0的像素点数量，img_w为差分图像中沿宽度方向的像素点数量，img_h为差分图像中沿高度方向的像素点数量，img_w
×
img_h为差分图像的像素点总数量；v为当前帧图像的扫查速度。
[0015]优选的，步骤S3中，当前采样频率f的计算方式具体如下所示：设定：采样频率的取值范围为[f_low,f_high]，扫查速度的取值范围为[v_low,v_high]；f=round[f_high
‑
(v
‑
v_low)
×
(f_high
–
f_low)/(v_high
–
v_low)]；其中，round[
·
]为向上取整函数，f为当前采样频率。
[0016]优选的，步骤S5中，视频分类采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频分类的超声图像部位识别方法，其特征在于，包括以下步骤：S1，输入超声视频，实时检测当前帧图像的超声扫查区域，从当前帧图像中提取当前帧的超声扫查区域图像；S2，根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像，计算当前帧图像的扫查速度v；S3，根据当前帧图像的扫查速度v，计算当前采样频率f；S4，从当前帧图像的前n帧图像开始至当前帧图像结束，提取一段帧图像；根据当前采样频率f，对所提取的该一段帧图像进行采样，得到一系列采样点图像；若当前帧图像为采样点图像，则进入步骤S5；若当前帧图像不为采样点图像，则当前帧图像的部位类别沿用前一帧图像的部位类别；S5，根据每个采样点的超声扫查区域图像进行视频分类，输出结果即为当前帧图像的部位类别。2.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法，其特征在于，还包括以下步骤：S6，按照步骤S1
‑
S5的方式得到超声视频中每一帧图像的部位类别后，对超声视频进行划分，每m秒划分为一段子视频，根据子视频中每一帧图像的部位类别，选择帧数量占比最多的部位类别作为子视频的部位类别。3.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法，其特征在于，步骤S1中，采用基于深度学习的目标检测模型实时检测当前帧图像的超声扫查区域；所述目标检测模型的训练数据为已标注有包围框的超声图像，包围框内即为超声扫查区域。4.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法，其特征在于，步骤S1中，还对当前帧图像中检测出的超声扫查区域进行校验，并根据超声扫查区域的校验结果进行后处理：若检验通过，即超声扫查区域检测正确，则提取当前帧的超声扫查区域图像；若检验不通过，即超声扫查区域检测错误，则跳过当前帧图像，继续检测下一帧图像的超声扫查区域，后续在步骤S4中提取一段帧图像时，不对所跳过的帧图像进行提取。5.根据权利要求4所述的一种基于视频分类的超声图像部位识别方法，其特征在于，对当前帧图像中检测出的超声扫查区域的位置进行校验，校验方式具体如下所示：超声视频中当前帧图像的宽度为W，高度为H；当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y)；若x>0.8W或x<0.2W或y>0.8H或y<0.2H，则当前帧图像中检测出的超声扫查区域为校验不通过；若0.2W≤x≤0.8W且0.2H≤y≤0.8H，则当前帧图像中检测出的超声扫查区域为校验通过。6.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法，其特征在于，步骤S2中，当前帧图像的扫查速度v的计算方式具体如下所示：img=abs(pre_img
–
cur_img)；v=Count(img>0)/(img_w
×
img_h)；其中，pre_...

【专利技术属性】
技术研发人员：程栋梁，王晨，刘振，黄琦，
申请(专利权)人：合肥合滨智能机器人有限公司，
类型：发明
国别省市：