一种基于心脏超声视频测量特征尺寸的处理方法和装置制造方法及图纸

本发明专利技术实施例涉及一种基于心脏超声视频测量特征尺寸的处理方法和装置，所述方法包括：接收第一视频；进行视频帧图像提取；基于关键点检测模型对各帧图像进行关键点检测；进行舒张期与收缩期帧图像筛选；进行心室收缩中期帧图像筛选；在舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点和特称尺寸标注；在收缩期帧图像上对左心室内径进行关键点和特称尺寸标注；在心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点和特称尺寸标注；将完成标注的舒张期、收缩期、心室收缩中期帧图像作为处理结果输出。通过本发明专利技术可以解决常规方式中的人工介入问题，还可以提高测量效率。以提高测量效率。以提高测量效率。

【技术实现步骤摘要】
一种基于心脏超声视频测量特征尺寸的处理方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种基于心脏超声视频测量特征尺寸的处理方法和装置。

技术介绍

[0002]超声心动图技术是指使用超声波检查心脏和大血管的解剖结构及活动状态的无创性技术。二维超声心动图技术则是指由超声探头发出的超声束进入胸壁后呈扇形扫描，根据探头的设定部位和设定角度不同得到不同类型切面图(胸骨旁长轴切面图、胸骨旁短轴切面图、心尖切面图、剑突下切面图等)的超声心动图技术。在由二维超声心动图技术得到的胸骨旁长轴切面图上可对心脏左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉的切面结构进行观测，观测时主要是对上述切面结构的特征尺寸(左心室内径、右心室内径、室间隔厚度、左心室后壁厚度、左心房前后径、主动脉瓣环直径、主动脉窦部直径、升主动脉内径)进行测量。
[0003]目前，大多数对胸骨旁长轴切面图进行特征尺寸测量的具体实施步骤是这样的：操作者将心脏超声检查设备的超声探头置于检测者胸部与胸骨旁长轴切面图对应的检测部位并进行二维超声心动图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述方法包括：接收心脏超声视频作为对应的第一视频；对所述第一视频进行视频帧图像提取处理生成对应的第一帧图像序列；所述第一帧图像序列由多个第一帧图像P
i
按时间先后排序组成，各个所述第一帧图像对应一个第一帧时间戳T
i
，帧图像索引i≥1；基于预设的关键点检测模型对各个所述第一帧图像P
i
进行关键点检测处理得到对应的十六个关键点和八个特征尺寸；所述八个特征尺寸包括第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
；根据所有所述第一左心室内径d
vs,i
对所述第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；并根据所有所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
对所述第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像；在所述第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；并在所述第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；并在所述第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理；将完成关键点标记和特称尺寸标注处理的所述第一舒张期帧图像、所述第一收缩期帧图像和所述第一心室收缩中期帧图像作为本次心脏超声视频测量特征尺寸的处理结果输出。2.根据权利要求1所述的基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述关键点检测模型基于Keypoint
‑
RCNN模型实现；所述关键点检测模型包括第一特征提取网络、第一区域提案网络、第一关注区域对齐网络、第一全连接网络、第二全连接网络、第三全连接网络、第一关键点头网络和第一融合模块；所述第一特征提取网络与所述第一区域提案网络连接；所述第一区域提案网络与所述第一关注区域对齐网络连接；所述第一关注区域对齐网络分别与所述第一全连接网络和所述第一关键点头网络连接；所述第一全连接网络分别与所述第二全连接网络和所述第三全连接网络连接；所述第一融合模块分别与所述第一关键点头网络、所述第二全连接网络和所述第三全连接网络连接；所述第一特征提取网络为Resnet50网络；所述第一关键点头网络包括多个卷积神经网络；所述第一特征提取网络用于对模型输入图像进行主干特征提取处理生成对应的第一特征图；所述第一区域提案网络用于对所述第一特征图进行目标区域预识别处理生成多个第一预选框；所述第一预选框包括第一预选框偏移位置和第一预选框尺寸；所述第一预选框偏移位置为所述第一预选框在所述第一特征图中的偏移位置；所述目标区域包括十六类目标区域，分别为左心室的两个关键区域、主动脉瓣环的两个关键区域、主动脉窦部的两个关键区域、右心室的两个关键区域、室间隔的两个关键区域、左心室后壁的两个关键区域、左心房的两个关键区域和升主动脉的两个关键区域；所述第一预选框的数量大于16；所述第一关注区域对齐网络用于对所有所述第一预选框进行预选框合并处理生成十六个第一终选框，并将所述第一特征图上各个所述第一终选框的子特征图提取出来作为对应的第一子特征图；所述第一终选框包括第一终选框偏移位置和第一终选框尺寸；所述第
一终选框偏移位置为所述第一终选框在所述第一特征图中的偏移位置；十六个所述第一子特征图对应十六个关键点的区域特征，具体为：左心室第一关键点区域特征图、左心室第二关键点区域特征图、主动脉瓣环第一关键点区域特征图、主动脉瓣环第二关键点区域特征图、主动脉窦部第一关键点区域特征图、主动脉窦部第二关键点区域特征图、右心室第一关键点区域特征图、右心室第二关键点区域特征图、室间隔第一关键点区域特征图、室间隔第二关键点区域特征图、左心室后壁第一关键点区域特征图、左心室后壁第二关键点区域特征图、左心房第一关键点区域特征图、左心房第二关键点区域特征图、升主动脉第一关键点区域特征图、升主动脉第二关键点区域特征图；所述第一全连接网络用于对各个所述第一子特征图进行全局向量转换生成对应的第一全局向量；并对各个所述第一全局向量进行全连接计算生成对应的第一全连接向量；所述第二全连接网络用于根据各个所述第一子特征图对应的所述第一全连接向量对当前所述第一子特征图在所述模型输入图像中偏移位置进行回归预测生成对应的第一子特征图偏移位置；所述第三全连接网络用于根据各个所述第一子特征图对应的所述第一全连接向量对当前所述第一子特征图进行关键点分类预测生成十六个第一类型标签；所述第一子特征图类型标签的取值包括1或0；十六个所述第一类型标签对应十六个关键点类型，具体为：左心室第一关键点类型、左心室第二关键点类型、主动脉瓣环第一关键点类型、主动脉瓣环第二关键点类型、主动脉窦部第一关键点类型、主动脉窦部第二关键点类型、右心室第一关键点类型、右心室第二关键点类型、室间隔第一关键点类型、室间隔第二关键点类型、左心室后壁第一关键点类型、左心室后壁第二关键点类型、左心房第一关键点类型、左心房第二关键点类型、升主动脉第一关键点类型、升主动脉第二关键点类型；十六个所述第一类型标签中只有一个标签的取值为1、其余均为0；所述第一关键点头网络用于对十六个所述第一子特征图进行关键点位置识别得到十六个第一子特征图关键点；所述第一子特征图关键点对应一个第一关键点偏移位置；十六个所述第一子特征图关键点包括第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点、第二升主动脉关键点；所述第一融合模块用于根据各个所述第一子特征图对应的所述第一终选框偏移位置和对应的所述第一关键点偏移位置进行关键点绝对位置预测生成对应的第一预测关键点图像坐标；并从各个所述第一子特征图对应的十六个所述第一类型标签中选择取值为1的所述第一类型标签对应的关键点类型作为对应的第一预测关键点类型；并由各个所述第一子特征图对应的所述第一预测关键点图像坐标和所述第一预测关键点类型组成对应的输出特征向量；并由得到的十六个所述输出特征向量组成对应的模型输出张量并输出。3.根据权利要求2所述的基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述基于预设的关键点检测模型对各个所述第一帧图像P
i
进行关键点检测处理得到对应的十六个关键点和八个特征尺寸，具体包括：将所述第一帧图像P
i
输入所述关键点检测模型进行处理生成对应的第一模型输出张量；所述第一模型输出张量包括十六个第一输出特征向量；所述第一输出特征向量包括所
述第一预测关键点图像坐标和所述第一预测关键点类型；根据所述第一、第二左心室关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心室关键点间的直线连接线段长度记为对应的所述第一左心室内径d
vs,i
；并根据所述第一、第二主动脉瓣环关键点的所述第一预测关键点图像坐标，计算所述第一、第二主动脉瓣环关键点间的直线连接线段长度记为对应的所述第一主动脉瓣环直径d
avr,i
；并根据所述第一、第二主动脉窦部关键点的所述第一预测关键点图像坐标，计算所述第一、第二主动脉窦部关键点间的直线连接线段长度记为对应的所述第一主动脉窦部直径d
as,i
；并根据所述第一、第二右心室关键点的所述第一预测关键点图像坐标，计算所述第一、第二右心室关键点间的直线连接线段长度记为对应的第一右心室内径d
vd,i
；并根据所述第一、第二室间隔关键点的所述第一预测关键点图像坐标，计算所述第一、第二室间隔关键点间的直线连接线段长度记为对应的第一室间隔厚度d
IS,i
；并根据所述第一、第二左心室后壁关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心室后壁关键点间的直线连接线段长度记为对应的第一左心室后壁厚度d
lvpw,i
；并根据所述第一、第二左心房关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心房关键点间的直线连接线段长度记为对应的第一左心房前后径d
la,i
；并根据所述第一、第二升主动脉关键点的所述第一预测关键点图像坐标，计算所述第一、第二升主动脉关键点间的直线连接线段长度记为对应的第一升主动脉内径d
aa,i
；由得到的十六个第一输出特征向量对应的十六个所述第一子特征图关键点组成对应的所述十六个关键点；所述十六个关键点包括所述第一左心室关键点、所述第二左心室关键点、所述第一主动脉瓣环关键点、所述第二主动脉瓣环关键点、所述第一主动脉窦部关键点、所述第二主动脉窦部关键点、所述第一右心室关键点、所述第二右心室关键点、所述第一室间隔关键点、所述第二室间隔关键点、所述第一左心室后壁关键点、所述第二左心室后壁关键点、所述第一左心房关键点、所述第二左心房关键点、所述第一升主动脉关键点和所述第二升主动脉关键点；由得到的八个直线连接线段长度组成对应的所述八个特征尺寸；所述八个特征尺寸包括所述第一左心室内径d
vs,i
、所述第一主动脉瓣环直径d
avr,i
、所述第一主动脉窦部直径d
as,i
、所述第一右心室内径d
vd,i
、所述第一室间隔厚度d
IS,i
、所述第一左心室后壁厚度d
lvpw,i
、所述第一左心房前后径d
la,i
、所述第一升主动脉内径d
aa,i
。4.根据权利要求1所述的基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述根据所有所述第一左心室内径d
vs,i
对所述第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像，具体包括：以左心室内径为纵轴Y、以时间为横轴X构建二维坐标系记为对应的左心室内径
‑
时间坐标系；在所述左心室内径
‑
时间坐标系上以各个所述第一左心室内径d
vs,i
为描计点纵轴坐标、以当前所述第一左心室内径d
vs,i
对应的所述第一帧时间戳T
i
为描计点横轴坐标进行描计点标记处理得到对应的第一描计点；对第一个到最后一个所述第一描计点进行顺次连接得到对应的第一曲线；并对所述第一曲线进行中值滤波处理得到对应的第二曲线；对所述第二曲线进行最显著峰值点筛选处理得到对应的第一最显著峰值点；并将所述
第一最显著峰值点的横轴坐标提取出来作为对应的第一时间点；并将所述第一帧图像序列中，与所述第一时间点的时间间隔最小的所述第一帧时间戳T
i
对应的所述第一帧图像P
i
作为对应的所述第一舒张期帧图像；对所述第二曲线进行上下翻转得到对应的第三曲线；并对所述第三曲线进行最显著峰值点筛选处理得到对应的第二最显著峰值点；并将所述第二最显著峰值点的横轴坐标提取出来作为对应的第二时间点；并将所述第一帧图像序列中，与所述第二时间点的时间间隔最小的所述第一帧时间戳T
i
对应的所述第一帧图像P
i
作为对应的所述第一收缩期帧图像。5.根据权利要求4所述的基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述最显著峰值点筛选处理，具体包括：将本次最显著峰值点筛选处理的所述第二曲线或所述第三曲线作为对应的当前曲线；并对所述当前曲线的各个峰值点进行标记作为对应的第一峰值点；对各个所述第一峰值点进行遍历；遍历时，将当前遍历的所述第一峰值点记为对应的当前峰值点；并在所述左心室内径
‑
时间坐标系上过所述当前峰值点做一条平行横轴X的直线记为对应的第一直线；并将所述第一直线在所述当前峰值点的左侧与所述当前曲线的任一个曲线下降沿的交点记为对应的第一下降沿交点，并将所述第一直线在所述当前峰值点的右侧与所述当前曲线的任一个曲线上升沿的交点记为对应的第一上升沿交点，并分别对所述的第一下降沿交点和所述第一上升沿交点的数量进行统计生成对应的第一下降沿交点数量和第一上升沿交点数量；并对所述第一下降沿交点数量是否为0进行识别，若是则将所述当前曲线的起始位置作为对应的第一起始位置，若否则将所述当前峰值点的左侧的第一个所述第一下降沿交点作为对应的所述第一起始位置；并对所述第一上升沿交点数量是否为0进行识别，若是则将所述当前曲线的结束位置作为对应的第一结束位置，若否则将所述当前峰值点的右侧的第一个所述第一上升沿交点作为对应的所述第一结束位置；并将所述当前曲线上在所述第一结束位置与所述当前峰值点之间的最小谷值点作为对应的第一谷值点，在所述当前峰值点与所述第一结束位置与之间的最小谷值点作为对应的第二谷值点，并将所述第一、第二谷值点中的较大值作为对应的当前谷值点；并对所述当前峰值点与所述当前谷值点的纵轴坐标差值进行计算生成对应的第一峰谷差；并在遍历结束时，从得到的所有所述第一峰谷差中选出最大值作为对应的最大峰谷差，并将所述最大峰谷差对应的所述第一峰值点作为对应的当前最显著峰值点；若所述当前曲线为所述第二曲线，则将所述当前最显著峰值点作为对应的所述第一最显著峰值点输出；若所述当前曲线为所述第三曲线，则将所述当前最显著峰值点作为对应的所述第二最显著峰值点输出。6.根据权利要求3所述的基于心脏超声视频测量特征尺寸的处理方法，其特征在于，所述根据所有所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
对所述第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像，具体包括：将各个所述第一主动脉瓣环直径d
avr,i
对应的所述第一、第二主动脉瓣环关键点的两个所述第一预测关键点图像坐标记为对应的第一、第二坐标s
1,i
、s
2,i
；并根据所述第一、第二坐标s
1,i
、s
2,i
生成从所述第一主动脉瓣环关键点到所述第二主动脉瓣环关键点的向量记为对应的第一向量s1‑
>2,i
；s1‑
>2,i
＝s
2,i
‑
s
1,i
；
将各个所述第一主动脉窦部直径d
as,i
对应的所述第一、第二主动脉窦部关键点的两个所述第一预测关键点图像坐标记为对应的第三、第四坐标s
3,i
、s
4,i
；并根据所述第三、第四坐标s
3,i
、s
4,i
生成从所述第一主动脉窦部关键点到所述第二主动脉窦部关键点的向量记为对应的第二向量s3‑
>4,i
；s3‑
>4,i
＝s
4,i
‑
s
3,i
；并由所述...

【专利技术属性】
技术研发人员：逄坤静，李喆，张碧莹，马迪，鲁瑞广，
申请(专利权)人：乐普北京医疗器械股份有限公司，
类型：发明
国别省市：