【技术实现步骤摘要】
本专利技术属于计算机辅助诊断，具体涉及一种动态影像关键点和关键帧定位方法。
技术介绍
1、医学成像中准确的地标检测对于量化各种解剖结构、协助诊断和制定治疗计划至关重要。动态影像作为影像检查中一种常见的保存形式，可实时查看组织器官的结构、血流模式，相对静态影像检查提供了额外的运动诊断信息，并能识别细微异常。在临床日常工作中，手动识别动态影像中定位关键帧，发现特定临床病理、生理事件并进行测量和诊断是临床医生的基本任务。然而，即使对于经验丰富的医生来说，执行这项重复性任务也具有相当挑战性，尤其是面对复杂的解剖变异、欠佳的图像质量以及在繁重的诊疗任务压力下。因此，对能简化并提高这样的诊断流程的准确性，提供一种自动化辅助工具，实现对动态影像关键点和关键帧同步识别的需求日益增长。
2、现阶段，对于动态影像关键点和关键帧两项检测任务独立执行，其中，关键点检测方法分为：1)传统的关键检测方法，依赖于精心制作的特征描述符和定义明确的检测器来分析图像中的独特特征。如基于统计模型和模板匹配方法因其简单高效，仍然适用于解剖关键点定位；2)基于直接回归的深度学习方法，直接预测坐标或坐标偏移。3)基于热图的深度学习方法，对关键点进行语义分割，其中的语义标签是以每个关键点为中心的生成的高斯分布。对于关键帧检测，现有方法主要分为：1)基于分类的方法：将动态影像中的每一帧看作是关键帧的0-1二分类问题，通过提取特定事件的特征(如肿瘤病灶的出现、心脏运动期相)，进行逐帧的分类预测；2)基于索引回归的方法：通过提取动态序列的全局时序特征，回归一个关键帧的
3、m.h.jafari et al.,“u-land:uncertainty-driven video landmarkdetection,”ieee trans.med.imag.,vol.41,no.4,pp.793-804,2022.(u-land:不确定度驱动的视频地标点检测)，使用深度学习技术建模解剖关键点检测模型，并利用检测关键点产生的不确定性识别关键帧。该研究首次发现，动态电影数据关键点检测与关键帧辨识存在关联，并通过人为的设定经验规则来筛选关键帧。这项发表于医学影像顶级期刊的研究虽然能够识别成像质量高、动态差异明显的动态结构，但是对噪声影响下帧间差异不明显的影像识别鲁棒性较差，仅仅依托经验规则的后处理方法难以满足临床需求。
4、由于动态成像的固有特性，影像分辨率较低、质量较差，导致关键点和关键帧检测两项任务都受到观察者间高变异性的限制，从而造成测量诊断任务的高不确定性。现有自动化检测方法没有充分发掘、利用两个任务之间内在联系，将关键点和关键帧检测作为两个独立的任务。特别地，对于关键点检测方法，对于点与点之间的结构关系建模不足，应用在质量欠佳影像时，容易产生较大的测量误差。对于关键帧检测方法，面临关键帧与非关键帧之间的严重类别不平衡，模型过拟合明显。
技术实现思路
1、针对现有技术的不足之处，本专利技术提供一种动态影像关键点和关键帧定位方法，使关键帧和关键点同步检测，通过挖掘两种任务的内在联系，准确自动地实现动态影像的解剖关键点检测，从而帮助临床医生快速定位目标结构，实现自动化组织器官测量，提高其诊断效率。
2、一种动态影像关键点和关键帧定位方法，步骤如下：
3、步骤1：对包含待测量目标的动态影像序列进行预处理；
4、所述预处理包括：
5、对包含待测量目标的动态影像序列进行等间隔的采样，将影像序列平均划分若干组，每组包含n帧，不足n帧的组通过复制最后一帧来进行补足；经过采样预处理后，检测模型的输入为帧数固定的影像序列；
6、步骤2：对步骤1得到的动态影像序列进行编码与解码：具体通过具有编码器与解码器结构的卷积神经网络对动态影像序列逐帧地提取多级特征；
7、所述编码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过池化层进行特征的下采样；其中经过第1组卷积层后得到的特征为浅层特征fshallow，经过第4组卷积层和池化层后得到的特征为底层特征fbot；浅层和底层特征分别用于后续关键点微调和关键帧检测；
8、对应地，解码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过转置卷积进行特征的上采样；其中，第4组卷积和转置后得到的特征为全局特征fglobal，用于关键点粗定位；
9、步骤3：对动态影像序列关键点进行粗定位；
10、基于热图回归的方式进行关键点的粗定位；具体地，对解码器中最后一层得到的特征图fglobal进行卷积得到k个关键点的热图，并对每个热图进行softmax运算得到用于粗定位的热图zk，进一步通过热图回归方法得到粗定位的关键点坐标：
11、lk＝∫p p·zk(p)
12、其中，p表示热图中的每一个像素坐标值；
13、步骤4：构建自适应贝叶斯超图模型，扩展出超节点；
14、步骤4.1：超节点与入射矩阵构建；
15、以粗定位坐标为中心，并在该中心的8邻域方向上以l像素作为步长自适应地扩展，形成以粗定位节点为中心节点，周围8邻域为扩展节点的k×9个超节点；此外，根据待检测的关键点数量构建一个可学习的入射矩阵n为超图模型中的超边数量，每条超边连接着k×9个超节点；
16、步骤4.2：超节点局部影像特征提取；
17、为提取局部影像特征，分别在步骤1输入的动态影像序列以及步骤2中编码器的浅层特征图fshallow上以超节点为中心，截取l×l大小的特征块；进一步地，将截取的特征块在通道维拼接，再经l×l卷积得到每个超节点的1维局部影像特征flocal；
18、步骤4.3：超节点结构关系特征提取；
19、计算k×9个超节点中每个超节点与其他超节点归一化的坐标差值，并将其与自身归一化的坐标组合，形成超节点结构关系特征fstruct；
20、步骤4.4：将步骤4.2的局部特征flocal和步骤4.3得到的结构特征fstruct经通道维拼接得到作为超节点的特征fland∈ri；
21、步骤5：对关键点进行微调；
22、具体采用提出的自适应贝叶斯超图卷积在步骤4中自适应扩展得到的超结点间进行信息传递，并更新中心超节点特征来预测自身的微调尺度和方向，实现关键点坐标的精细微调，得到最终关键点坐标；
23、步骤5.1：构建自适应贝叶斯超图卷积；
24、为实现超节点间的信息传递，建立自适应贝叶斯超图卷积，并将超节点特征fland经过自适应贝叶斯超图卷积，得到更新后k个关键点的特征：
25、
26、其中，σ表示非线性激活层relu；γ∈rk×9k，为伯努利随机向量，每个分量为1的概率为0.2；t∈rk×9k，为可学习的自适应聚合矩阵；为可学习的入射矩阵，n表示超边数；λ∈rn×n，为可学习的对角超边权重矩阵；为的转置；w∈ri×j为可学习变换层本文档来自技高网...
【技术保护点】
1.一种动态影像关键点和关键帧定位方法，其特征在于，一种动态影像关键点和关键帧定位方法，步骤如下：
2.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤1所述预处理包括：
3.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤2所述编码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过池化层进行特征的下采样；其中经过第1组卷积层后得到的特征为浅层特征Fshallow，经过第4组卷积层和池化层后得到的特征为底层特征Fbot；浅层和底层特征分别用于后续关键点微调和关键帧检测。
4.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤2所述解码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过转置卷积进行特征的上采样；其中，第4组卷积和转置后得到的特征为全局特征Fglobal，用于关键点粗定位。
5.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤3具体为基于热图回归的方式进行关键点的粗定位；具体地，对解码器中最后一层得到
6.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤4具体为：
7.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤5具体采用提出的自适应贝叶斯超图卷积在步骤4中自适应扩展得到的超结点间进行信息传递，并更新中心超节点特征来预测自身的微调尺度和方向，实现关键点坐标的精细微调，得到最终关键点坐标。
8.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤5具体为：
9.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤6具体为：
...【技术特征摘要】
1.一种动态影像关键点和关键帧定位方法，其特征在于，一种动态影像关键点和关键帧定位方法，步骤如下：
2.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤1所述预处理包括：
3.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤2所述编码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过池化层进行特征的下采样；其中经过第1组卷积层后得到的特征为浅层特征fshallow，经过第4组卷积层和池化层后得到的特征为底层特征fbot；浅层和底层特征分别用于后续关键点微调和关键帧检测。
4.根据权利要求1所述的一种动态影像关键点和关键帧定位方法，其特征在于，步骤2所述解码器包含4组卷积层，每组卷积包含2个连续的卷积核，每组卷积层后通过转置卷积进行特征的上采样；其中，第4组卷积和转置后得到的特征为全局特征fglobal，用于关键点粗定位。
5.根据权利要求1...
【专利技术属性】
技术研发人员：杨金柱，冯庸，刘翼逍，唐凌志，孙松，李洪赫，赵大哲，覃文军，曹鹏，冯朝路，栗伟，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。