一种超声影像视频的半自动标注方法及系统技术方案

本发明专利技术提供一种超声影像视频的半自动标注方法及系统，包括：步骤S1，对超声影像视频数据中的目标帧图像进行目标标记，得到第一标记信息；步骤S2，根据第一标记信息对前后帧图像进行目标识别标记，进而得到所有帧图像对应的第二标记信息；步骤S3，在同一目标存在不同标记时，对重复标记的目标对应的所有标记进行仲裁；步骤S4，根据仲裁结果对第二标记信息进行更新。有益效果：本发明专利技术通过对目标帧图像的目标的标记信息对前后帧图像进行目标追踪标记，能够更加精确地标记目标，并且能够自动更新前后帧的标记；同时，对重复标记进行仲裁和更新，确定最终的标记结果，能够避免标注误差和减少标注冗余，能够进一步提高标注准确性。能够进一步提高标注准确性。能够进一步提高标注准确性。

【技术实现步骤摘要】
一种超声影像视频的半自动标注方法及系统


[0001]本专利技术涉及图像标注
，尤其涉及一种超声影像视频的半自动标注方法及系统。

技术介绍

[0002]现有已有的视频标注工具大多是以图像为主，对视频是逐帧标记，且主要是针对自然场景，由于超声影像视频中可能存在一些细微变化，例如微小的结构变化或者运动轨迹变化，这些变化可能很难被标注，因此，现有的视频标注工具应用在超声影像上作用很小。
[0003]目前，医学领域的超声影像视频标注工作通常采用人工标注的方法进行，需要耗费大量人力物力，标注效率低下；而且标注结果可能存在一定的误差和不一致性，尤其在标注复杂结构的超声影像视频时更加明显，易出现标注误差。

技术实现思路

[0004]为了解决以上技术问题，本专利技术提供了一种超声影像视频的半自动标注方法及系统。
[0005]本专利技术所解决的技术问题可以采用以下技术方案实现：
[0006]一种超声影像视频的半自动标注方法，包括：
[0007]步骤S1，对超声影像视频数据中的目标帧图像进行目标的标记，得到所述目标帧图像对应的第一标记信息；
[0008]步骤S2，根据所述第一标记信息对所述目标帧图像的前后帧图像进行目标识别标记，进而得到所述超声影像视频所有帧图像对应的第二标记信息；
[0009]步骤S3，在同一所述目标存在不同标记时，对重复标记的所述目标对应的所有标记进行仲裁，并输出一仲裁结果；
[0010]步骤S4，根据所述仲裁结果对所述第二标记信息进行更新。
[0011]优选地，所述步骤S1包括：
[0012]步骤S11，将所述超声影像视频数据中预定数量帧图像转换为三维张量；
[0013]步骤S12，以所述预定数量帧图像的中间帧图像作为所述目标帧图像，将其他帧图像与所述目标帧图像相减求差，然后对所述三维张量进行卷积处理，提取得到所述超声影像视频数据的时空特征图；
[0014]步骤S13，对所述时空特征图进行空间降采样和时间降采样处理，得到降采样特征图；
[0015]步骤S14，将所述降采样特征图展开成一维向量，并进行分类和回归处理，根据分类和回归结果输出所述目标在所述目标帧图像中的所述第一标记信息，所述第一标记信息包括目标在所述目标帧图像中的第一位置信息以及所述目标所属的类别信息。
[0016]优选地，所述步骤S2包括：
[0017]步骤S21，对所述超声影像视频数据的连续两帧图像进行预处理，所述连续两帧图像的其中一帧为标记后的所述目标帧图像，另一帧为待处理图像；
[0018]步骤S22，通过一卷积神经分割网络对所述目标帧图像和所述待处理图像分别进行特征提取；
[0019]步骤S23，计算所述目标帧图像和所述待处理图像的相似度，并在相似度大于一预设相似度阈值时进行特征融合，得到特征融合图像；
[0020]步骤S24，对所述特征融合图像进行识别标记，得到对应于所述待处理图像的所述第二标记信息。
[0021]优选地，所述步骤S24中，采用所述步骤S11
‑
S14对所述特征融合图进行识别标记，得到所述第二标记信息。
[0022]优选地，所述步骤S3包括：
[0023]步骤S31，使用投票机制对重复标记的所述目标对应的所有标记进行投票，根据投票结果输出所述仲裁结果。
[0024]优选地，所述步骤S31中，所述投票机制采用加权投票输出仲裁结果，所述所述加权投票的计算公式如下：
[0025][0026]其中，n表示同一所述目标对应的所有标记的总数；w(i,j)表示第j个标记对第i个标记的权重；vj表示同一所述目标的第j个标记的基础票数；V
i
表示同一所述目标的第i个标记的得票数。
[0027]优选地，所述步骤S31，之后还包括：
[0028]步骤S32，针对所述步骤S31无法仲裁的标记，提供一操作界面以进行人工仲裁。
[0029]本专利技术还提供一种超声影像视频的半自动标注系统，用于实施如上述的声影像视频的半自动标注方法，包括：
[0030]预标记模块，用于对超声影像视频数据中的目标帧图像进行目标的标记，得到所述目标帧图像对应的第一标记信息；
[0031]目标追踪模块，连接所述预标记模块，用于根据所述第一标记信息对所述目标帧图像的前后帧图像进行目标识别标记，进而得到所述超声影像视频所有帧图像对应的第二标记信息；
[0032]仲裁模块，连接所述目标追踪模块，用于在同一所述目标存在不同标记时，对重复标记的所述目标对应的所有标记进行仲裁，并输出一仲裁结果；
[0033]更新模块，连接所述仲裁模块，用于根据所述仲裁结果对所述第二标记信息进行更新。
[0034]优选地，所述预标记模块中提供一预标记模型，所述预标记模型包括：
[0035]输入层，用于将所述超声影像视频数据中预定数量帧图像转换为三维张量；
[0036]三维卷积差层，用于以所述预定数量帧图像的中间帧图像作为所述目标帧图像，将其他帧图像与所述目标帧图像相减求差，然后对所述三维张量进行卷积处理，提取得到所述超声影像视频数据的时空特征图；
[0037]池化层，用于对所述时空特征图进行空间降采样和时间降采样处理，得到降采样特征图；
[0038]全连接层，用于将所述降采样特征图展开成一维向量，并进行分类和回归处理；
[0039]输出层，用于根据分类和回归结果输出所述目标在所述目标帧图像中的所述第一标记信息，所述第一标记信息包括目标在所述目标帧图像中的第一位置信息以及所述目标所属的类别信息。
[0040]优选地，所述目标追踪模块包括：
[0041]预处理单元，用于对所述超声影像视频数据的连续两帧图像进行预处理，所述连续两帧图像的其中一帧为标记后的所述目标帧图像，另一帧为待处理图像；
[0042]特征提取单元，用于通过一卷积神经分割网络对所述目标帧图像和所述待处理图像分别进行特征提取；
[0043]特征融合单元，用于计算所述目标帧图像和所述待处理图像的相似度，并在相似度大于一预设相似度阈值时进行特征融合，得到特征融合图像；
[0044]标记单元，用于对所述特征融合图像进行识别标记，得到对应于所述待处理图像的所述第二标记信息。
[0045]本专利技术技术方案的优点或有益效果在于：
[0046]本专利技术通过对超声影像视频数据中的目标帧图像进行目标的预标记，然后根据标记信息对前后帧图像进行目标识别标记，能够更加精确地标记目标，并且能够自动更新前后帧的标记；同时，对重复标记进行仲裁和更新，确定最终的标记结果，能够避免标注误差和减少标注冗余，能够进一步提高标注准确性。
附图说明
[0047]图1为本专利技术的较佳实施例中，超声影像视频的半自动标注方法的流程示意图；
[0048]图2为本专利技术的较佳实施例中，步骤S1具体实施的流程示意图；
[0049]图3为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超声影像视频的半自动标注方法，其特征在于，包括：步骤S1，对超声影像视频数据中的目标帧图像进行目标的标记，得到所述目标帧图像对应的第一标记信息；步骤S2，根据所述第一标记信息对所述目标帧图像的前后帧图像进行目标识别标记，进而得到所述超声影像视频所有帧图像对应的第二标记信息；步骤S3，在同一所述目标存在不同标记时，对重复标记的所述目标对应的所有标记进行仲裁，并输出一仲裁结果；步骤S4，根据所述仲裁结果对所述第二标记信息进行更新。2.根据权利要求1所述的超声影像视频的半自动标注方法，其特征在于，所述步骤S1包括：步骤S11，将所述超声影像视频数据中预定数量帧图像转换为三维张量；步骤S12，以所述预定数量帧图像的中间帧图像作为所述目标帧图像，将其他帧图像与所述目标帧图像相减求差，然后对所述三维张量进行卷积处理，提取得到所述超声影像视频数据的时空特征图；步骤S13，对所述时空特征图进行空间降采样和时间降采样处理，得到降采样特征图；步骤S14，将所述降采样特征图展开成一维向量，并进行分类和回归处理，根据分类和回归结果输出所述目标在所述目标帧图像中的所述第一标记信息，所述第一标记信息包括目标在所述目标帧图像中的第一位置信息以及所述目标所属的类别信息。3.根据权利要求2所述的超声影像视频的半自动标注方法，其特征在于，所述步骤S2包括：步骤S21，对所述超声影像视频数据的连续两帧图像进行预处理，所述连续两帧图像的其中一帧为标记后的所述目标帧图像，另一帧为待处理图像；步骤S22，通过一卷积神经分割网络对所述目标帧图像和所述待处理图像分别进行特征提取；步骤S23，计算所述目标帧图像和所述待处理图像的相似度，并在相似度大于一预设相似度阈值时进行特征融合，得到特征融合图像；步骤S24，对所述特征融合图像进行识别标记，得到对应于所述待处理图像的所述第二标记信息。4.根据权利要求3所述的超声影像视频的半自动标注方法，其特征在于，所述步骤S24中，采用所述步骤S11
‑
S14对所述特征融合图进行识别标记，得到所述第二标记信息。5.根据权利要求1所述的超声影像视频的半自动标注方法，其特征在于，所述步骤S3包括：步骤S31，使用投票机制对重复标记的所述目标对应的所有标记进行投票，根据投票结果输出所述仲裁结果。6.根据权利要求5所述的超声影像视频的半自动标注方法，其特征在于，所述步骤S31中，所述投票机制采用加权投票输出仲裁结果，所述所述加权投票的计算公式如下：
其中，n表示同一所述目标对应的所有标记的总数；w(i,...

【专利技术属性】
技术研发人员：黄孟钦，朱瑞星，刘帅兵，
申请(专利权)人：上海深至信息科技有限公司，
类型：发明
国别省市：