一种多切面视角的超声图像数据集的扩增方法及系统技术方案

本发明专利技术公开了一种多切面视角的超声图像数据集的扩增方法及系统，通过获取原始切面图像，对原始切面图像进行立体视角、平面视角、尺度视角以及形变视角变换，以及在变换后获得的切面图像中截取目标对象的图像块，获得扩增图像的数据集，解决了现有超声图像扩增技术产生的超声图像的多样性差以及正确性受到限制的技术问题，实现了从多个切面视角获取目标对象的图像块。和传统来自单一切面视角的图像扩增技术相比，模拟了其他切面视角的图像，丰富了目标对象的扩增图像的多样性，有助于深度学习的训练。此外，本发明专利技术提出的方法是一种可解释的扩增技术，克服了当前神经网络扩增方法解释性差的缺点。性差的缺点。性差的缺点。

【技术实现步骤摘要】
一种多切面视角的超声图像数据集的扩增方法及系统


[0001]本专利技术主要涉及图像处理
，特指一种多切面视角的超声图像数据集的扩增方法及系统。

技术介绍

[0002]超声诊断是临床常用的影像诊断方法，特别是用于疾病筛查。为了提高超声诊断水平的同质性，急需发展客观、准确、可重复的人工智能辅助诊断技术。近年来，以有监督深度学习为代表的人工智能技术能够实现端对端的训练，不需要手动定义特征，擅长识别复杂的图像模式并可以自动提供诊断和定量评估。因此，超声人工智能系统主要基于有监督深度学习实现。
[0003]尽管有监督学习的超声人工智能系统能够取得良好效果，但其性能严重依赖于来自临床且经过标注的、海量的超声图像数据。然而，收集图像及标注需要高昂的时间和经济成本，主要瓶颈有两个：第一，能够获得的标注图像数量不足以支持有监督学习，例如大部分超声图像没有病理结果，无法提供标签。第二，某些类别的图像数量很少，例如相比于正常图像，罕见疾病的样本及超声图像数量总是有限的。
[0004]为了增加超声图像的数量，从而支持有监督深度学习，实施图像扩增是常用的预处理技术。超声图像扩增技术来源于自然图像扩增技术，主要有两种。第一种，将现有的超声图像作为原始图像数据集。第一步，为了去除无关信息，首先从切面图像取出包括目标对象的图像块。第二步，将图像块实施缩放、剪切以及色彩改变等操作，得到扩增的图像块，从而极大地增加了目标对象的图像块数量。第二种，将现有的目标对象的图像块作为训练集，建立一个生成对抗式的神经网络。通过生成器产生和原始图像特征分布相似的扩增图像，从而增加目标对象的图像块数量。
[0005]尽管现有的图像扩增技术得到了广泛的应用，但仍然存在明显不足。首先，第一种图像扩增技术是对目标对象的图像块做几何变形或者色彩改变，其超声探头的观察视角是相同的，即超声扩增的图像块和原始的图像块来源于同一个超声切面。因此，扩增的图像块和原始的图像块比较相似。相比于全新样本的超声图像，对于深度学习的作用受到较大的限制。第二，生成对抗神经网络的生成器的性能严重依赖于已有的超声图像数据集，尚无法生成已有数据集中没有的病例的图像。更严重的是，由于神经网络可解释性差，扩增图像是否正确，还需要进一步进行人工检查或者评估。并且，对海量的扩增图像进行评估，是非常耗时的。

技术实现思路

[0006]本专利技术提供的多切面视角的超声图像数据集的扩增方法及系统，解决了现有超声图像扩增技术产生的超声图像的多样性差以及正确性受到限制的技术问题。
[0007]为解决上述技术问题，本专利技术提出的多切面视角的超声图像数据集的扩增方法包括：
[0008]获取超声的原始切面图像，原始切面图像包括二维原始切面图像和三维原始切面图像；
[0009]建立直角坐标系，并根据随机选择的立体视角变换参数，在直角坐标系中对原始切面图像进行立体视角变换，获得第一视角切面图像；
[0010]建立极坐标系，并根据随机选择的平面视角变换参数，在极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像；
[0011]根据随机选择的尺度视角变换参数，在极坐标系中对第二视角切面图像进行尺度视角变换，获得第三视角切面图像；
[0012]根据随机选择的形变视角变换参数，建立切面图像的形变模型，并根据形变模型对第三视角切面图像进行形变视角变换，获得第四视角切面图像；
[0013]在第四视角切面图像中截取目标对象的图像块，获得扩增图像的数据集。
[0014]进一步地，获取原始切面图像包括：
[0015]采用超声扫描仪进行二维扫描，获得二维原始切面图像或采用逐层扫描以及柱状扫描方式进行逐层扫描或柱状扫描，获得逐层的三维原始切面图像或者柱状的三维原始切面图像。
[0016]进一步地，建立直角坐标系，并根据随机选择的立体视角变换参数，在直角坐标系中对原始切面图像进行立体视角变换，获得第一视角切面图像包括：
[0017]判断原始切面图像是否为二维原始切面图像，若是，则将原始切面图像直接作为第一视角切面图像；
[0018]若否，判断原始切面图像是否为三维原始切面图像，若是，判断三维原始切面图像是否为柱状的三维原始切面图像，若是，则选择其中任意一个柱状的三维原始切面图像作为第一视角切面图像，若否，则以超声探头位置作为原点，将三维原始切面图像的各层堆叠方向设为Y轴，图像宽度方向设为X轴，图像高度方向设为Z轴，建立直角坐标系；
[0019]以Z轴为中心，保持Z坐标不变，以Z轴逆时针旋转立体视角变换参数，得到第一视角切面图像，且第一视角切面图像的变换公式为：
[0020]I1(x
′
,y
′
,z
′
)＝F1(I0(x,y,z),Δα),
[0021]x
′
＝x*cosΔα,
[0022]y
′
＝y
‑
x*sinΔα,
[0023]z
′
＝z,
[0024]其中，F1(
·
)为超声图像立体视角变换函数，I0为三维原始切面图像，I1为立体视角变换后的第一视角切面图像，(x,y,z)为I0的任一个像素点的坐标，(x
′
,y
′
,z
′
)为该像素点在I1中的坐标，Δα为立体视角变换参数，且立体视角变换参数具体为切面图像在立体视角变换前后的超声扫描扇面与ZOX平面的夹角的差值。
[0025]进一步地，求取超声探头位置对应的原点包括：
[0026]采用Hough变换得到原始切面图像中的扇面边缘线和延长线的直线方程；
[0027]计算扇面边缘线和延长线的直线方程的交点得到超声探头位置对应的原点。
[0028]进一步地，建立极坐标系，并随机选择平面视角变换参数，在极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像包括：
[0029]以超声探头位置为极点，图像高度为极轴，建立极坐标系；
[0030]以极点为旋转中心，保持第一视角切面图像所在平面不变，根据随机选择的平面视角变换参数，在极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像，且第二视角切面图像的变换公式为：
[0031]I2(r
k
′
,β
k
′
)＝F2(I1(r
k
，β
k
),Δβ)，
[0032]r
k
′
＝r
k
，
[0033]β
k
′
＝β
k
+Δβ，
[0034]其中，F2(
·
)为超声图像平面视角变换函数，I1为第一视角切面图像，I2为第二视角切面图像，(r
k
,β
k
)为I1中任一像素点k的极坐标，(r...

【技术保护点】

【技术特征摘要】
1.一种多切面视角的超声图像数据集的扩增方法，其特征在于，所述方法包括：获取超声的原始切面图像，所述原始切面图像包括二维原始切面图像和三维原始切面图像；建立直角坐标系，并根据随机选择的立体视角变换参数，在所述直角坐标系中对原始切面图像进行立体视角变换，获得第一视角切面图像；建立极坐标系，并根据随机选择的平面视角变换参数，在所述极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像；根据随机选择的尺度视角变换参数，在所述极坐标系中对第二视角切面图像进行尺度视角变换，获得第三视角切面图像；根据随机选择的形变视角变换参数，建立切面图像的形变模型，并根据所述形变模型对所述第三视角切面图像进行形变视角变换，获得第四视角切面图像；在所述第四视角切面图像中截取目标对象的图像块，获得扩增图像的数据集。2.根据权利要求1所述的多切面视角的超声图像数据集的扩增方法，其特征在于，获取原始切面图像包括：采用超声扫描仪进行二维扫描，获得二维原始切面图像或采用逐层扫描以及柱状扫描方式进行逐层扫描或柱状扫描，获得逐层的三维原始切面图像或者柱状的三维原始切面图像。3.根据权利要求2所述的多切面视角的超声图像数据集的扩增方法，其特征在于，建立直角坐标系，并根据随机选择的立体视角变换参数，在所述直角坐标系中对原始切面图像进行立体视角变换，获得第一视角切面图像包括：判断原始切面图像是否为二维原始切面图像，若是，则将所述原始切面图像直接作为第一视角切面图像；若否，判断所述原始切面图像是否为三维原始切面图像，若是，判断所述三维原始切面图像是否为柱状的三维原始切面图像，若是，则选择其中任意一个柱状的三维原始切面图像作为第一视角切面图像，若否，则以超声探头位置作为原点，将三维原始切面图像的各层堆叠方向设为Y轴，图像宽度方向设为X轴，图像高度方向设为Z轴，建立直角坐标系；以Z轴为中心，保持Z坐标不变，以Z轴逆时针旋转立体视角变换参数，得到第一视角切面图像，且所述第一视角切面图像的变换公式为：I1(x
′
,y
′
,z
′
)＝F1(I0(x,y,z),Δα)，x
′
＝x*cosΔα，y
′
＝y
‑
x*sinΔα，z
′
＝z，其中，F1(
·
)为超声图像立体视角变换函数，I0为三维原始切面图像，I1为立体视角变换后的第一视角切面图像，(x,y,z)为I0的任一个像素点的坐标，(x
′
,y
′
,z
′
)为该像素点在I1中的坐标，Δα为立体视角变换参数，且立体视角变换参数具体为切面图像在立体视角变换前后的超声扫描扇面与ZOX平面的夹角的差值。4.根据权利要求3所述的多切面视角的超声图像数据集的扩增方法，其特征在于，求取超声探头位置对应的原点包括：采用Hough变换得到原始切面图像中的扇面边缘线和延长线的直线方程；
计算扇面边缘线和延长线的直线方程的交点得到超声探头位置对应的原点。5.根据权利要求4所述的多切面视角的超声图像数据集的扩增方法，其特征在于，建立极坐标系，并随机选择平面视角变换参数，在所述极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像包括：以超声探头位置为极点，图像高度为极轴，建立极坐标系；以极点为旋转中心，保持第一视角切面图像所在平面不变，根据随机选择的平面视角变换参数，在所述极坐标系中对第一视角切面图像进行平面视角变换，获得第二视角切面图像，且所述第二视角切面图像的变换公式为：I2(r
k
′
,β
k
′
)＝F2(I1(r
k
，β
k
),Δβ)，r
k
′
＝r
k
，β
k
′
＝β
k
+Δβ，其中，F2(
·
)为超声图像平面视角变换函数，I1为第一视角切面图像，I2为第二视角切面图像，(r
k
,β
k
)为I1中任一像素点k的极坐标，(r
k
′
,β
k
′
)为I2中像素点k的极坐标，Δβ为随机选择的平面视角变换参数，且所述平面...

【专利技术属性】
技术研发人员：高燕华，喻罡，孙凯，
申请(专利权)人：陕西省人民医院，
类型：发明
国别省市：