超声智能成像导航方法、装置、超声设备及存储介质制造方法及图纸

本发明专利技术公开了一种超声智能成像导航方法、装置、超声设备及存储介质，该方法包括：获取至少包含检测对象以及超声探头的环境影像，利用经训练的识别网络模型从环境影像中识别检测对象的待扫查目标部位的位置信息以及超声探头的初始位置信息；基于待扫查目标部位的位置信息及超声探头的初始位置信息确定超声探头引导至待扫查目标部位的扫查导航路径，在扫查过程中，通过追踪神经网络模型识别超声探头的实时位置，在偏离扫查导航路径时，更新扫查导航路径。通过实施本发明专利技术，可以基于医师的操作习惯确定扫查路径，速度快且准确度高，大大提高了医师的超声扫查效率；并且能够根据超声探头的实时位置判断是否需要更新引导路径，从而寻找最短的引导路径。

【技术实现步骤摘要】
超声智能成像导航方法、装置、超声设备及存储介质
本专利技术涉及超声图像处理
，具体涉及一种超声智能成像导航方法、装置、超声设备及存储介质。
技术介绍
超声诊断仪在临床医学中有着广泛应用，超声扫查获取的超声影像质量决定后期的诊断。然而，不同身高、体重、性别的人的器官位置、边界是有差异的，放置超声探头的位置不一定是需要扫查的部位。目前，在实际工作中，医师操作超声探头移动至目标部位处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，并不能快速准确地操作超声探头获取到标准的超声图像。
技术实现思路
有鉴于此，本专利技术实施例提供了一种超声智能成像导航方法、装置、超声设备及存储介质，以解决现有技术无法准确获取超声图像的问题。本专利技术提出的技术方案如下：本专利技术实施例第一方面提供一种超声智能成像导航方法，该方法包括：通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息；基于所述待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头对应待扫查目标部位的扫查导航路径；展示所述扫查导航路径；在探头移动过程中，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径。进一步地，该超声智能成像导航方法还包括：在所述超声探头引导至所述待扫查目标部位处时，获取所述超声探头扫查的所述待扫查目标部位的当前超声影像；基于获取的所述待扫查目标部位加载所述待扫查目标部位对应的三维超声模型，所述三维超声模型中至少包含一个标记有探头位置信息和探头角度信息的标准扫查切面；根据当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息；根据所述当前超声探头的位置信息、角度信息与所述标准扫查切面标记的对应探头的位置信息和所述标准扫查切面标记的对应探头的角度信息，引导所述超声探头移动至所述标准扫查切面处。进一步地，所述根据所述当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息，包括：将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型或CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息；或，将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息。进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：通过二维卷积神经网络提取所述当前超声图像和/或视觉传感器采集的当前环境影像中的第一特征向量；通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：将当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；将所述第二拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：获取设置在所述超声探头中的惯性测量单元采集的IMU信息；通过所述CNN深度卷积神经网络提取当前超声图像和/或视觉传感器采集的当前环境影像中的第五特征向量；通过所述CNN深度卷积神经网络提取所述三维超声模型中的第六特征向量；通过所述CNN深度卷积神经网络提取所述IMU信息中的第七特征向量；将所述第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层进行特征向量融合，得到当前超声探头的位置信息和角度信息。进一步地，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；获取预先测量并存储的所述超声探头当前时刻前预设时间段内的多个IMU信息；将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将所述第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。进一步地，该超声智能成像导航方法还包括：在所述超声探头引导至所述待扫查目标部位处时，获取所述超声探头扫查的待扫查目标部位的超声影像；根据所述超声影像与预设影像数据库中的匹配影像的匹配度值确定标准影像，所述匹配影像包含若干标记信息，所述超声影像与所述标准影像的匹配度值大于第一预设匹配度值；根据所述标准影像包含的标记信息引导所述超声探头移动，将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像，所述第二预设匹配度值大于等于所述第一预设匹配度值；根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息，所述诊断信息至少包括目标部位信息、病灶信息中的一种或多种。进一步地，所述识别网络模型为基于分割不同器官轮廓以及超声探头轮廓的分割模型，或所述识别网络模型为用于识别器官以及超声探头分布区域的检测模型，所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与待扫查目标部位以及所述探头的数量相同；所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。进一步地，所述利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息的步骤，包括：利用经训练的识别网络模型从所述环境影像中分割出所述检测对象的不同部位的分布区域以及所述超声探头的分布区域；利用经训练的识别网络模型识别不同分布区域对应的部位信息，所述部位信息至少包括部位名称或部位类别；利用经训练的识别网络模型基于待扫查目标部位及部位信息确定待扫查目标部位的分布区域；根据待扫查目标部位的分布区域及所述超声探头的分布区域确定待扫查目标部位的位置信息以及所述超声探头的初始位置信息。进一步地，基于待扫查目标部位的位置信息及超声探本文档来自技高网...

【技术保护点】
1.一种超声智能成像导航方法，其特征在于，包括：/n通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息；/n基于待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头引导至所述待扫查目标部位的扫查导航路径；/n展示所述扫查导航路径；/n在探头移动过程中，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径。/n

【技术特征摘要】
20191231 CN 20191141363001.一种超声智能成像导航方法，其特征在于，包括：
通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息；
基于待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头引导至所述待扫查目标部位的扫查导航路径；
展示所述扫查导航路径；
在探头移动过程中，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径。


2.根据权利要求1所述的超声智能成像导航方法，其特征在于，还包括：
在所述超声探头引导至所述待扫查目标部位处时，获取所述超声探头扫查的所述待扫查目标部位的当前超声影像；
基于获取的所述待扫查目标部位加载所述待扫查目标部位对应的三维超声模型，所述三维超声模型中至少包含一个标记有探头位置信息和探头角度信息的标准扫查切面；
根据所述当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息；
根据所述当前超声探头的位置信息、角度信息与所述标准扫查切面标记的对应探头的位置信息、所述标准扫查切面标记的对应探头的角度信息，引导所述超声探头移动至所述标准扫查切面处。


3.根据权利要求2所述的超声智能成像导航方法，其特征在于，所述根据所述当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息，包括：
将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型或CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息；
或，将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息。


4.根据权利要求3所述的超声智能成像导航方法，其特征在于，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：
通过二维卷积神经网络提取所述当前超声图像和/或视觉传感器采集的当前环境影像中的第一特征向量；
通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；
在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；
将所述第一拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。


5.根据权利要求3所述的超声智能成像导航方法，其特征在于，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：
将所述当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；
对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；
对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；
将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；
将所述第二拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。


6.根据权利要求3所述的超声智能成像导航方法，其特征在于，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：
获取设置在所述超声探头中的惯性测量单元采集的IMU信息；
通过所述CNN深度卷积神经网络提取所述当前超声图像和/或视觉传感器采集的当前环境影像中的第五特征向量；
通过所述CNN深度卷积神经网络提取所述三维超声模型中的第六特征向量；
通过所述CNN深度卷积神经网络提取所述IMU信息中的第七特征向量；
将所述第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第一拼接特征向量；
将所述第一拼接特征向量输入全连接层进行特征向量融合，得到当前超声探头的位置信息和角度信息。


7.根据权利要求6所述的超声智能成像导航方法，其特征在于，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：
通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；
获取预先测量并存储的所述超声探头当前时刻前预设时间段内的多个IMU信息；
将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将所述第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。


8.根据权利要求1所述的超声智能成像导航方法，其特征在于，还包括：
在所述超声探头引导至所述待扫查目标部位处扫查时，获取所述超声探头扫查的待扫查目标部位的超声影像；
根据所述超声影像与预设影像数据库中的匹配影像的匹配度值确定标准影像，所述匹配影像包含若干标记信息，所述超声影像与所述标准影像的匹配度值大于第一预设匹配度值；
根据所述标准影像包含的标记信息引导所述超声探头移动，将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像，所述第二预设匹配度值大于等于所述第一预设匹配度值；
根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息，所述诊断信息至少包括目标部位信息、病灶信息中的一种或多种。


9.根据权利要求1所述的超声智能成像导航方法，其特征在于，所述识别网络模型为用于分割不同器官轮廓以及超声探头轮廓的分割模型，或所述识别网络模型为用于识别器官以及超声探头分布区域的检测模型，
所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与待扫查目标部位以及所述探头的数量相同；
所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。

【专利技术属性】
技术研发人员：赵明昌，龚栋梁，莫若理，
申请(专利权)人：无锡祥生医疗科技股份有限公司，
类型：发明
国别省市：江苏;32