本发明专利技术提供一种便携式增强现实超声影像可视化方法、装置及系统，包括：通过预设的超声探头模块扫描患者身体得到超声图像；所述超声图像通过预设的三维定位模块进行接收，根据超声图像序列的散班噪声结合惯性测量单元对三维空间位置进行预估；将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。本发明专利技术解决了现有医疗超声成像系统无法直观展示具有视差信息的三维图像且便携性差的问题。信息的三维图像且便携性差的问题。信息的三维图像且便携性差的问题。
【技术实现步骤摘要】
便携式增强现实超声影像可视化方法、装置及系统
[0001]本专利技术涉及医疗成像
，尤其涉及一种便携式增强现实超声影像可视化方法、装置及系统。
技术介绍
[0002]超声图像具有成像快、实时性好、对人体无损伤等优点。目前临床上的急诊超声、重症超声均属于便携式超声的范畴。医生能够更加清楚的了解病人的生命体征，快速诊断出患者体内的潜在威胁，从而做出及时的判断和救治。
[0003]市面上可采用的便携超声系统图像一般只能显示在二维显示器上，难以呈现出生理结构在深度方向上的前后差异和位置关系。另外，医生也需要准确的三维空间信息来操纵相关工具和器械。为了获取三维结构关系，医生需要多次转换探头位置，反复观察显示器，在大脑内重构器官组织之间的三维关系做出判断，不仅耗费大量时间，同时也增大了误判的几率。因此，实际应用中，需要三维超声来解决这个难题，帮助医生全面了解患者体内空间解剖结构，进一步实现精准医疗。因此三维超声可视化系统具有广阔的应用场景和医护的需求，同时，为了解决普通超声笨重庞大的问题，以便急救时携带，兼具三维显示特性和便携特性的超声可视化设备亟待研究。
[0004]目前急救超声设备主要面临的临床问题如下：第一：超声图像显示缺乏直观性。显示界面多为二维显示，虽然可以为医生和科学工作者提供所需影像信息，但一次只能看到一个切面、缺乏准确的三维空间结构信息。医生需要反复变换探头位置观察屏幕，才能在头脑中构建出需要的信息，信息获取过程低效，有相当长的时间浪费且难以观察到感兴趣区域的空间结构信息与组织间的空间关系，影响医生的分析与判断。另外，只有熟悉目标组织结构、有着丰富临床经验的医师才能根据多种信息综合做出准确的判断，也需要消耗大量培训成本。第二：无法兼顾便携性和三维显示。市面上存在可用于超声的三维显示设备，但产品非常少，且大多笨重，仅适用于医院内，没有专门用于急救场合的超声三维可视化装备。所以需要一个集便携性、快速成像和三维显示直观性的新型便携超声可视化系统有助于解决普通超声的缺点，为医生提供快速可得、直观易懂的患者内部信息，增加更好的空间和深度感知功能，辅助医生在急救场景操作相关工具和器械，做出最好的处理，增强患者存活率。
技术实现思路
[0005]本专利技术提供一种便携式增强现实超声影像可视化方法、装置及系统，用以解决现有医疗超声成像系统无法直观展示具有视差信息的三维图像且便携性差的问题。
[0006]本专利技术提供一种便携式增强现实超声影像可视化方法，包括：
[0007]通过预设的超声探头模块扫描患者身体得到超声图像；
[0008]所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
[0009]将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将
二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
[0010]将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
[0011]根据本专利技术提供的一种便携式增强现实超声影像可视化方法，所述通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：
[0012]通过所述超声探头模块的超声探头采集二维超声图像；
[0013]对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。
[0014]根据本专利技术提供的一种便携式增强现实超声影像可视化方法，所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：
[0015]所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；
[0016]将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；
[0017]利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。
[0018]根据本专利技术提供的一种便携式增强现实超声影像可视化方法，所述将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：
[0019]通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；
[0020]将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。
[0021]根据本专利技术提供的一种便携式增强现实超声影像可视化方法，将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：
[0022]选择渲染对象，将所述渲染对象载入到渲染空间内；
[0023]根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；
[0024]生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
[0025]根据本专利技术提供的一种便携式增强现实超声影像可视化方法，所述光学投影模块采用曲面半透半反元件，以放大三维显示器所显示的图像；
[0026]其中，曲面半透半反元件可以是球面或非球面的反射元件，或者采用柱面的反射元件，在采用曲面元件的情况下，可以使用屏幕尺寸更小更轻便的三维显示器。
[0027]本专利技术还提供一种便携式增强现实超声影像可视化装置，所述装置包括：
[0028]超声探头、主机、三维显示器和半透半反元件；
[0029]所述超声探头与主机连接，通过所述超声探头扫描人体将扫描的图像传送至主机；
[0030]所述主机对接收到的扫描图像进行处理，所述主机与三维显示器连接，所述三维显示器包括二维显示器和微透镜阵列，通过微透镜阵列对二维显示器上显示的图像进行调制，能够在空间中复现三维物体的光场，使观察者通过肉眼直接观察到三维信息；
[0031]所述半透半反元件设置在三维显示器下方，所述半透半反元件通过平面镜或曲面镜构成，所述三维显示器发出的光线被半透半反元件反射，同时人体发出的光线被半透半反元件透视，两者融合实现增强显示可视化，使超声图像原位显示在患者体内。
[0032]本专利技术还提供一种便携式增强现实超声影像可视化系统，包括：
[0033]扫描模块，用于通过预设的超声探头模块扫描患者身体得到超声图像；
[0034]三维定位模块，用于所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
[0035]图像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种便携式增强现实超声影像可视化方法，其特征在于，包括：通过预设的超声探头模块扫描患者身体得到超声图像；所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。2.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：通过所述超声探头模块的超声探头采集二维超声图像；对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。3.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。4.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。5.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：选择渲染对象，将所述渲染对象载入到渲染空间内；根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过...
【专利技术属性】
技术研发人员：廖洪恩，黄天琪，宋冠玉，武语童，张欣然，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。