基于医学教育的对象三维绘制方法技术

本发明专利技术提供了一种基于医学教育的对象三维绘制方法，该方法包括：通过医学影像扫描装置采集高分辨率图块和低分辨率图块；由深度学习引擎计算得出多个候选高分辨率像素集和参考高分辨率像素集；深度学习引擎产生后处理残差值；像素求和单元对后处理残差值和低分辨率图块进行像素求和运算，得出正向和反向预测高分辨率图块；双向预测器对所述正向预测高分辨率图块和所述反向预测高分辨率图块产生超分辨率图块。本发明专利技术提出了一种基于医学教育的对象三维绘制方法，以较低的软硬件成本有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。

【技术实现步骤摘要】
基于医学教育的对象三维绘制方法
本专利技术涉及三维影像重建，特别涉及一种基于医学教育的对象三维绘制方法。
技术介绍
高分辨率三维影像具有更高的质量以及清晰的细节信息，对医学影像等应用领域非常重要。医学影像扫描系统需要录制模型文件并进行影像压缩后将其传输至云端，云端解压缩该模型文件后，可传输至医疗终端，以供用户实时监控；同时，云端也可用于存储影像扫描装置所采集的多个模型文件，以供用户随时调取。然而，较佳的画面流畅度及较多的影像细节信息必然需要提高模型文件的分辨率及帧率，但模型文件容量也会因此提升，进而对云端的存储空间及缓存造成更大负担。如果采用超分辨率重建等技术，则其影像边缘常有锯齿现象等失真问题。此外，现有方案的重建方法还存在信噪比较低的问题，无法针对医学影像扫描系统提出适合的影像增强机制，因此需要提供一种兼顾云端的存储空间、缓存大小、网络速度以及影像质量的高分辨率三维影像重建的方法。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种基于医学教育的对象三维绘制方法，包括：通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块；其中，当所述深度学习引擎对各个候选高分辨率像素集进行至少一次所述卷积运算后，先从所述卷积运算的运算结果中筛选出与所述低分辨率图块具有最小像素偏移量的像素集，以作为所述参考高分辨率像素集。优选地，所述医学影像扫描装置所采集的多帧所述高分辨率图块的帧率低于或等于多帧所述低分辨率图块的帧率。优选地，所述医学影像扫描装置以预设采样帧数确定连续采集图块的数量，且被采集的图块中至少包括一帧高分辨率图块。优选地，存储解码后的各个高分辨率图块和各个低分辨率图块，以及存储未解码的多个报文，每个报文经过解码后可产生各个高分辨率图块和各个低分辨率图块。本专利技术相比现有技术，具有以下优点：本专利技术提出了一种基于医学教育的对象三维绘制方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。附图说明图1是根据本专利技术实施例的基于医学教育的对象三维绘制方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的方面提供了一种基于医学教育的对象三维绘制方法。所述方法由本专利技术的医学影像扫描重建系统来实现。该系统包括：多层缓存模块、深度学习引擎、渲染重建引擎和双向预测器；多层缓存模块接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和较高帧率的多帧低分辨率图块，深度学习引擎、渲染重建引擎和双向预测器进行超分辨率重建模型渲染，以计算得出超分辨率图块，并按序传输至医疗终端，以供用户查看三维影像，本专利技术以深度学习引擎作为超分辨率重建方法中影像候选样本的选择机制和模型渲染机制，由于深度学习引擎的迭代式训练和学习，采集到更为精确的影像细节。图1是根据本专利技术实施例的基于医学教育的对象三维绘制方法流程图。医学影像扫描重建系统可通过网络分别与影像扫描装置和医疗终端建立通信连接，所述影像扫描装置可采集高分辨率模型文件和低分辨率模型文件，并传输至医学影像扫描重建系统，以缓存、解码和超分辨率重建，影像扫描装置所采集的高分辨率模型文件的帧率可小于或等于低分辨率模型文件。当医学影像扫描重建系统完成超分辨率重建模型渲染后，则产生具有高帧率和高分辨率的超分辨率图块，在被缓存和影像编码后，即可按序传输至医疗终端，以供用户查看具有超分辨率影像质量的三维影像。在医学影像扫描重建系统接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和具有较高帧率的多帧低分辨率图块之后，并以采样帧数T确定影像扫描装置所采集的图块帧数，如果T＝2，则影像扫描装置采集1帧高分辨率图块和1帧低分辨率图块；如果T＝5，则影像扫描装置会采集1帧高分辨率图块和4帧低分辨率图块。采样帧数T值确定影像扫描装置所连续采集的图块帧数，且影像扫描装置所采集的图块中，至少包含1帧高分辨率图块。在优选的实施例中，其余图块均为低分辨率图块，由此可解决影像扫描装置存储空间和传输带宽有限的问题。当影像扫描装置采集完上述图块时，即提交至影像压缩模块进行影像压缩，所述压缩以降低比特率的方式减少模型文件大小，然后提交至第一传输模块进行传输。第一传输模块将经过影像压缩模块压缩后的上述图块预先分割为多个报文，再传输至医学影像扫描重建系统。当医学影像扫描重建系统接收到第一传输模块所传输的多个报文后，即先暂存于模型缓存，模型缓存再通信连接至影像解码器，以对前述的多个报文进行解压缩，进而解码出上述图块，然后，影像解码器将上述图块暂存于多层缓存模块后，多层缓存模块再通信连接至存储模块，以存储经过解码且不需要长期保存的三维影像。在优选的实施例中，模型缓存可直接通信连接至存储模块以有效节省存储空间。而当多层缓存模块接收到经解码的上述图块后，将解码后的上述图块传输至深度学习引擎，然后深度学习引擎可对影像扫描装置所采集的图块进行超分辨率重建模型渲染。在进行超分辨率重建模型渲染前，对于深度学习引擎所接收的高分辨率图块和低分辨率图块，渲染重建引擎可通过最近邻插值、双线性插值等插值方式，将低分辨率图块放大到与高分辨率图块相同大小，进而计算得出超分辨率图块，并暂存于多层缓存模块。然后，影像编码器对超分辨率图块进行影像编码后，暂存于模型缓存。最后，模型缓存将超分辨率图块传输至医疗终端。所述深度学习引擎包括输入层、嵌入层和输出层，输入层用于输入要进行卷积运算的图块或残差值；嵌入层用于存储多项参数，以确定深度学习引擎进行卷积运算的像素滤波单元；输出层用于输出卷积运算的运算结果；渲染重建引擎的偏移计算单元进行像素偏移量计算，以减少各连续图块所产生的偏移量差值，进而筛选出与低分辨率图块有最小像素偏移量的像素集；渲染重建引擎的像素求和单元用于进行像素求和运算，以分别生成可供双向预测器接收的图块；双向预测器用于接收同一时本文档来自技高网...

【技术保护点】
1.一种基于医学教育的对象三维绘制方法，其特征在于，包括：/n通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；/n由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；/n所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；/n由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及/n由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块；/n其中，当所述深度学习引擎对各个候选高分辨率像素集进行至少一次所述卷积运算后，先从所述卷积运算的运算结果中筛选出与所述低分辨率图块具有最小像素偏移量的像素集，以作为所述参考高分辨率像素集。/n

【技术特征摘要】
1.一种基于医学教育的对象三维绘制方法，其特征在于，包括：
通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；
由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；
所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；
由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及
由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块；...

【专利技术属性】
技术研发人员：张丹，石钊，
申请(专利权)人：成都智学易数字科技有限公司，
类型：发明
国别省市：四川;51