医学影像云存储平台设计方法技术

一种医学影像云存储平台设计方法，涉及医学影像存储技术。为了解决如何快速从合并后的文件中读取影像小文件，以及HDFS不适合存储医学影像小文件的问题，本发明专利技术提出了将多个检查文件中所有的影像文件进行合并，使其变成一个接近128MB的大文件，这个大文件本发明专利技术称为SData文件。往文件容器中添加检查文件前，会判断当前文件容器的容量加上检查文件的大小是否超过阈值，如果超过阈值则新建一个文件容器。小文件集合合并成若干个SData数据文件上传到HDFS中，所对应的SData索引文件存储在索引池中。有效地减少了医学影像小文件对HDFS中NameNode的内存消耗，使HDFS适合存储影像小文件，另外引入索引、预取和缓存机制有效的加快文件的读取速度。

【技术实现步骤摘要】
医学影像云存储平台设计方法
本专利技术涉及医学影像存储技术。
技术介绍
随着影像设备在临床上的广泛应用，医学影像数据急速膨胀，区域医学影像数据达到PB级，采用传统存储架构费用极高。现在医院PACS系统大多采用“在线-近线-离线”的储存模式，这种模式下离线数据的可用性非常差，而且不能实时获取。随着移动互联网的发展，人们对现有的医学服务模式提出了新的需求，而一个高性能、高可靠的海量图像存储系统将是这一切的基石。现有技术情况在解决小文件存储和访问的问题上，有许多技术能有效地解决。这些技术可分为两类，一类是通用解决方法，这类方法的核心思想就是将小文件合并成大文件；另一类是针对特定问题的解决方案，这类方案通常结合特定领域数据自身的特点，针对某几个问题进行优化。针对通用决方案，主要包括Hadoop自身提供的HAR、SequenceFile、MapFile以及针对这些方案的改进。这些方案都能有效的减少HDFS中文件的数目，但是应用到医学影像存储存在着一些缺陷。而针对特定问题的解决方案，由于并非医学影像领域，并不涉及到医学影像的特有特点，所以并不适合直接应用到医学影像领域。专利技术内容医学影像小文件本文档来自技高网...

【技术保护点】
1.一种医学影像云存储平台设计方法，其特征在于,在存储方面，提出SData文件的设计方案，即：将多个检查文件中所有的影像文件进行合并，使其变成一个接近128MB的大文件，这个大文件本专利技术称为SData文件；SData文件容器的最大容量为128MB，往文件容器中添加检查文件前，会判断当前文件容器的容量加上检查文件的大小是否超过阈值，如果超过阈值则新建一个文件容器；所述SData文件由SData索引文件和SData数据文件两部分组成，索引文件和数据文件一一对应；本专利技术所设计的SData文件文件格式基于SequenceFile并对其进行扩展，引入了索引，提出了自己的文件容器；所述SData索...

【技术特征摘要】
1.一种医学影像云存储平台设计方法，其特征在于,在存储方面，提出SData文件的设计方案，即：将多个检查文件中所有的影像文件进行合并，使其变成一个接近128MB的大文件，这个大文件本发明称为SData文件；SData文件容器的最大容量为128MB，往文件容器中添加检查文件前，会判断当前文件容器的容量加上检查文件的大小是否超过阈值，如果超过阈值则新建一个文件容器；所述SData文件由SData索引文件和SData数据文件两部分组成，索引文件和数据文件一一对应；本发明所设计的SData文件文件格式基于SequenceFile并对其进行扩展，引入了索引，提出了自己的文件容器；所述SData索引文件，分为文件头和文件体两部分，其中文件头包含文件标志，名称映射表和同步标志点，名称映射表以键值对的形式记录小文件名和所对应的序号；文件体由若干个文件记录组成，一个记录由三部分组成，分别为文件记录的长度，序号(固定字节)，文件地址；所述SData数据文件，同样分为文件头和文件体两部分，文件头和SData索引文件一样；所述文件体，是由若干个文件记录组成；一个记录由三部分组成，分别为文件记录的长度，序号(固定字节)，文件内容；小文件集合合并成若干个SData数据文件上传到HDFS中，所对应的SData索引文件存储在索引池中。2.如权利要求1所述的医学影像云存储平台设计方法，其特征在于,进一步的，给出小文件的多策略合并方案，即：针对不同的影像设备所产生的检查文件采取了不同的合并策略；基于医学影像信息层次模型中，按照病人-检查-序列-图像4个等级来组织医学影像文件；一个病人可能有多个检查，每个检查可能包括一个或多个图像序列，每个序列有一个或多个图像；对于像MR、CT这种类型的检查文件通常有多个序列，一个序列下有多个影像文件，实际应用中，医生往往是调用一个序列文件进行查看，对于这种类型的文件，以序列文件为单位合并进所述SData文件，即同一个序列中的所有文件都存储在同一个SData文件，而一次检查下的不同序列可能存储在两个SData文件上；对于像CR这种单次检查产生影像数量很少的图像类型，以检查文件为单位合并进所述SData文件，即同一次检查下的所有文件存储在同一个SData文件；文件合并模型主要将检查文件按照相应规则建立文件名的映射，并进行分类，将分类后的文件按照合并策略进行合并同时建立索引。3.如权利要求2所述的医学影像云存储平台设计方法，其特征在于,进一步的，给出文件的预处理流程方案：1)读取文件，判断文件是否为DICOM文件，若是则继续流程，若不是则结束流程；2)解析DICOM文件中数据元素，如文件UID，文件名称，检查日期，文件类型等；3)生成文件映射表，记录文件UID，检查日期，文件类型和序号(序号在合并过程中生成)，大文件命名规则：检查日期_文件类型_序号.suffix，文件映射表用来建立待合并小文件和合并后大文件之间的映射关系；4)...

【专利技术属性】
技术研发人员：闫凤麒，徐志坚，陆明名，
申请(专利权)人：上海熙业信息科技有限公司，
类型：发明
国别省市：上海,31