本发明专利技术涉及图像压缩技术领域，具体涉及一种基于深度学习的天文图像无损压缩方法，包括：获取天文数据的原始数据集；对原始数据集中的每张图像进行分块操作，并随机生成初始状态序列；基于训练好的变分自编码器，得到潜在变量的概率密度分布；基于概率密度分布，采用非对称数字系统的解码器对各图像数据块进行压缩，得到最终的状态序列并保存。本发明专利技术可实现天文图像数据的高效、无损压缩，减小占用内存。
【技术实现步骤摘要】
本专利技术涉及图像压缩，更具体的说是涉及一种基于深度学习的天文图像无损压缩方法。
技术介绍
1、随着天文观测技术的快速发展，图像的采样率以及分辨率不断提高，天文图像数据量越来越大，每日创造的观测数据量也在急剧增长。例如，中国最大的1米新真空太阳望远镜(nvst)每日产生的数据达到gb级别，fast望远镜每日产生数据则达到了tb级别，而全球分布的ska望远镜每日产生的数据量则更是惊人地达到了pb级别。目前，这些海量天文图像数据在归档过程中属于无压缩存储方式，需要大量的存储介质支持，带来了巨大的成本开销。另外，由于天文数据本身高清特性，单个文件的大小从mb级到gb级不等，也不利于文件的分享，为数据传输技术，带来了巨大挑战。
2、目前的传输宽带和信道的增加无法与天文数据量的增长相匹配，即对天文图像的存储和传输提出了更高的要求，然而现有的图像压缩技术存在一些问题：
3、①基于先打包后压缩(tar,gzip等)的方式，这是该领域较为常见的形式，但这种方式应用于天文图像压缩表现却并不理想。
4、②若采用基于有损的图像压缩算法，虽然有较好的压缩效果，但是往往会产生不可逆的损失，使得细节部分的图像信息无法保留，而这部分信息有可能正是天文图像中最有价值的部分，如太阳黑子，磁暴等现象。
5、③一些无损压缩方法，如整数小波变换，由于缺乏自适应性，同样没有得到广泛的应用。另外，天文图像的fits格式包含有多种精度，包括无符号整型、单精度浮点型、双精度浮点型等类型，很少有无损压缩方法可以全部适用。
<
p>6、因此，尚未有深度学习方法在天文图像压缩领域得到良好的应用。7、因此，如何利用高效的无损数据压缩技术，降低文件大小，不仅便于归档也能够极大降低存储和传输成本。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于深度学习的天文图像无损压缩方法，可实现天文图像数据的高效、无损压缩，减小占用内存。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于深度学习的天文图像无损压缩方法，包括以下步骤：
4、s1、设置潜在变量的层级l，并输入天文数据的原始数据集；
5、s2、对原始数据集中的每张图像进行分块操作，并随机生成初始状态序列；
6、s3、将分块后的图像或最新的潜在变量数据输入至训练好的变分自编码器的推断模型，得到分块图像或潜在变量的概率密度分布；
7、s4、将s2得到的初始状态序列或s6得到的最新状态序列、以及s3中的概率密度分布输入至非对称数字系统的解码器，输出更新后的状态序列和当前层级的潜在变量；
8、s5、将s4得到的潜在变量输入到变分自编码器的生成模型，输出潜在变量的概率密度分布；
9、s6、将s2得到的图像块或s3得到的潜在变量、以及s4得到的状态序列和s5得到的概率密度分布输入到非对称数字系统的编码器，输出再次更新后的状态序列；
10、s7、判断当前潜在变量层级是否等于l，若等于，则将最新的状态序列和当前层级的潜在变量输入至非对称数字系统的编码器进行编码，得到最终的状态序列并保存；否则，返回s3。
11、进一步的，s1中，潜在变量的层级l根据图像数据的复杂程度设定，其影像图像数据最终的压缩比。
12、进一步的，s4和s6中，非对称数字系统的解码器的表示形式为：
13、
14、s7中，非对称数字系统的编码器的表示形式为：
15、
16、其中，s表示待编码的状态序列符号，x表示符号s编码前的状态，即观测变量；使用范围[0,b)表示每个符号的频次，fs表示符号s出现fs次，fs∈n，n表示自然数集，符号s的近似概率表示为cs:＝f0+…+fs-1，cs表示符号序列的位置符号；mask＝2n-1，n表示用于控制压缩后保存的状态序列数值的范围；x&mask等价于mod(x,b)。
17、进一步的，将一个图像数据看作一个包含隐变量的图模型，数据x的联合概率密度函数分解为下式：
18、pθ(x)＝∫pθ(x,z)dz＝∫pθ(x|z)pθ(z)dz
19、其中，pθ(z)为潜在变量z先验分布的概率密度函数，pθ(x|z)为潜在变量z已知时，观测变量x的条件概率密度函数，θ为需要求解的参数，使用极大似然法进行估计；
20、其对数边际似然函数logpθ(x)分解为下式：
21、logpθ(x)＝dkl(qφ(z|x)||pθ(z|x))+l(θ,φ；x)
22、其中，qφ(z|x)是引入的变分密度函数，其参数为φ，第一个rhs项dkl(qφ(z|x)||pθ(z|x))非负，第二个rhs项l(θ,φ；x)为证据下界。
23、进一步的，qφ(z|x)为推断模型的概率密度函数，pθ(x|z)为生成模型的概率密度函数。
24、进一步的，s3中，变分自编码器模型的采样过程遵循zl→zl-1→…→z1→x形式的马尔科夫链：
25、
26、观测变量x的边际分布为：
27、pθ(x)＝∫pθ(x|z1)pθ(z1|z2)…p(zl)dz1:l
28、其中，观测变量x是基于潜在变量z1生成的，z1是由第二个潜在变量z2生成的，z2是由第三个潜在变量z3生成的，以此类推，生成所有的潜在变量；p(zl)为第l层潜在变量的概率密度函数。
29、进一步的，使用非对称数字系统进行压缩的过程中，使用qφ(z1|x)解码z1，使用得到的潜变量z1以及pθ(x|z1)编码x，接着使用qφ(z2|z1)解码z2，使用得到的z2以及pθ(z1|z2)编码z1，以此类推，直到执行到最大潜变量层l，使用p(zl)编码zl；
30、qφ(z|x)为推断模型输出的概率密度分布，pθ(x|z)为生成模型输出的概率密度分布。
31、进一步的，对于图像数据中的单精度浮点数v的无损压缩，采用三元组{s，e，f}来表示，如下所示：
32、v＝(-1)s×2e-127×(1+f)
33、其中，数符位s占1位；s＝0，表示数v是正数；s＝1，表示数v是负数；阶码位e占8位二进制位，计算公式为：
34、阶码＝阶码真实值+127
35、f为尾数位，位数的隐含最高位为1，尾数位占23位，实际尾数24位，即：
36、尾数真实值＝1+尾数。
37、进一步的，该方法还包括：
38、s8、将保存的最终状态序列数据进行解压缩操作，判断解压缩后的像素数据和原始像素数据是否一致，若不一致，则为有损压缩，结束压缩程序；若一致，则计算压缩比，若压缩比在预设阈值范围内，则图像质量没有损失，为无损压缩。
39、经由上述的技术方案可知，与现有技术相比，本专利技术具有以下有益效果：
40、由于图像数本文档来自技高网
...
【技术保护点】
1.一种基于深度学习的天文图像无损压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，S1中，潜在变量的层级L根据图像数据的复杂程度设定，其影响图像数据最终的压缩比。
3.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，S4和S6中，非对称数字系统的解码器的表示形式为：
4.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，将一个图像数据看作一个包含隐变量的图模型，数据x的联合概率密度函数分解为下式：
5.根据权利要求4所述的基于深度学习的天文图像无损压缩方法，其特征在于，qφ(z|x)为推断模型的概率密度函数，pθ(x|z)为生成模型概率密度分布函数。
6.根据权利要求4所述的基于深度学习的天文图像无损压缩方法，其特征在于，S3中，变分自编码器模型的采样过程遵循zL→zL-1→…→z1→x形式的马尔科夫链：
7.根据权利要求6所述的基于深度学习的天文图像无损压缩方法，其特征在于，使用非对称数字系统进行压缩的过程中，使用qφ(z1|x)解码z1，使用得到的潜变量z1以及pθ(x|z1)编码x，接着使用qφ(z2|z1)解码z2，使用得到的z2以及pθ(z1|z2)编码z1，以此类推，直到执行到最大潜变量层L，使用p(zL)编码zL；
8.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，对于图像数据中的单精度浮点数V的无损压缩，采用三元组{S，E，F}来表示，如下所示：
9.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，该方法还包括：
...
【技术特征摘要】
1.一种基于深度学习的天文图像无损压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，s1中，潜在变量的层级l根据图像数据的复杂程度设定，其影响图像数据最终的压缩比。
3.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，s4和s6中，非对称数字系统的解码器的表示形式为：
4.根据权利要求1所述的基于深度学习的天文图像无损压缩方法，其特征在于，将一个图像数据看作一个包含隐变量的图模型，数据x的联合概率密度函数分解为下式：
5.根据权利要求4所述的基于深度学习的天文图像无损压缩方法，其特征在于，qφ(z|x)为推断模型的概率密度函数，pθ(x|z)为生成模型概率密度分布函数。
6.根据权利要求4所述的基...
【专利技术属性】
技术研发人员：刘应波，柳晓莹，杨磊，付怀颖，
申请(专利权)人：云南财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。