【技术实现步骤摘要】
【国外来华专利技术】图像压缩方法与设备
本专利技术涉及压缩或解压缩图像数据的方法及设备,并且在一个特定示例中涉及用于压缩或解压缩图像数据以允许用降低的带宽并且较少的延迟来传输图像数据的方法及设备。现有技术的描述本说明书中对任何现有公开(或其衍生信息)或任何已知事项的引用,不是也不应被视为确认或承认或任何形式的建议,即现有公开物(或其衍生信息)或已知事物,构成本说明书所涉及事业领域的一般常见知识的部分。在虚拟、增强和混合的现实系统中,通常提供一种可穿戴式显示装置,诸如头戴式显示器(HMD,HeadMountedDisplay),其基于显示装置的相对空间位置及/或方位将信息显示给佩戴者。这种系统基于关于该显示装置的姿势(位置和方位)的信息产生图像来进行操作,如此随着该显示装置移动,图像被更新以反映该显示装置的新姿势。为了避免晕动病,在姿势信息的收集和相对应的图像的建立之间的时间差最小化,特别是在该显示装置快速移动的情况下,这是相当重要的。结合对产生高分辨率图像使得它们看起来尽可能逼真的需求,这表示需要有相当高阶的处理硬件。结果,高端现有系统通常需要具有高带宽并且低延迟连接至该显示装置的静态台式计算机。因此,像是HTCViveTM、OculusRiftTM和PlaystationVRTM这些当前的系统在计算机与HMD之间需要有线连接,这并不方便。虽然有移动解决方案可用,例如GearVRTM,其并入移动电话来执行在HMD本身内的图像处理和显示,但是处理能力是有限的,意味着可以显示的内容受到限制,特别是在图像分辨率和质量方面受到限制。我们都知道,压缩图像数据以便缩小数据体积。这在许 ...
【技术保护点】
1.一种将来自形成数字现实内容的一部分的一个或更多个图像中的图像数据压缩的方法,所述方法包括:a)从所述图像数据获得像素数据,所述像素数据代表在所述一个或更多个图像内的像素数组;b)确定在所述一个或更多个图像内的所述像素数组相对于定义的位置的位置,所述定义的位置至少部分指示使用者的凝视点;以及c)将所述像素数据压缩以产生压缩的图像数据,所述像素数据至少部分地根据所确定的位置来进行压缩,使得压缩程度取决于所述像素数组的所述确定的位置。
【技术特征摘要】
【国外来华专利技术】2016.12.07 AU 2016905048;2016.06.17 US 62/351,7381.一种将来自形成数字现实内容的一部分的一个或更多个图像中的图像数据压缩的方法,所述方法包括:a)从所述图像数据获得像素数据,所述像素数据代表在所述一个或更多个图像内的像素数组;b)确定在所述一个或更多个图像内的所述像素数组相对于定义的位置的位置,所述定义的位置至少部分指示使用者的凝视点;以及c)将所述像素数据压缩以产生压缩的图像数据,所述像素数据至少部分地根据所确定的位置来进行压缩,使得压缩程度取决于所述像素数组的所述确定的位置。2.如权利要求1所述的方法,其中,所述定义的位置为以下中至少一项:a)所述使用者的测量凝视点;b)所述使用者的预期凝视点;c)偏离所述使用者的测量凝视点之处;d)偏离所述使用者的预期凝视点之处;以及e)至少部分根据指示所述使用者的凝视点的凝视数据所确定之处,所述凝视数据是从凝视追踪系统来获得的。3.如权利要求1或2所述的方法,其中,所述方法包括压缩所述像素数据,使得所述压缩程度为以下中的至少一项:a)基于与所述定义的点的距离;b)基于相对于所述定义的点的方向;c)随着远离所述定义的点增加;以及d)提供凹式压缩。4.如权利要求1至3中的任一项所述的方法,其中,所述方法包括:a)选择多个编码方案中的一个编码方案;以及b)使用所选择的编码方案对所述像素数据编码。5.如权利要求4所述的方法,其中,所述编码方案中的每个编码方案提供相应的压缩程度,并且其中,所述方法包含至少部分根据以下中的至少一项来选择所述编码方案:a)所要的压缩程度;以及b)所述像素数组的位置。6.如权利要求4或5所述的方法,其中,所述方法包括:a)确定指示所使用所述编码方案的编码代码;以及b)使用所述编码代码与编码的像素数据来产生压缩的图像数据。7.如权利要求1至6中的任一项所述的方法,其中,所述方法包括使用编码方案,所述编码方案通过以下项来压缩所述像素数据:a)对所述像素数据应用变换,以确定指示所述像素数组的频率分量的一组频率系数;b)使用位编码方案选择性地对所述频率系数中的至少一些频率系数编码,从而产生一组编码频率系数;以及c)使用所述编码频率系数产生压缩的图像数据。8.如权利要求7所述的方法,其中,所述位编码方案定义用于编码所述频率系数中的每个频率系数的位数,并且其中,所述频率系数被选择性地编码,使得实现以下中的至少一项:a)所述编码频率系数中的至少一些编码频率系数具有不同位数;b)较少位数被用于将对应于较高频率的频率系数编码;c)逐渐较少的位数被用于将对应于逐渐较高频率的频率系数编码;d)至少一个频率系数被丢弃,使得所述一组编码频率系数小于所述一组频率系数;以及e)对应于较高频率的至少一个频率系数被丢弃。9.如权利要求7或8所述的方法,其中,所述方法包括:a)选择多个位编码方案中的一个位编码方案;以及b)根据所选择的位编码方案对所述频率系数编码。10.如权利要求9所述的方法,其中,所述多个位编码方案中的每个位编码方案选择性地用相应的不同的位数来编码不同的频率系数,以提供不同的压缩程度。11.如权利要求9或10所述的方法,其中,所述位编码方案是至少部分根据以下中的至少一项选择的:a)所要的压缩程度;以及b)所述像素数组的位置。12.如权利要求9至11中的任一项所述的方法,其中,所述频率分量是以多个层级进行布置的,并且其中,每个位编码方案定义要用来编码所述多个层级中每个层级内的所述频率系数的相应的位数。13.如权利要求12所述的方法,其中,所述数组为NxN像素数组,导致2N-1个频率分量的层级。14.如权利要求7至13中的任一项所述的方法,其中,所述方法包括将缩放因子应用到所述频率系数中的至少一些频率系数,使得被缩放的频率系数被编码,所述缩放因子被用来减少每个频率系数的量级,并且其中,以下中的至少一项成立:a)不同的缩放因子被应用到至少一些频率系数;b)相同的缩放因子被应用到每个频率系数;以及c)不同的缩放因子被应用到不同信道内的频率系数。15.如权利要求7至14中的任一项所述的方法,其中,所述图像数据定义多个信道,并且其中,所述方法包括针对每个信道选择性地编码频率系数。16.如权利要求15所述的方法,其中,所述像素数据定义RGB信道,并且其中,所述方法包括:a)将所述RGB信道转换成YCbCr信道;以及b)变换所述YCbCr信道。17.如权利要求16所述的方法,其中,所述方法包括以下中的至少一项:a)相比于针对所述Cb或Cr信道,选择性地针对所述Y信道编码更多频率系数;b)选择性地针对所述YCbCr信道并行编码频率系数;以及c)选择性地针对所述CbCr信道编码频率系数并使用所述Y信道。18.如权利要求1至17中的任一项所述的方法,其中,所述变换为2-D离散余弦变换。19.如权利要求1至18中的任一项所述的方法,其中,所述方法包括通过以下项从图像数据获得像素数据:a)缓冲对应于所述图像的接下来的n-1个像素行的图像数据;b)缓冲关于接下来的像素行的接下来的n个像素的图像数据;c)从所缓冲的图像数据中获得关于接下来的nxn像素块的像素数据;d)重复步骤b)和c),直到已经从所有的n行像素中获得像素数据为止;以及e)重复步骤a)至d),直到已经从所述图像的每个像素行中获得像素数据为止。20.如权利要求19所述的方法,其中,n是基于以下中的至少一项进行选择的:a)选择的位编码方案;b)所要的压缩程度;以及c)所述像素数组的位置。21.如权利要求1至20中的任一项所述的方法,其中,所述方法包括:a)选择性地并行编码频率系数;以及b)至少部分通过并行串行字节编码来产生压缩的图像数据。22.一种将来自形成数字现实内容的部分的一个或更多个图像中的压缩的图像数据解压缩的方法,所述方法包括:a)获得压缩的图像数据,所述压缩的图像数据代表在所述一个或更多个图像内的像素数组,并且至少部分基于在所述一个或更多个图像内的所述像素数组相对于定义的位置的位置来进行压缩的,所述定义的位置至少部分指示使用者的凝视点;以及b)至少部分地根据所述确定的位置来将所述压缩的图像数据解压缩。23.如权利要求22所述的方法,其中,所述定义的位置为以下中的至少一项:a)所述使用者的测量凝视点;b)所述使用者的预期凝视点;c)偏移所述使用者的测量凝视点之处;d)偏移所述使用者的预期凝视点之处;以及e)至少部分地根据指示所述使用者的凝视点的凝视数据所确定之处,所述凝视数据是从凝视追踪系统获得的。24.如权利要求22或23所述的方法,其中所述方法包括:a)选择多个解码方案中的一个解码方案;以及b)使用所选择的解码方案对所述像素数据解码。25.如权利要求24所述的方法,其中,所述方法包括至少部分地根据以下中的至少一项来选择所述解码方案:a)所要的压缩程度;b)所述像素数组的位置;以及c)指示所使用的所述编码方案的编码代码,所述编码代码是根据所述压缩的图像数据确定的。26.如权利要求22至25中的任一项所述的方法,其中,所述方法包括使用解码方案,所述解码方案通过以下项来对压缩的图像数据进行解压缩:a)根据定义每个编码频率系数内所使用位数的位编码方案,从所述压缩的图像数据确定一组编码频率系数;b)根据所述位编码方案来执行对所述编码频率系数的位解码,从而产生一组频率系数,其中,至少一个频率系数被产生,使得所述一组编码频率系数小于所述一组频率系数;以及c)对所述一组频率系数应用逆变换,以确定代表在所述一个或更多个图像内的像素数组的像素数据。27.如权利要求26所述的方法,其中,所述位编码方案定义用于编码所述频率系数中的每个频率系数的所述位数,所述位编码方案使用较少的位数来编码对应于较高频率的频率系数,并且其中,所述方法包括产生对应于较高频率的所述频率系数中至少一些频率系数。28.如权利要求26或27所述的方法,其中,所述方法包括:a)选择多个位编码方案中的一个位编码方案;以及b)根据所选择的位编码方案对所述编码频率系数解码。29.如权利要求28所述的方法,其中,所述多个位编码方案中的每个位编码方案选择性地用相应的不同的位数来编码不同的频率系数,以提供不同的压缩程度。30.如权利要求28或29所述的方法,其中,所述位编码方案是至少部分根据以下中的至少一项来选择的:a)编码代码;b)用来产生所述压缩的图像数据的所述位编码方案;以及c)所述像素数组的位置。31.如权利要求28至30中的任一项所述的方法,其中,所述频率分量是以多个层级进行布置的,并且其中,每个位编码方案定义要用来编码所述多个层级中每个层级内的所述频率系数的相应的位数。32.如权利要求31所述的方法,其中,所述数组为NxN像素数组,导致2N-1个频率分量的层级。33.如权利要求26至32中的任一项所述的方法,其中,所述方法包括将缩放因子应用到所述频率系数中的至少一些频率系数,使得被缩放的频率系数被解码,所述缩放因子被用来增加每个频率系数的量级,并且其中以下中的至少一项成立:a)不同的缩放因子被应用到至少一些编码频率系数;b)相同的缩放因子被应用到每个编码频率系数;以及c)不同的缩放因子被应用到不同的信道内的编码频率系数。34.如权利要求26至33中的任一项所述的方法,其中,所述图像数据定义多个信道,并且其中,所述方法包括针对每个信道选择性地解码编码的频率系数。35.如权利要求34所述的方法,其中,所述压缩的像素数据定义YCbCr信道,并且其中,所述方法包括:a)执行对所述YCbCr信道的逆变换;以及b)将所变换的YCbCr信道转换成RGB信道。36.如权利要求35所述的方法,其中,所述方法包括以下中的至少一项:a)相比于针对所述Y信道,针对所述Cb或Cr信道产生更多频率系数;b)并行解码所编码的YCbCr信道;以及c)解码所述CbCr信道,并将所解码的CbCr信道与所述Y信道转换成RGB信道。37.如权利要求26至36中的任一项所述的方法,其中,所述逆变换为逆2-D离散余弦变换。38.如权利要求26至37中的任一项所述的方法,其中,所述方法包括:a)至少部分通过串行并行字节解码来解码压缩的图像数据;以及b)并行选择性地解码频率系数。39.如权利要求5、11、20、25和30中的任一项所述的方法,其中,所要的压缩程度是基于以下中的至少一项确定的:a)所述像素数组的位置;b)用来传输所述压缩的图像数据的通信链路的传输带宽;c)用来传输所述压缩的图像数据的通信链路的传输服务质量;d)显示装置的移动;e)图像显示需求;f)目标显示分辨率;g)正在被处理的信道;以及h)误差度量。40.如权利要求1至39中的任一项所述的方法,其中,所述数字现实是以下中的至少一项:a)增强现实;b)虚拟现实;c)混合现实;以及d)远程呈现。41.如权利要求1至40中的任一项所述的方法,其中,所述方法被用于经由以下中的至少一项将来自计算装置的所述图像数据传输至可穿戴数字现实头戴装置:a)通信网络;以及b)无线通信链路。42.一种将来自形成数字现实内容的部分的一个或更多个图像中的图像数据压缩的设备,所述设备包括至少一个电子编码器处理装置,所述至少一个电子编码器处理装置:a)从所述图像数据获得像素数据,所述像素数据代表在所述一个或更多个图像内的像素数组;b)确定在所述一个或更多个图像内的所述像素数组相对于定义的位置的位置,所述定义的位置至少部分指示使用者的凝视点;以及c)至少部分根据所确定的位置将所述图像数据压缩,使得压缩程度取决于所述像素数组的所述确定的位置。43.一种用于将来自形成数字现实内容的部分的一个或更多个图像中的压缩的图像数据解压缩的设备,所述设备包括至少一个电子解码器处理装置,所述至少一个电子解码器处理装置:a)获得压缩的图像数据,所述压缩的图像数据代表在所述一个或更多个图像内的像素数组,并且至少部分地基于在所述一个或更多个图像内的所述像素数组相对于定义的位置的位置来进行压缩,所述定义的位置至少部分指示所述使用者的凝视点;以及b)至少部分地根据所述确定的位置来将所述压缩的图像数据解压缩。44.一种将代表一个或更多个图像的图像数据压缩的方法,所述方法包括:a)从所述图像数据获得像素数据,所述像素数据代表在所述一个或更多个图像内的像素数组;b)对所述像素数据应用变换,以确定指示所述像素数组的频率分量的一组频率系数;c)使用位编码方案选择性地编码所述频率系数中的至少一些频率系数,从而产生一组编码频率系数,其中,所述位编码方案定义用于将所述频率系数中的每个频率系数编码的位数,使得当所述频率系数被选择性地编码时:i)所述编码频率系数中的至少一些编码频率系数是使用不同的位数进行编码的;以及ii)至少一个频率系数被丢弃,使得所述一组编码频率系数小于所述一组频率系数;以及d)使用所述编码频率系数产生压缩的图像数据。45.如权利要求44所述的方法,其中,所述频率系数被选择性地编码,使得实现以下中的至少一项:a)被用于编码每个频率系数的位数被定义,而与相应的频率系数的值无关;b)较少的位数被用于将对应于较高频率的频率系数编码;c)逐渐较少的位数被用于将对应于逐渐较高频率的频率系数编码;d)对应于较高频率的至少一个频率系数被丢弃。46.如权利要求44或45所述的方法,其中,所述方法包括将缩放因子应用到所述频率系数中的至少一些频率系数,使得被缩放的频率系数被编码,并且其中以下中的至少一项成立:a)不同的缩放因子被应用到至少一些频率系数;b)相同的缩放因子被应用到每个频率系数;以及c)所述缩放因子被用来降低每个频率系数的量级。47.如权利要求44至46中的任一项所述的方法,其中,所述方法包括:a)选择多个编码方案中的一个编码方案;以及b)使用所选择的编码方案对所述像素数据编码。48.如权利要求47所述的方法,其中,所述编码方案中的每个编码方案提供相应的压缩程度,并且其中,所述方法包含至少部分地根据以下中至少一项来选择所述编码方案:a)所要的压缩程度;以及b)所述像素数组的位置。49.如权利要求44至48中的任一项所述的方法,其中,所述方法包括根据以下中的至少一项选择性地编码频率系数:a)选择规则;b)所要的压缩程度;以及c)在所述一个或更多个图像内所述像素数组的位置。50.如权利要求49所述的方法,其中,所述方法包括:a)选择多个位编码方案中的一个位编码方案;以及b)根据所选择的位编码方案对所述频率系数编码。51.如权利要求50所述的方法,其中,所述多个位编码方案中的每个位编码方案选择性地用相应的不同的位数来编码不同的频率系数,以提供不同的压缩程度。52.如权利要求50或51所述的方法,其中,所述位编码方案是至少部分根据以下中至少一项进行选择的:a)选择规则;b)所要的压缩程度;以及c)所述像素数组的位置。53.如权利要求50至52中的任一项所述的方法,其中,所述方法包括基于以下中的至少一项选择所述位编码方案:a)用于传输所述压缩的图像数据的通信链路的传输带宽;b)用于传输所述压缩的图像数据的通信链路的传输服务质量;c)显示装置的移动;d)图像显示需求;e)目标显示分辨率;f)正在被处理的信道;g)在所述一个或更多个图像内的所述像素数组的位置;h)在所述一个或更多个图像内所述像素数组相对于所述一个或更多个图像的观察者的凝视点的位置;以及i)误差度量。54.如权利要求50至53中的任一项所述的方法,其中,所述频率分量是以多个层级进行布置的,并且其中,每个位编码方案定义要用来编码所述多个层级中每个层级内的所述频率系数的相应的位数。55.如权利要求54所述的方法,其中,所述数组为NxN像素数组,导致2N-1个频率分量的层级。56.如权利要求44至55中的任一项所述的方法,其中,所述方法包括:a)确定所述一个或更多个图像的观察者的凝视点;b)至少部分地根据所述凝视点选择性地编码频率系数。57.如权利要求56所述的方法,其中,所述方法包括:a)确定在所述凝视点与在所述一个或更多个图像内所述像素数组的位置间的距离;以及b)根据所述距离选择性地编码频率系数,使得对于较大的距离,较少的频率系数被编码。58.如权利要求44至57中的任一项所述的方法,其中,所述图像数据定义多个信道,并且其中,所述方法包括选择性地编码关于每个信道的频率系数。59.如权利要求58所述的方法,其中,所述像素数据定义RGB信道,并且其中,所述方法包括:a)将所述RGB信道转换成YCbCr信道;以及b)变换所述YCbCr信道。60.如权利要求59所述的方法,其中,所述方法包括以下中的至少一项:a...
【专利技术属性】
技术研发人员:丹尼尔·莱姆·菲茨杰拉德,蒂莫西·西蒙·卢卡斯,
申请(专利权)人:因默希弗机器人私人有限公司,
类型:发明
国别省市:澳大利亚,AU
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。