本发明专利技术公开了一种基于移动端虚拟视点合成的云卸载方法及系统，该方法包括如下步骤：A1.将输入帧，包括左右视点的纹理图和深度图，等分成n块；A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果；A4.根据A3分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；A5.将云端和移动端合成的虚拟视点图像进行拼接，输出一个完整的虚拟视点。使用本发明专利技术的云卸载方法或系统，不仅能够提高虚拟视点合成的算法效率、降低移动端的功耗，而且还能高效地获取较高质量的合成的虚拟视点图像或者视频。
【技术实现步骤摘要】
本专利技术涉及计算机视觉与数字图像处理领域，特别涉及一种基于云计算的虚拟视点合成的自适应卸载方法。
技术介绍
随着移动互联网时代的来临以及智能移动端多核处理器记忆GPU等硬件处理设备的发展，移动端的功能越来越强大。这使越来越多的娱乐媒体活动慢慢的从PC机转移到了以移动端，移动端自由视点合成便是其主要方向之一。自由视点视频(FTV)可以为用户提供任意视点的场景图像，从而极大地增强用户的视觉体验效果，因而具有广阔的发展前景。如果能在移动终端上实现FTV，不仅能够极大地普及3D技术，而且还能够带来巨大的经济意义。为了将高质量的任意视点图像应用于FTV，MPEG组织开发了VSRS(ViewSynthesisReferenceSoftware)参考软件,此软件用两个参考视点纹理图和相应的深度图作为输入来生成一个合成的虚拟视点。但是，VSRS运行耗时非常长，其虚拟视点合成速度大约是2帧/秒，远小于实时播放下要求的30帧/秒。这就造成了VSRS在现实中的应用受到了限制，特别是PC端和移动端等终端设备上。随着云计算的流行，大量研究致力于将移动端应用中相对复杂的计算卸载到云端，以降低移动端的功耗。移动终端通过无线网络连接到云端，将本应在本地终端进行的计算工作及数据发送到云端，由云端多个虚拟机完成计算，以降低本地终端功耗。但是，现存的云卸载方案在卸载的同时会产生大量的功耗，也很难在降低本地功耗的同时获得高质量的合成的虚拟视点。
技术实现思路
本专利技术的主要目的在于解决现有技术中云卸载方案很难在降低本地功耗的同时获得高质量的合成的虚拟视点的问题，提供一种基于移动端虚拟视点合成的云卸载方法及系统。本专利技术提供了一种基于移动端虚拟视点合成的云卸载方法，包括以下步骤：A1.将输入帧，包括左右视点的纹理图和深度图，平均分成n块，其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；A4.根据A3分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；A5.将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点。优选地，所述步骤A1中，将输入帧，包括左右视点的纹理图和深度图，平均分割成n块，分割为纵向分割或者横向分割，对左右视点的纹理图和深度图采用的分割方法完全相同。优选地，所述步骤A2中对分割后的每帧图像块进行负载预测：Ψ≈ΨF+ΨM，其中Ψ为每一块进行视点合成的负载，ΨF和ΨM分别为左右视点的纹理图向虚拟视点的映射的负载和左右视点向虚拟视点映射后的图像融合的负载；ΨF＝2α1WH，其中，W和H分别为分割后的每块的宽度和高度；对于α1，把所有线程各自ForwardWarp()函数时间加在一起除以总的像素点，即ΨM≈α2(2WH-Θ)，其中，Θ为空洞点的数目，对于α2，把所有线程各自Merge()函数时间加在一起除以总的非空洞像素点，即其中，TMerge()为Merge()函数时间，Nonholes为非空洞像素点。优选地，所述步骤A3中云卸载模型的表达式为：其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽；其中ψi(i＝1,2,…,n)为第i块进行视点合成的负载，ft为当前设备的每秒处理速度；D＝Dm+Dc，其中Dm和Dc分别为在移动端上和在云端进行视点合成时需要传输到移动端的数据。优选地，当视频在云端时，若某块需分配到移动端进行视点合成，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图；当该块分配到云端进行视点合成时，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图以及新合成的视点，即其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV420,YUV422和YUV444的视频，γ分别为1.5，2和3。优选地，当视频在移动端时，若某块需分配到移动端进行视点合成，由于视频原来就存储在移动端，需要传输到移动端的数据为0；当该块分配到云端进行视点合成时，需要先将该合成块对应的左右视点的深度图和纹理图传输到云端进行视点合成，待合成完毕后，需要将合成后的视点传输回移动端，即其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV420,YUV422和YUV444的视频，γ分别为1.5，2和3。优选地，所述步骤A4中在云端或者在移动端分别对不同的图像块进行视点合成，采用视点合成参考软件VSRS里的标准方法进行视点合成。优选地，所述步骤A5中将云端和移动端合成的虚拟视点图像进行拼接，是指将合成的每块视点拼成完整的一帧。本专利技术还提出一种基于移动端虚拟视点合成的云卸载系统，包括输入帧视点分割模块、负载预测模块、云卸载模块、虚拟视点合成模块、虚拟视点拼接模块；输入帧视点分割模块用于将输入的左右视点的深度图和纹理图的等份分割；负载预测模块用于预测分割后每块图像进行视点合成的负载；云卸载模块通过代入一帧中每块进行视点合成的负载，最小化移动端的功耗，得到分配结果，实现资源的动态分配；虚拟视点合成模块用于在移动端或云端进行虚拟视点合成；虚拟视点拼接模块用于将云端和移动端产生的虚拟视点图像进行拼接，输出一个完整的虚拟视点图像。本专利技术的有益效果为：使用本专利技术的基于移动端虚拟视点合成的云卸载方法或系统，对输入帧的左右视点的纹理图和深度图进行分割，预测各个分割块进行虚拟视点合成的负载，通过本专利技术提出的云卸载模型，将各个块分配到云端或者移动端进行虚拟视点合成，然后把各个子线程产生的虚拟视点图像进行拼接，产生一个完成的虚拟视点图像输出，不管待合成视点在云端还是在移动端，皆能够实现资源的动态分配，不仅能够提高虚拟视点合成的算法效率、降低移动端的功耗，而且还能高效地获取较高质量的合成的虚拟视点图像或者视频。附图说明图1是本专利技术实施例1中基于移动端虚拟视点合成的云卸载方法的流程图。图2是本专利技术实施例1中待合成视点在云端时的云卸载系统结构示意图。图3是本专利技术实施例1中待合成视点在移动端时的云卸载系统结构示意图。图4a和4d是本专利技术实施例2中没有使用云卸载模型时合成的虚拟视点的图像。图4b和4e是本专利技术实施例2中每帧视频被分割成4块时对应的合成的虚拟视点的图像。图4c和4f是本专利技术实施例2中每帧视频被分割成8块时对应的合成的虚拟视点的图像。具体实施方式下面结合具体实施方式并对照附图对本专利技术做进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。实施例1本实施例提供了一种基于移动端虚拟视点合成的云卸载方法及系统，其方法流程如附图1所示，包括如下步骤：A1.视点分割。将输入帧，包括左右视点的纹理图和深度图，等分成n块，其中n为用户自行设定的将每帧视频分割的本文档来自技高网...
【技术保护点】
一种基于移动端的虚拟视点合成的云卸载方法，其特征在于，所述方法包括以下步骤：A1.将输入帧，包括左右视点的纹理图和深度图，平均分成n块；其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；A4.根据A3的分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；A5.将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点。
【技术特征摘要】
1.一种基于移动端的虚拟视点合成的云卸载方法，其特征在于，所述方法包括以下步骤：A1.将输入帧，包括左右视点的纹理图和深度图，平均分成n块；其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；A4.根据A3的分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；A5.将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点。2.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A1中，将输入帧，包括左右视点的纹理图和深度图，平均分割成n块，分割为纵向分割或者横向分割，对左右视点的纹理图和深度图采用的分割方法完全相同。3.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A2中对分割后的每帧图像块进行负载预测；Ψ≈ΨF+ΨM，其中Ψ为每一块进行视点合成的负载；ΨF和ΨM分别为左右视点的纹理图向虚拟视点的映射的负载和左右视点向虚拟视点映射后的图像融合的负载；ΨF＝2α1WH，其中，W和H分别为分割后的每块的宽度和高度；对于α1，把所有线程各自ForwardWarp()函数时间加在一起除以总的像素点，即α1=ΣTotalTForwardWarp()2WH;]]>ΨM≈α2(2WH-Θ)，其中，Θ为空洞点的数目，对于α2，把所有线程各自Merge()函数时间加在一起除以总的非空洞像素点，即其中，TMerge()为Merge()函数时间，Nonholes为非空洞像素点。4.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A3中云卸载模型的表达式为：其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为...
【专利技术属性】
技术研发人员：金欣，李倩，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。