图像处理的方法和装置及视频处理的方法和装置制造方法及图纸

本申请提供了一种图像处理的方法和装置、视频处理的方法和装置及虚拟现实装置，该图像处理的方法包括：获取背景图像，该背景图像为球形全景图像或立方体全景图像；获取目标图像，该目标图像为非全景图像；对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素，从而，能够降低虚拟现实设备在播放虚拟影院图像时的处理负担。

【技术实现步骤摘要】
图像处理的方法和装置及视频处理的方法和装置
本申请涉及视频图像领域，并且更具体地，涉及图像处理的方法和装置、视频处理的方法和装置及虚拟现实装置。
技术介绍
虚拟现实(VirtualReality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。全景图像(或者说，由多帧全景图像组成的全景视频)是实现VR场景的主要手段之一。全景图像是指通过例如，广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多的表现出周围的环境。其中，全景图像可以借助全景摄像机拍摄完成，但是，全景摄像机的价格较高。或者，全景图像也可以借助计算机建模处理生成，但是，该过程对于计算机的图形处理能力的要求较高。为了低成本的为用户提供VR体现，出现了虚拟影院技术，用户在戴上VR设备的瞬间就会置身于一个虚拟的影院当中，例如，用户会识别为前后左右都是实现完成建模的座椅，正前方是一个播放幕布，用户所选的视频将会在幕布上播放。虚拟影院技术的实现VR的方式主要通过制作作为全景图像的虚拟背景图像，例如，影院的全景图像，在播放虚拟背景图像的同时播放正常视频，正常图像覆盖在虚拟背景图像中的固定位置，相当于通过类似更换播放器皮肤的方式实现在虚拟场所观看正常图像。但是，该虚拟影院技术中，需要VR设备同时完成普通图像的播放和全景图像的播放，对VR设备的要求较高。希望提供一种技术，能够降低VR设备在播放虚拟影院图像时的处理负担。
技术实现思路
本申请提供一种图像处理的方法、装置和设备及视频处理的方法、装置和设备，能够降低VR设备的处理负担。第一方面，提供了一种图像处理的方法，该方法包括：获取背景图像，该背景图像为球形全景图像或立方体全景图像；获取目标图像，该目标图像为非全景图像；对该目标图像和该背景图像进行合成处理，以生成待播放图像，该待播放图像为球形全景图像或立方体全景图像，且该待播放图像包括第一区域和第二区域，该第一区域包括根据该背景图像获得的像素，该第二区域包括根据该目标图像获得的像素。根据本专利技术实施例的图像处理的方法，通过获取作为全景图像(具体的说，是球形全景图像或立方体全景图像)的背景图像和作为非全景图像的目标图像，并将该背景图像和目标图像进行合成处理，能够生产作为全景图像的待播放图像，该待播放图像包括第一区域和第二区域，第一区域包括背景图像中用于呈现虚拟背景的像素，该第二区域包括目标图像对应的像素，从而，当该待播放图像被VR设备播放时，能够同时呈现背景图像和目标图像双方的内容，即，能够通过播放待播放图像，实现在于背景图像对应的虚拟场景中观看目标图像的过程，进而，能够降低VR设备在播放虚拟影院图像时的处理负担。可选地，该背景图像包括背景区域和内容区域，以及该对该目标图像和该背景图像进行合成处理，包括：确定该背景图像的内容区域；根据该背景图像的内容区域，对该目标图像进行像素重构，以生成待拼接图像；对待拼接图像和该背景图像进行合成处理，其中，该第一区域包括该背景区域中的像素，该第二区域包括该待拼接图像中的像素。可选地，该对待拼接图像和该背景图像进行合成处理，包括：根据该背景区域中的像素确定该第一区域中的像素，并根据该待拼接图像的像素确定该第二区域中的像素。可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素覆盖该背景图像的内容区域的部分或全部像素。可选地，该对待拼接图像和该背景图像进行合成处理，包括：将该待拼接图像的像素替换该背景图像的内容区域的部分或全部像素。可选地，该待拼接图像的大小与该背景图像的内容区域的大小的差异在预设的第一范围内，该待拼接图像的形状与该背景图像的内容区域的大小形状的差异在预设的第二范围内。可选地，该待拼接图像在通过虚拟现实VR设备播放时呈现的内容为与该目标图像呈现的内容相同。可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该目标图像和以下至少一种参数，对该目标图像进行像素重构：该背景图像的内容区域在该背景图像中的范围、该背景图像的内容区域的形状、该背景图像的内容区域的大小、该背景图像的内容区域在该背景图像中的位置、该背景像的全景视角或该背景图像的展开方式。根据本专利技术实施例的图像处理的方法，通过从背景图像中确定内容区域，并基于内容区域的相关参数对目标进行像素重构，能够使所生成的待拼接图像在经过VR设备的播放时呈现为目标图像，并且能够避免目标图像在与背景图像合并时或者经过VR设备播放时发生像素丢失，能够改善用户体验，进一步提高本专利技术实施例的图像处理的方法的实用性。可选地，该背景图像的形状为第一矩形，该背景图像的内容区域位于该第一矩形的中心位置，该背景图像的内容区域的形状为：第二矩形以第一方式变形后形成的形状，该第一方式为该第二矩形的水平方向上的边变形为具有预设弧度可选地，该根据该背景图像的内容区域，对该目标图像进行像素重构，包括：根据该第二矩形的长宽比和该预设弧度，对该目标图像进行像素重构。根据本专利技术实施例的图像处理的方法，通过使背景图像形成为矩形，并使内容区域位于背景图像的中心位置，能够实现第二矩形的长宽比以及第二矩形的变形弧度，进行目标图像的像素重构，从而，能够减小对目标图像进行像素重构的复杂度。可选地，该确定该背景图像的内容区域，包括：获取第一提取模型，该第一提取模型用于指示该背景图像的内容区域在该背景图像中的范围；根据该第一提取模型，确定该背景图像的内容区域。根据本专利技术实施例的图像处理的方法，通过用于指示该背景图像的内容区域在该背景图像中的范围的第一提取模型，能够快速准确的实现内容区域的确定过程，从而，能够提高本专利技术实施例的图像处理的方法的处理效率，进一步提高本专利技术实施例的图像处理的方法的实用性。可选地，该获取第一提取模型，包括：获取M个图像集合和M个提取模型之间的一一映射关系，其中，该M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，该M个提取模型中的每个提取模型用于指示该对应的图像集合中的全景图像中的内容区域的范围；确定该背景图像该属于的第一图像集合；根据该映射关系，将该第一图像集合对应的提取模型作为该第一提取模型。可选地，确定该背景图像该属于的第一图像集合包括：根据以下至少一种信息，确定该背景图像该属于的第一图像集合：该背景图像的来源、该背景图像的名称或该背景图像的格式。根据本专利技术实施例的图像处理的方法，能够实现通过一个提取模型对多个图像的内容区域的确定过程，从而，能够减小提取模型对存储空间的开销。可选地，该背景区域包括第一边界区域，该第一边界区域是该背景区域中与该内容区域相邻的区域，该内容区域包括第二边界区域，该第二边界区域是该内容区域中与该背景区域相邻的区域，该第一边界区域中的任一像素的像素值大于或等于第一阈值，与该第二边界区域中的任一像素的像素值小于该第一阈值，以及该确定该背景图像的内容区域，包括：根据该第一阈值，确定该第一边界区域和第二边界区域；根据该第一边界区域和第二边界区域；确定该背景图像的内容区域。可选地，该背景区域中的任一像素的像素值大于或等于第一阈值，该内容区域中的任一像素的像素值小于该第一阈值，以本文档来自技高网...

【技术保护点】
一种图像处理的方法，其特征在于，所述方法包括：获取背景图像，所述背景图像为球形全景图像或立方体全景图像；获取目标图像，所述目标图像为非全景图像；对所述目标图像和所述背景图像进行合成处理，以生成待播放图像，所述待播放图像为球形全景图像或立方体全景图像，且所述待播放图像包括第一区域和第二区域，所述第一区域包括根据所述背景图像获得的像素，所述第二区域包括根据所述目标图像获得的像素。

【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：获取背景图像，所述背景图像为球形全景图像或立方体全景图像；获取目标图像，所述目标图像为非全景图像；对所述目标图像和所述背景图像进行合成处理，以生成待播放图像，所述待播放图像为球形全景图像或立方体全景图像，且所述待播放图像包括第一区域和第二区域，所述第一区域包括根据所述背景图像获得的像素，所述第二区域包括根据所述目标图像获得的像素。2.根据权利要求1所述的方法，其特征在于，所述背景图像包括背景区域和内容区域，以及所述对所述目标图像和所述背景图像进行合成处理，包括：确定所述背景图像的内容区域；根据所述背景图像的内容区域，对所述目标图像进行像素重构，以生成待拼接图像；对待拼接图像和所述背景图像进行合成处理，其中，所述第一区域包括所述背景区域中的像素，所述第二区域包括所述待拼接图像中的像素。3.根据权利要求2所述的方法，其特征在于，所述对待拼接图像和所述背景图像进行合成处理，包括：根据所述背景区域中的像素确定所述第一区域中的像素，并根据所述待拼接图像的像素确定所述第二区域中的像素；或将所述待拼接图像的像素覆盖或替换所述背景图像的内容区域的部分或全部像素。4.根据权利要求2或3所述的方法，其特征在于，所述待拼接图像的大小与所述背景图像的内容区域的大小的差异在预设的第一范围内，所述待拼接图像的形状与所述背景图像的内容区域的大小形状的差异在预设的第二范围内。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述根据所述背景图像的内容区域，对所述目标图像进行像素重构，包括：根据所述目标图像和以下至少一种参数，对所述目标图像进行像素重构：所述背景图像的内容区域在所述背景图像中的范围、所述背景图像的内容区域的形状、所述背景图像的内容区域的大小、所述背景图像的内容区域在所述背景图像中的位置、所述背景像的全景视角或所述背景图像的展开方式。6.根据权利要求2至5中任一项所述的方法，其特征在于，所述背景图像的形状为第一矩形，所述背景图像的内容区域位于所述第一矩形的中心位置，所述背景图像的内容区域的形状为第二矩形以第一方式变形后形成的形状，所述第一方式为所述第二矩形的水平方向上的边变形为具有预设弧度，以及所述根据所述背景图像的内容区域，对所述目标图像进行像素重构，包括：根据所述第二矩形的长宽比例和所述预设弧度，对所述目标图像进行像素重构。7.根据权利要求2至6中任一项所述的方法，其特征在于，所述确定所述背景图像的内容区域，包括：获取第一提取模型，所述第一提取模型用于指示所述背景图像的内容区域在所述背景图像中的范围；根据所述第一提取模型，确定所述背景图像的内容区域。8.根据权利要求7所述的方法，其特征在于，所述获取第一提取模型，包括：获取M个图像集合和M个提取模型之间的一一映射关系，其中，所述M个图像集合中的每个图像集合包括至少一个全景图像，每个全景图像包括内容区域，所述M个提取模型中的每个提取模型用于指示所述对应的图像集合中的全景图像中的内容区域的范围；确定所述背景图像所述属于的第一图像集合；根据所述映射关系，将所述第一图像集合对应的提取模型作为所述第一提取模型。9.根据权利要求8所述的方法，其特征在于，确定所述背景图像所述属于的第一图像集合包括：根据以下至少一种信息，确定所述背景图像所述属于的第一图像集合：所述背景图像的来源、所述背景图像的名称或所述背景图像的格式。10.根据权利要求2至6中任一项所述的方法，其特征在于，所述背景区域包括第一边界区域，所述第一边界区域是所述背景区域中与所述内容区域相邻的区域，所述内容区域包括第二边界区域，所述第二边界区域是所述内容区域中与所述背景区域相邻的区域，所述第一边界区域中的任一像素的像素值大于或等于第一阈值，与所述第二边界区域中的任一像素的像素值小于所述第一阈值，以及所述确定所述背景图像的内容区域，包括：根据所述第一阈值，确定所述背景图像的内容区域。11.一种图像处理的装置，其特征在于，所述装置包括：获取单元，用于获取背景图像和目标图像，所述背景图像为球形全景图像或立方体全景图像，所述目标图像为非全景图像；处理单元，用于对所述目标图像和所述背景图像进行合成处理，以生成待播放图像，所述待播放图像为球形全景图像或立方体全景图像，且所述待播放图像包括第一区域和第二区域，所述第一区域包括根据...

【专利技术属性】
技术研发人员：董霙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44