高分辨率全景VR生成器及方法技术

一种使用混合分辨率方法的高分辨率全景VR生成器，其将来自HR相机环的高分辨率(HR)图像块放置在一个LR相机的360度低分辨率(LR)图像上，所述LR相机从相机环向上指向一个全景镜，LR相机视野是所有多个HR相机视野的合并，但分辨率较低。由相邻HR相机之间视差所引起的重影会被消除，因为目标位置是由所述360度LR图像确定。通过组合不同深度的目标以获得单应矩阵，每个HR图像被单应投影成3个投影。所述360度LR图像被放大到HR，并对这个放大的HR图像，在所述3个投影里的搜索窗口内搜索一个查询图像块。通过和查询图像块的相似性，最佳匹配图像块被加权处理，以合成产生一个重建图像块，其放置在一个重建HR全景图像里，放置位置即查询图像块的位置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及三维(3D)图形，特别涉及虚拟现实(VR)全景图的生成。
技术介绍
虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。随着VR相机技术的进步和微型化，各种有趣且有用的应用程序应运而生。头盔相机如GoPro相机可能被一个VR全景相机组替换，这样在参与各种体育活动如山地自行车、滑雪、跳伞、旅游等时能够进行360度全景拍摄。VR相机也可以安置在无人机上，从空中观察建筑工地进行VR建模，或用于旅行博客或视频监控。VR相机也可以用于家庭聚会上，使用一副VR耳机就能远程感受并沉浸在家庭活动中。如果在自动驾驶汽车或无人机上安装一个VR相机，就能够为自动驾驶或自动飞行控制系统提供输入。如何拍摄并生成360度全景视频，会影响VR体验的质量。当使用多台相机时，其中两个相邻相机图像交叉的区域往往会有视觉瑕疵(visualartifacts)和失真，诸如重影(ghosting)，这会降低用户体验或甚至使用户感到头疼。图1显示一个现有技术的VR相机环。相机环10有多个相机12，呈环状安排。相机12的这种安排方法使得可以拍摄360度全景。当相机12是摄录机时，可以拍摄一个全景视频。GoogleJump就是一个VR相机环的例子。图2A-C突出显示当两个相邻相机的图像被拼接在一起时由于视差而产生的重影。在图2A，相机12L、12R是图1相机环10中的两个相邻相机。相机12L、12R拍摄目标物体14。但是，由于目标物体14相对每个相机12L、12R有不同的距离和角度，所以在图像帧16上，每个相机12L、12R是在不同位置看目标物体14的。在图2B，目标物体14是以两个不同目标物体14L、14R出现在图像帧16上的，因为不同角度的两个相机12L、12R的原因。图像处理软件会尝试估计目标物体14相对每个相机12L、12R的深度以纠正视差，但深度估计是不精确的且极具挑战性。这种目标物体匹配和深度估计可能会导致图像的非线性变形。如图2C所示，特别是在相邻图像18L、18R拼接处，特别容易看到失真。在图像18L、18R之间的连接处，可以看到测试图案失真了。在图像连接处，方形格子被压扁且变窄。这种重影(ghosting)是不希望有的。需要一种虚拟现实(VR)全景生成器，其能够减少并消除相邻相机图像拼接处的重影。这种不需要深度估计的全景生成器是令人期待的。希望有一种在低分辨率全景图像上放置高分辨率图像的全景生成器，以消除拼接区域和重影。【附图说明】图1显示一个现有技术的VR相机环。图2A-C突出显示当两个相邻相机的图像被拼接在一起时由于视差而产生的重影。图3A-B显示一个组合LR/HR全景VR相机设备。图4A-C突出显示全景相机图像的图像处理。图5显示使用一个360度LR图像作为框架以添加HR图像细节。图6是一个混合分辨率全景处理器的模块示意图。图7显示为每个HR图像搜索多个单应投影。图8显示在通过搜索每个HR图像的多个单应投影而找到的多个最佳匹配图像块中间进行选择的模块示意图。图9是多个单应投影混合分辨率全景处理器的详细模块示意图。【具体实施方式】本专利技术涉及VR全景生成的改进。以下描述使本领域技术人员能够依照特定应用及其要求制作和使用在此提供的本专利技术。所属领域的技术人员将明了对优选实施例的各种修改，且本文所界定的一般原理可应用于其它实施例。因此，本专利技术不希望限于所展示和描述的特定实施例，而是应被赋予与本文所揭示的原理和新颖特征一致的最广范围。图3A-B显示一个组合的低分辨率/高分辨率LR/HR全景VR相机设备。组合相机设备20有一个呈圆形排列的一圈高分辨率(HR)相机22。组合相机设备20也有低分辨率(LR)相机24，其镜头指向朝上，朝向那一圈HR相机22所在平面之外。LR相机24拍摄全景镜26反射的图像。全景镜26可以是圆锥形、球形、抛物线形、椭圆形、双曲线形、弯曲的、或其它形状的反射镜。全景镜26的形状能使LR相机24比任何一个HR相机22都拍摄到一个更大的视野。如图3B的侧视图所示，全景镜26接收所有360度的光，并反射这些光，以垂直照射到HR相机环22的平面。全景镜26的反射光由LR相机24的镜头接收。全景镜26接收全景域的所有角度或弧度的光，而每个HR相机22仅接收完整全景域的一小部分的光。但是，LR相机24生成的图像分辨率比HR相机22生成的图像分辨率更低。LR相机24生成完整全景的单个图像，但是是低分辨率。由于是单个图像，就不存在在相邻相机所拍摄的多个图像之间有界面。相邻图像没有被缝合在一起，因此，LR相机24没有重影发生。HR相机22能提供高分辨率细节如纹理，其可以叠加在LR相机24的单个图像上。图4A-C突出显示全景相机图像的图像处理。在图4A，现有技术相机环有一圈HR相机，HR相机产生HR图像18，每个HR图像18只是完整全景域中的其中一小段弧度。HR图像18互相重叠，两个HR图像18的细节在拼接区域19里以某种方式被合并在一起。尽管HR图像18的大多数区域都能够获得好的图像质量，但在拼接区域19内的图像质量变差很多，这是因为相机环上两个相邻HR相机之间的视差，导致图像重影瑕疵。在图4B，当使用组合相机设备20时，LR相机24拍摄LR图像30，其显示整个全景图，但分辨率低。将LR图像30放大到与HR相机22的分辨率相同，产生一个放大的LR图像32。HR图像34是由HR相机22拍摄的一小段弧度的全景图。将HR图像34的一小块图像块的HR细节映射到那个放大LR图像32的对应位置上。在HR图像34的边缘，可能有两个不同的HR图像34的重叠细节。这些HR细节的确切位置由放大LR图像32提供。图像处理可以合并这两个HR图像34重叠的细节。这些细节的位置可以从放大LR图像32得知。从而消除视差并抑制重影。图4C显示一个测试图案，其跨越两个相邻HR相机22的视野。由于LR相机24的全景图像提供了目标位置的框架，尽管是低分辨率，但拍摄目标的位置已经由放大LR图像32提供了。当HR图像18L和18R的HR细节放置在放大LR图像32的框架上，其只是HR相机22所提供的细节和纹理。目标位置由放大LR图像32提供。因此，不需要计算目标物体的深度，因为从LR图像已经知道目标位置。任何重影或失真都会受限于在LR和HR之间的差异。例如，当HR是LR的4倍时，对每个LR像素位置，HR细节可以放置在4个HR像素任一位置上。将不会发生比四个像素位置更大的视差，因为目标位置是由LR图像决定。图5显示使用一个360度LR图像作为框架以增强HR图像细节的方法。LR相机24使用全景镜26以拍摄全景图像，其分辨率比使用HR相机22拍摄的图像分辨率低，这是因为与每个HR相机22相比，LR相机24的视野更大。360度LR图像被放大到HR空间，以产生放大的LR图像62。组合相机设备20的相机环上的两个相邻HR相机22产生HR视图1(HR图像64)和HR视图2(HR图像66)。例如通过从左上方到右下方的逐行扫描，识别和处理放大LR图像62里的图像本文档来自技高网...

【技术保护点】
一种混合分辨率全景处理器，包括：一个全景输入，用于接收360度场景的360度图像；一个细节视图输入，用于接收由多个高分辨率HR相机拍摄的多个HR图像，每个HR图像仅覆盖所述360度场景的一个有限弧度部分；其中对所述360度场景里的可视目标，所述多个HR图像比所述360度图像具有更高的像素密度；一个图像放大器，其产生额外的像素插入到所述360度图像里，以产生一个放大的360度图像；一个图像块搜索器，其用于扫描所述放大的360度图像，以找到多个查询图像块，并且对每个查询图像块，在HR图像内搜索一个搜索窗口，以在所述HR图像里找到一个最佳匹配HR图像块，并且对靠近相邻HR图像之间拼接处的查询图像块，同样在第二HR图像内搜索第二搜索窗口，以在所述第二HR图像里找到第二最佳匹配HR图像块；一个图像块收集器，其收集所述最佳匹配HR图像块以及所述第二最佳匹配HR图像块；一个图像块评估器，其对由所述图像块收集器收集的每个最佳匹配HR图像块产生一个相似性参数，所述相似性参数对一个最佳匹配HR图像块和一个查询图像块的可视相似性进行定量化；一个重建图像块生成器，其使用所述相似性参数作为合成权重，以对所述最佳匹配HR图像块和所述第二最佳匹配HR图像块进行合成，从而产生一个重建图像块；和一个联合视图重建器，其将所述重建图像块放置在一个重建HR全景图像上，放置的位置即所述放大的360度图像内相应查询图像块的位置。...

【技术特征摘要】
【国外来华专利技术】2016.05.30 US 15/168,1561.一种混合分辨率全景处理器，包括：一个全景输入，用于接收360度场景的360度图像；一个细节视图输入，用于接收由多个高分辨率HR相机拍摄的多个HR图像，每个HR图像仅覆盖所述360度场景的一个有限弧度部分；其中对所述360度场景里的可视目标，所述多个HR图像比所述360度图像具有更高的像素密度；一个图像放大器，其产生额外的像素插入到所述360度图像里，以产生一个放大的360度图像；一个图像块搜索器，其用于扫描所述放大的360度图像，以找到多个查询图像块，并且对每个查询图像块，在HR图像内搜索一个搜索窗口，以在所述HR图像里找到一个最佳匹配HR图像块，并且对靠近相邻HR图像之间拼接处的查询图像块，同样在第二HR图像内搜索第二搜索窗口，以在所述第二HR图像里找到第二最佳匹配HR图像块；一个图像块收集器，其收集所述最佳匹配HR图像块以及所述第二最佳匹配HR图像块；一个图像块评估器，其对由所述图像块收集器收集的每个最佳匹配HR图像块产生一个相似性参数，所述相似性参数对一个最佳匹配HR图像块和一个查询图像块的可视相似性进行定量化；一个重建图像块生成器，其使用所述相似性参数作为合成权重，以对所述最佳匹配HR图像块和所述第二最佳匹配HR图像块进行合成，从而产生一个重建图像块；和一个联合视图重建器，其将所述重建图像块放置在一个重建HR全景图像上，放置的位置即所述放大的360度图像内相应查询图像块的位置。2.根据权利要求1所述的混合分辨率全景处理器，其中通过使用所述360度图像作为一个位置框架，以接收从所述相邻HR图像产生的所述重建图像块，使得相邻HR图像之间拼接处上的视差被消除，由此当相邻HR图像拼接在一起时，由视差引起的可视重影得以消除。3.根据权利要求1所述的混合分辨率全景处理器，还包括：一个单应投影仪，其接收每个HR图像，并产生多个单应投影，其中所述图像块搜索器接收每个HR图像的所述多个单应投影，并在所述多个单应投影里的多个搜索窗口内搜索所述查询图像块，以找出每个HR图像的多个最佳匹配HR图像块；其中所述图像块收集器收集每个HR图像的所述多个最佳匹配HR图像块；其中对由所述图像块收集器所收集的每个所述多个最佳匹配HR图像块，所述图像块评估器产生多个相似性参数；其中所述重建图像块生成器，使用所述相似性参数作为合成权重，将多个所述最佳匹配HR图像块和在相邻HR图像之间拼接处上的多个所述第二匹配HR图像块进行合成，以产生所述重建图像块；由此，多个单应投影的产生、搜索、评估和合成是对每个HR图像都进行的。4.根据权利要求3所述的混合分辨率全景处理器，还包括：一个搜索窗口尺寸调整器，在对所述HR图像产生所述多个单应投影时，其接收由所述单应投影仪产生的投影误差，所述搜索窗口尺寸调整器根据所述投影误差调整所述HR图像的所述搜索窗口的尺寸；由此，搜索窗口尺寸是为单应投影误差而调整的。5.根据权利要求3所述的混合分辨率全景处理器，其中所述单应投影仪还包括：一个特征匹配器，其搜索HR图像的特征点，并根据所述HR图像内一个预计深度位置，将所述特征点归类到多个子集；一个矩阵生成器，其为所述多个子集中的每个子集，产生一个单应矩阵；和一个单应投影生成器，其将所述单应矩阵施加到所述HR图像，以对所述多个子集中的每个子集都产生一个单应投影。6.根据权利要求3所述的混合分辨率全景处理器，其中所述多个单应投影包括从每个HR图像产生的三个单应投影。7.根据权利要求3所述的混合分辨率全景处理器，其中所述多个HR图像包括16个HR图像，以对应每个360度图像；由此16个HR图像的HR图像细节被放置在由单个360图像提供的位置框架上。8.根据权利要求7所述的混合分辨率全景处理器，其中对所述360度场景里的可视目标，所述多个HR图像比所述360度图像具有更高的像素密度，高至少2倍行像素和2倍列像素的像素密度。9.根据权利要求7所述的混合分辨率全景处理器，还包括：一个组合相机装置，其包括：多个HR相机，其拍摄多个HR图像，所述多个HR相机呈环状安排，且位于一个环平面上，其镜头朝向环外；一个宽视野相机，其镜头朝向垂直于所述多个HR相机的所述环平面；和一个全景镜，其位于所述宽视野相机的镜头前面，所述全景镜接收来自能被每个HR相机观察到的目标物体的光线。10.根据权利要求9所述的混合分辨率全景处理器，其中所述...

【专利技术属性】
技术研发人员：洪国伟，梁路宏，刘雪娇，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港;81