图像失真变换方法和设备技术

本申请涉及图像失真变换方法和设备。一种用于将由成像器成像的具有原始失真轮廓的原始图像变换成针对失真处理单元所优化的所变换图像的图像失真变换方法包括把来自成像器的原始图像输入到变换单元中，将原始图像失真轮廓输入到变换单元的原始失真轮廓存储器中，并且将目标失真轮廓输入到变换单元的目标失真轮廓存储器中。目标失真轮廓与原始失真轮廓不同。该方法还包括通过把原始图像的失真轮廓从原始图像失真轮廓变换成目标图像失真轮廓，将原始图像变换为所变换图像，并且从变换单元输出所变换图像。输出所变换图像。输出所变换图像。

【技术实现步骤摘要】
图像失真变换方法和设备
[0001]本申请是国家申请号为201780023985.1的专利技术专利申请的分案申请，该专利技术专利申请的申请日为2017年2月16日，专利技术名称为“图像失真变换方法和设备”。
[0002]相关申请的交叉引用本申请要求当前待决美国临时专利申请号62/295724(2016年2月16日提交，标题为“Image Distortion Transformation Method and Apparatus”)的权益，通过引用将其完整内容结合到本文中。

技术介绍

[0003]本专利技术的实施例涉及用来变换图像的图像或成像器失真处理方法和设备，针对失真处理算法(例如去翘曲算法)对它进行优化。使用相同方法，本专利技术的实施例允许图像或成像器视场中的某些感兴趣区域的放大，从而优化内容的储存、传输、分辨率或显示。
[0004]二维(2D)图像由成像器(例如窄角成像器、全景成像器、广角光学系统、鱼眼光学系统、全象(panomorph)光学系统或者甚至从多个窄角图像拼接的图像或从多个全景图像拼接的图像)来创建。无论使用哪一种成像器，图像常常包含光学失真。这个行为由三维(3D)环境到2D平面的重新映射所引起。因此，图像中的内容变形，并且准确失真轮廓(profile)取决于成像器参数。通常地，失真对全景成像器更加明显。
[0005]为了没有失真地适当显示图像或者将正确图像馈送到任何图像处理算法，全景图像中的失真必须进行处理，如分别对于（美国专利号RE 44087 E中的）线性失真或者（美国专利号6844990 B2和6865028 B2中的）定制对称和定制不对称失真。这些现有失真处理算法或去翘曲算法(校正、去除、处理或修改图像的失真的动作)通过不同平台(例如计算机、智能电话、平板、芯片上系统(SoC)等)上的软件或硬件来实现。作为示例，Milestone系统的IPIX插件是校正鱼眼透镜的失真的去翘曲软件。一些去翘曲算法仅使用线性分布函数来校正来自不同全景成像器的不同失真轮廓。在这种情况下，因为所使用的线性校正函数不匹配全景图像或成像器的实际失真轮廓，所以一些失真在去翘曲之后留存在图像中。为了适当校正失真，去翘曲算法必须使用分布函数(失真轮廓)，从而考虑全景成像器的失真轮廓和应用用户体验。这意味着，失真轮廓与去翘曲算法分布函数之间的偏离必须得到控制。一种方式能够是要将失真轮廓作为数学函数输入到失真处理算法，以校正全景图像。但是，这种方式不能用于所有状况中，例如但不限于，有时失真轮廓是保密的或者不存在于运行失真处理算法的图像处理单元中。此外，新成像器的失真轮廓在现有软件中或者硬件处理算法中不能轻易添加或更新。这要求软件更新、固件更新或硬件修改(例如ASIC修改)。
[0006]ImmerVision Enables 2.0算法校正全象图像或成像器的失真。包括算法的资料库包含与图像处理单元(资料库、ASIC、FPGA等)中的算法发布的时候可用的全象成像器或全象透镜对应的一些失真轮廓(或分布函数)。如果全景图像或成像器的失真轮廓在预先记录失真轮廓的这个列表中，则用户只需要输入失真轮廓参考号，并且处理算法将使用适当现有失真轮廓。例如，美国专利申请US 2015/0281507 A1中的至少一些实施例使用图像上的标记来记录这个失真轮廓参考号或失真轮廓本身。在仅标记失真轮廓的参考号的实施例
中，失真处理单元能够从标记来读取参考号，并且自动使用对应失真轮廓。与将整个失真轮廓传递给失真处理算法相比，这种方式更有效。在一些情况下，这种方式不能使用，因为失真轮廓不存在于算法中，并且因此算法没有设计成支持这种新类型的失真轮廓。这种情况的示例是具有新失真轮廓的全景图像，该全景图像由例如但不限于新广角、鱼眼或全象透镜或者新图像处理算法来创建。对于这个图像，失真处理单元必须在失真处理单元能够校正、去除、处理或修改全景图像或成像器的失真之前采用新失真轮廓或者全新算法来更新。在一些状况中，算法更新不能轻易进行，特别是当失真处理算法在硬件上实现时。这限制失真处理算法对不同全景图像或成像器的应用。
[0007]由于图像或视频的大数据大小，图像储存或传输资源的优化始终是优选的。优化方式是要降低图像或视频大小。对于全景图像或广角图像，美国专利号8238695提出从整个图像修剪虚拟照相装置的图像数据的一部分，以降低图像数据大小。这种解决方案牺牲虚拟照相装置区域外部的图像数据，并且它只能够用于虚拟照相装置的用例。所保存或传送的图像仅包含虚拟照相装置的图像数据，而来自视场的其余部分的其他图像数据丢失。这不适用于整个全景图像的应用。保持整个全景视场的另一个备选方案是要改为将整个图像均匀地缩小到更低分辨率并且要减小图像大小。但是，这个扩缩对整个图像是相同的，并且图像质量在整个图像中降级。一种优化的方式会是要使用重要图像区域中的更高分辨率和其他图像区域中的更低分辨率，表示不同扩缩比率应用于图像的不同区域。这样，更多像素会用来在减小图像大小时强调重要区域。这种非线性扩缩造成所生成图像中的新失真。这个新失真与原始全景图像的原始失真不同。因此，原始全景图像中的失真不能用于处理这个优化的图像。
[0008]美国专利号6865028提出将非圆盘形状全景图像投影到矩形图像传感器上。这包括但不限于椭圆形图像。与圆形图像相比，椭圆形图像占用矩形图像传感器上的更多像素，并且因此在输出图像中存在更少黑色像素。这样，从图像的总文件大小中，与无用黑色内容相比，较大部分由有用图像内容来使用。所产生图像具有更高有效分辨率。对于图像储存和传输，包含更少黑色像素的这个椭圆形全景图像比圆形全景图像更为有效。但是，美国专利号6865028仅建议实现创建全象光学系统的这种方法的光学部件，并且失真轮廓对每个全象光学系统是唯一的。另外，失真轮廓在产生全象光学系统之后是固定的。失真轮廓只能够通过设计新透镜来修改，因此现有光学透镜不能修改，并且不能根据应用动态改变失真。
[0009]过去在美国专利公布号2012/0314065 A1中已提出动态改变失真。但是，本专利技术使用由作为可变形反射镜的可变形光学表面组成的硬件光学系统实时地改变失真。这种构造是复杂的，并且不能用于现有全景成像器中来动态修改感兴趣区域。
[0010]自2006年以来，由ImmerVision所开发的全象几何模型模拟器(PGMS)软件模拟图像中的失真，以分析图像失真效应。在论文“Novel hemispheric image formation: concepts and applications”(在“Proc. SPIE 6994, Photon Management III, 699406 (2008年4月25日)”中发表)中描述了全象几何模型。软件能够创建图像上的不同失真，包括不同预设失真、非线性扩缩失真或者任何定制的失真。但是，软件没有用于全景图像失真处理，并且它不能变换具有新失真轮廓的全景图像，以便优针对失真处理算法来优化。它也不能将全景图像失真传递给非线性扩缩失真，以强调图像中的重要区域。最后，它不能集成到全景图像处理管线中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像失真变换方法，用于将具有原始失真轮廓的由成像器成像的原始图像变换成经变换图像的，所述方法包括：a)把所述原始图像从所述成像器输入到变换单元；b)将原始图像失真轮廓输入到所述变换单元的原始失真轮廓存储器中；c)将目标失真轮廓输入到所述变换单元的目标失真轮廓存储器中，所述目标失真轮廓与所述原始失真轮廓不同，所述目标失真轮廓根据场景内容动态地调整；d)通过把所述原始图像的失真轮廓从所述原始图像失真轮廓变换成所述目标图像失真轮廓，将所述原始图像变换为经变换图像，所述经变换图像不是所述原始图像的线性扩缩；以及e)从所述变换单元输出所述经变换图像。2.如权利要求1所述的图像失真变换方法，其中，对失真轮廓的动态调整来自进行对象识别或脸部跟踪的算法单元。3.如权利要求1中所述的图像失真变换方法，其中，来自所述成像器的所述原始图像是全景图像。4.如权利要求1中所述的图像失真变换方法，其中，所述原始图像和所述经变换图像具有相似视场。5.如权利要求1中所述的图像失真变换方法，其中，来自所述成像器的所述原始图像由多个图像组成。6.如权利要求1所述的图像失真变换方法，其中，所述目标失真轮廓由所述变换单元根据所述成像器的参数来选择。7.如权利要求6所述的图像失真变换方法，其中，所述参数是所述成像器的取向。8.如权利要求1所述的图像失真变换方法，其中，将所述经变换图像输出到处理单元。9.如权利要求8所述的图像失真变换方法，其中，所述目标失真轮廓由所述处理单元所支持。10.如权利要求8所述的图像失真变换方法，其中，将所述失真轮廓从所述变换单元传送给所述处理单元，或者将所述失真轮廓从所述处理单元传送给所述变换单元。11.如权利要求10所述的图像失真变换方法，其中，将所述失真轮廓与所述经变换图像一起传送。12.如权利要求1所述的图像失真变换方法，还包括显示装置，其中将所述失真轮廓从所述显示装置传送给所述变换单元。13.如权利要求1中所述的图像失真变换方法，其中，将所述经变换图像输出到显示装置，所述方法还包括：f)由所述显...

【专利技术属性】
技术研发人员：P科宁，P妮妮，J佩伦特，P鲁莱特，S蒂博，张虎，李鎭硕，V巴塔伊，杜晓军，
申请(专利权)人：六一一五一八七加拿大公司暨伊美景象公司，
类型：发明
国别省市：