移动和服务器端计算摄影制造技术

实现自动摄影捕获辅助和分析以辅助用户捕获所需图像场景的充足和最佳图像以便用于摄影最终产品中。摄影捕获辅助在包括用户的相机的设备上被实现。图像捕获辅助可以包括在包括所述用户的相机的设备本地实时生成的音频和/或图像信息，并且通知所述用户所述图像场景的另外的图像应当在何处被捕获和/或对于所述图像场景当前是否存在充足的已捕获图像。

【技术实现步骤摘要】
【国外来华专利技术】移动和服务器端计算摄影
技术介绍
例如蜂窝电话的移动设备现今具有日益复杂和增强的相机，所述相机支持用户捕获高质量的摄影图像和视频，其中，摄影图像和视频在本文中统称为图像。此外，移动设备现今进一步具有日益丰富、高性能的计算能力，即是其自身具有可被输送给无数应用的大量计算能力的计算机设备。照片合成是可从移动设备的技术进步中获益的技术的示例。照片合成使用户能够使用其照片创建三维(3D)浏览体验，即照片合成。为创建照片合成，用户通过捕获一组图像或照片开始，所述一组图像或照片必须重叠、覆盖将在3D中生成的场景，并且包含用于允许生成丰富的照片合成的充足纹理(textural)细节。由于移动设备中的相机的高质量，现今用户可以使用其移动设备来捕获用于照片合成的图像。一旦被捕获，则用于照片合成的图像被下载到计算机或计算机设备以便被处理。取决于图像的质量和分辨率、照片合成的主题的详情以及计算设备处理器的能力，图像的·处理或合成可能花费许多小时。在合成之后，图像和关联的元数据被上传到照片合成服务器。此时，用户可以最终在3D中浏览和体验其图像，或者可替换地，发现其未能捕获充足数量和/或可接受质量的、用于渲染其3D或高质量3D图像的主题图像。因为用户不能预测最终产生的照片合成的质量，所以在生成照片合成和发现该生成未能达到预期目标这两者时，都可能出现失望。例如，为试图确保用户捕获用于主题的适当覆盖和重叠的全部必要图像，他们可以摄取同一图像的比最终必要的多得多的冗余照片。该冗余捕获活动可能大大增加用户捕获照片所花费的的时间。过度冗余照片捕获可能还使用大量存储空间，所述大量存储空间可能阻碍整个过程和/或导致其自己的问题，例如，相同拍摄(shot)的过多图像可以导致没有存储可用于主题的其它必要拍摄的图像。最后，过度冗余照片捕获可能产生用户厌倦，减损该活动和用户的最终乐趣以及去创建例如照片合成的基于图像项目的欲望，导致除最狂热的爱好者之外没人这么做。此外，因为用户不能预测最终产生的例如照片合成的基于图像项目的质量，并且例如在本文中也称为合成(synthing)的合成(synthesizing)的实际项目生成可能是耗时的，所以，当其后的项目生成失败，例如最终产生的3D图像质量低劣或由于缺失和/或低质量图像而根本不能被生成时，可能导致用户的厌倦。在此情况下，用户可能不得不返回到主题的场景，并且尝试捕获缺失的图像，这施加额外的用户时间和努力。并且，在某些情况下，用户可能不能够捕获所需的额外图像，例如，主题场景不再对用户在逻辑上可访问，结果导致浪费的用户努力和额外的用户不满。由此，期望使用用户的移动设备的计算和通信能力来辅助用户捕获用于照片合成或其它基于图像项目的主题的所需、高质量图像。
技术实现思路
提供本
技术实现思路
来以简化形式介绍下面在具体实施方式中进一步描述的概念的选摘。本
技术实现思路
不旨在标识所要保护的主题的关键或必要特征，也不旨在被用于辅助确定所要保护的主题的范围。本文中讨论的实施例包括系统和方法，所述系统和方法用于实现，对将被用于生成摄影最终产品的针对图像场景的当前已捕获图像充足性的实时、自动确定。本文中讨论的实施例包括系统和方法，所述系统和方法用于实现，在已确定为能够产生完整的摄影最终产品应当捕获额外的图像的情况下，对图像场景的区域的实时、自动识别。在实施例中，从识别出的所需图像场景的当前已捕获图像中挖掘出元数据。在实施例中，所述元数据在执行一个或多个捕获算法时被使用，所述捕获算法导致生成信息，所 述信息可以包括用于生成摄影最终产品的已捕获图像的充足性，和/或建议针对其捕获一个或多个图像的所需图像场景的一个或多个区域或所需图像场景的部分的标识。在实施例中，生成的信息用于向用户提供关于区域的位置的信息，其中，建议针对所述区域捕获一个或多个图像。在实施例中，元数据在包括用于捕获图像的相机的用户移动设备的本地被挖掘出。在实施例中，捕获算法的执行也在所述用户移动设备的本地被执行。附图说明现在将参考旨在示例并且不旨在限制的特定实施例和示例的图描述这些和其它特征，并且其中 图I示出了实施例照片图像情景。图2示出了在本文中也称为md照片cap app的实施例移动设备照片捕获应用。图3示出了可以用于确定一组已捕获图像的充足性的实施例比较算法。图4A和4B示出了由实施例方向算法生成的示例性图像比较结果。图5A和5B示出了由实施例单应性(homography)算法生成的示例性图像比较结果O图6示出了示例性增强的现实可视化，其通知用户关于用于示例性图像场景的已捕获图像的充足性以及对应的不充足性。图7A-7C示出了针对实施例md照片cap应用的实施例逻辑流，其中，实施例比较算法在用户的移动设备上被执行。图8A-8B示出了针对实施例md照片cap应用的实施例逻辑流，其中，实施例比较算法在除用户的移动设备之外的计算设备上被执行。图9A-9C示出了针对实施例计算设备与用户移动设备进行通信以便捕获所需图像的实施例逻辑流。图IOA是可以处理软件，即程序代码或指令的示例性基础计算设备系统的框图。具体实施例方式在以下说明书中，出于解释的目的，为提供对本文中所描述实施例的透彻理解而阐述了众多特定细节，然而，对本领域的技术人员将显而易见，实施例可以在没有这些特定细节的情况下被实践。在其它情况下，为避免不必要的模糊，众所周知的结构和设备或者被简单地引用，或者以框图形式被示出。贯穿始终所使用的任意和全部标题仅是为了易于阐述，并不是用于任何限制性使用。图I示出了实施例照片图像情景。在一个实施例中，用户110想摄取其前面的示例性图像场景100的照片或视频，所述照片或视频在本文中也称为照片或统称为图像。在一个实施例中，用户110想摄取图像以用于照片合成；即，主题图像场景的三维(3D)浏览体验。在其它实施例中，用户110想摄取图像用于其它用途，例如用于生成全景十字绣(panoramic stitch),即，被缝合到一起以生成主题图像场景100的全景视图的相关图像的无缝集合；用于生成外观捕获图像，即，从一个或多个相关图像创建的显示或突出显示主题的外观的图像，所述主题的外观例如是苹果有光泽的表面、浸湿的抹布的湿纹理等；等等。在一个实施例中，用户110使用例如是蜂窝电话、智能电话等的移动设备120的相机190来捕获图像场景100的图像170。在一个实施例中，移动设备120具有无线地与计算设备130进行通信140的功能。在一个实施例中，计算设备130是计算机或任意能够执行软件指令的设备，例如服务器、云、该用户的计算机等。 在实施例中，移动设备120由于多种原因中的一个或多个而与计算设备130进行通信140，所述多种原因包括但不限于将捕获的图像170发送到计算设备130进行存储和/或处理，接收有关一个或多个捕获的图像170的反馈，获取同一图像场景100的之前捕获的图像或图像场景100的一个或多个片段180即部分，接收关于图像场景100的已捕获图像170的集合以便生成例如照片合成、全景十字绣等的摄影最终产品115的信息，接收关于仍然需要被捕获图像170的图像场景100的方面或片段180以帮助确保摄影最终产品115质量的彳目息等，等等。在另一实施例中，用户110使用具有与用户110并且无线地与计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.06.18 US 12/8181731.一种用于辅助用户捕获图像场景的图像的方法，所述方法包括 识别所述图像场景的至少两个已捕获图像； 从所述图像场景的至少两个已捕获图像挖掘元数据； 使用至少两个已捕获图像执行捕获算法，其中，所述捕获算法的执行包括使用从所述图像场景的至少两个已捕获图像挖掘出的元数据来生成标识所述图像场景的区域的信息，其中，建议针对所述区域捕获至少一个图像；以及 通知用户针对建议捕获的至少一个图像的所述图像场景的所述区域的位置。2.根据权利要求I的、用于辅助用户捕获图像场景的图像的方法，其中，所述用户正使用相机来捕获所述图像场景的图像，以及其中，所述相机包括相机镜头和至少一个相机传感器，所述方法进一步包括 获取从至少一个相机传感器生成的信息； 使用所述从至少一个相机传感器生成的信息来确定所述相机镜头指向哪里；以及 使用所述从至少一个相机传感器生成的信息和从所述捕获算法的执行生成的信息来向用户提供指令，其中，提供给所述用户的所述指令包括关于所述图像场景的区域的信息，其中，建议所述用户将所述相机的相机镜头指向所述区域。3.根据权利要求2的、用于辅助用户捕获图像场景的图像的方法，其中，提供给所述用户的所述指令包括音频指导，所述用户可以遵循所述音频指导来定位所述图像场景的所述区域，其中，建议所述用户将所述相机的相机镜头指向所述区域。4.根据权利要求2的、用于辅助用户捕获图像场景的图像的方法，其中，提供给所述用户的指令包括输出显示，所述输出显示包括一个或多个方向的列表，所述用户可以遵循所述一个或多个方向的列表定位所述图像场景的所述区域，其中，建议所述用户将所述相机的相机镜头指向所述区域。5.根据权利要求2的、用于辅助用户捕获图像场景的图像的方法，其中，所述相机镜头看到当前图像视图，所述当前图像视图包括所述相机镜头当前所指向的所述图像场景的区域；以及其中，提供给所述用户的指令包括输出显示，所述输出显示包括被所述相机镜头看见的所述当前图像视图，以及在所述输出显示标识的对于其存在现有已捕获图像的当前图像视图的区域。6.根据权利要求5的、用于辅助用户捕获图像场景的图像的方法，其中，所述输出显示中的所述当前图像视图的所述区域包括所述图像场景的对于其存在充足的现有已捕获图像的那些区域，并且其中，充足的现有已捕获图像包括至少一个已捕获图像的集合，其中，所述至少一个已捕获图像包括用于生成摄影最终产品的所述图像场景的区域的足够细节。7.根据权利要求6的、用于辅助用户捕获图像场景的图像的方法，其中，所述摄影最终产品包括照片合成。8.根据权利要求2的、用于辅助用户捕获图像场景的图像的方法，其中，所述用户正使用移动设备的相机来捕获所述图像场景的图像。9.根据权利要求I的、用于辅助用户捕获图像场景的图像的方法，其中，所述用户正使用移动设备的相机来捕获所述图像场景的图像，所述方法进一步包括 识别包括所述图像场景的至少一个区域的图像的存储在所述移动设备上的图像；从存储在所述移动设备上的所述图像场景的至少两个已捕获图像挖掘元数据； 与计算设备进行通信，以便请求对当前未存储在所述移动设备上的所述图像场景的至少一个已捕获图像进行搜索； 接收当前未存储在所述移动设备上的所述图像场景的已捕获图像； 将所述图像场景的所接收的已捕获图像存储在所...

【专利技术属性】
技术研发人员：B陈，E奥菲克，
申请(专利权)人：微软公司，
类型：
国别省市：