自动定义与场景图像内容相关的用户体验或系统行为的系统技术方案

本申请涉及自动定义与场景图像内容相关的用户体验或系统行为的系统。公开了一种用于使用标记的图像自动定义与场景图像内容相关的用户体验或系统行为的系统，该系统包括：（a）成像器，其被配置成捕获或生成场景图像内容；以及（b）编码单元，其被配置成从成像器接收场景图像内容并将场景图像内容与至少一个标记组合以创建标记的图像，由显示设备或算法单元使用以自动定义用户体验或系统行为的至少一个成像器参数被编码到标记中，至少一个成像器参数包括与如下项相关联的信息中的至少一个（i）成像器的镜头的固有特性；（ii）成像器的一个或多个组件，与成像器的一个或多个组件相关联的信息由至少一个内部或外部传感器单元提供；或（iii）成像器周围的环境，与成像器周围的环境相关联的信息由外部传感器单元提供或由用户作为外部信息提供，其中由成像器选择至少一个成像器参数以在显示设备或算法单元处定义用户体验或系统行为。

A system that automatically defines user experience or system behavior related to scene image content

【技术实现步骤摘要】
自动定义与场景图像内容相关的用户体验或系统行为的系统本申请是国家申请号为201580027710.6的专利技术专利申请的分案申请，该专利技术专利申请的申请日为2015年3月25日，原专利技术名称为“通过记录、共享和处理与广角图像相关联的信息的对系统行为或用户体验的自动化定义”。相关申请的交叉引用本申请要求提交于2014年3月25日、标题是“AutomatedIdentificationofPanoramicImagersforAppropriateandEfficientPanoramicImageDistortionProcessingSystem（用于适当且高效的全景图像失真处理系统的全景成像器的自动化标识）”、当前未决的美国临时专利申请号61/970,159的益处，其整体内容被通过引用并入本文中。
技术介绍
本专利技术涉及记录、共享和传送与成像器相关联的信息来定义系统行为。其包括如何通过广角成像器创建被编码有信息的广角图像或视频以及如何自动地解码和应用信息和图像处理或显示。信息最后被用来基于参数定义特定系统行为或用户体验。使用图像或视频，用户可以记录、共享或传送信息。除了图像或视频内容之外，还存在许多与内容相关联的信息。该信息是以成像器参数的形式，诸如但绝不限于广角设备参数、环境参数、图像处理、增强或显示参数、系统行为、用户体验或者要被记录、共享或传送的任何其他信息。用以将一些重要参数从成像器传递到最终用户的现有公知方法是使用元数据等。元数据是通常写在数字图像文件的头部中的文本信息。该头部是在实际图像数据之前或之后的文件的一部分，因每个文件格式而异。然而，元数据在图像或视频文件被转换成另一格式时或者在其被通过不同介质（诸如因特网）传递时遭受信息损失。通过经打印或扫描的图像来传递元数据也是不可能的。因此，使用元数据等不是用以传递与广角图像或视频相关联的信息的稳健方法。与广角图像或视频相关联的一种重要信息是成像器参数。广角成像器通过将对象重新映射到图像而从真实世界环境产生二维（2D）图像，在所产生的图像中造成失真或不连续。不论使用什么种类的广角成像器，从镜头到反射折射系统以及包括将一些窄角图像拼接在一起的成像器或产生分离的未经拼接的窄角图像的成像器，最终的广角图像将总是包括一些失真或图像重新映射以在2D平面中呈现环境。图像重新映射的结果是图像以这样的方式变形：取决于成像器的类型，对象环境中的直线在广角图像中看起来是弯曲的、分段线性的或不连续的。为了向用户或者向算法适当地显示图像的一部分，通常如在针对线性失真的美国专利号RE44,087E1或者分别针对自定义对称和自定义非对称失真的美国专利号6,844,990B2和6,865,028B2中那样完成失真的修正。为了适当地修正失真，算法必须知晓成像器的不同参数，包括准确的失真简档、视场、图像的光心位置以及广角成像器的空间定向。然而，利用上面的现有技术，失真处理算法要么与具有被预编码在其内部的参数的单个广角成像器关联，要么要求来自最终用户的对不同参数的手动选择。最终用户常常不具有参数的准确知识，使得失真处理冗长且有缺陷，并且传递被要求的参数的过程被要求。在立体图像处理的情况下，在美国专利号8,358,329B2中提出了使用被添加在组合两个被要求的图像以用于立体视觉的图像文件的边缘中的条形码来存储来自成像器的信息，比如所使用的立体图像的类型和两个图像的视点之间的距离。然而，被编码在条形码内部的所传输的数据包括仅针对通过图像合成单元在软件级别处组合的立体图像的非常有限的参数。在美国专利号5,461,440A和美国专利号6,707,998B2中还提出了在使用模拟胶片（film）而不是数字传感器来捕获图像的相机中的使用条形码的镜头标识。然而，静态的编码的数据仅虑及镜头标识而不能被动态地使用或者用于传输取决于特定用户应用而改变的成像器信息。类似地，在使用条形码或二进制码的其他系统中，被编码在条形码或二进制码内部的数据由相机制造商出于非常特定的目的而设置。输出被关联到单一使用，其不能依靠存在于经编码的数据中的参数的种类或者依靠特定用户需要而改变输出。更进一步地，这些系统是静态的并且不能用于动态地编码或传输改变的成像器参数。由于所有这些原因，经编码的数据不能用于依靠原始场景的特定信息来定义不同系统行为或用户体验。为了最佳的广角图像处理并且为了允许依靠参数来定义不同的系统行为或用户体验，可以实时地在成像器级别处添加信息以计及动态地改变的镜头、相机、设备或环境参数，诸如定向、所传输图像的子区域、日期、地理位置或甚至如在美国专利公开号2012/0314065A1中提出的动态失真。在国际专利公开号WO2007/110697A3中，提出了用以物理地标记光学系统或在图像平面中光学地添加标记以允许标识广角光学系统的系统。然而，如果在镜头上使用物理标记，则该系统仍需要在成像器处对参数的手动用户外部输入，诸如镜头标识号或设备定向等。当光学标记被用来显现在图像平面上时，系统是静态的并且非常受限，因为其不能包括比如定向或所传输的图像的子区域的广角成像器参数的动态编码。其不能传输取决于特定用户应用的适应性成像器信息，并且因此不能用于定义不同的用户体验或系统行为。更进一步地，另一缺点在于镜头必须从开始被设计成包括这样的标记并且该方法不能被扩展至已经存在的广角成像器。除了广角设备参数之外，本专利技术还提供用以记录、共享或传送与图像或视频相关联的所有种类的镜头、相机、设备或环境信息的方案。该方案可以用在宽得多的范围的应用中。于是，主要创新在于能够通过依靠特定参数指示输出什么以及如何输出来自动地定义不同的用户体验或系统行为。更进一步地，一些信息是动态的，诸如实时相机定向、实时用户体验、实时系统行为和在上面的专利中不能通过静态方式记录的动态信息。
技术实现思路
为了克服所有先前提及的问题，当前专利技术的实施例提出了用以记录、共享或传送与图像或视频相关联的所有种类的成像器参数的方案。这些成像器参数包括与镜头、相机、整个设备或设备周围的环境相关联的所有种类的信息。取决于所共享的场景的特定信息，创建特定用户体验或系统行为以用于最终的显示设备或算法单元。这允许最终用户的设备标识所有的成像器参数或所使用的其他信息并基于所接收的信息应用正确种类的用户体验或系统行为。可以为最终用户创建的特定的用户体验或系统行为的一些示例包括图像失真修正、图像增强或信息供应以用于进一步处理。在最终用户不具有设备的成像器参数的任何知识的情况下，所有这些可以被自动地完成。由系统创建的用户体验影响人类-系统的交互并且由成像器参数定义。用户的感知和响应由对系统的使用和/或预期使用引起。用户体验包括在使用系统之前、期间和之后发生的情绪、信仰、偏好、感知、身体和心理响应、行为和实现。用户体验是品牌形象、呈现、功能、系统性能、交互式系统的交互式行为和辅助能力、由在先体验引起的用户的内在和身体状态、态度、技能和个性以及使用的背景的结果。系统行为是由系统结合它们自身（自主的）或它们的环境做出的动作或处理的范围，所述环境包括其他系统、本文档来自技高网...

【技术保护点】
1.一种用于使用标记的图像自动定义与场景图像内容相关的用户体验或系统行为的系统，所述系统包括：/n（a）成像器，其被配置成捕获或生成场景图像内容；以及/n（b）编码单元，其被配置成从所述成像器接收所述场景图像内容并将所述场景图像内容与至少一个标记组合以创建所述标记的图像，由显示设备或算法单元使用以自动定义所述用户体验或系统行为的至少一个成像器参数被编码到所述标记中，所述至少一个成像器参数包括与如下项相关联的信息中的至少一个（i）所述成像器的镜头的固有特性；（ii）所述成像器的一个或多个组件，与所述成像器的一个或多个组件相关联的信息由至少一个内部或外部传感器单元提供；或（iii）所述成像器周围的环境，与所述成像器周围的环境相关联的信息由外部传感器单元提供或由用户作为外部信息提供，/n其中由所述成像器选择所述至少一个成像器参数以在所述显示设备或所述算法单元处定义所述用户体验或系统行为。/n

【技术特征摘要】
20140325 US 61/9701591.一种用于使用标记的图像自动定义与场景图像内容相关的用户体验或系统行为的系统，所述系统包括：
（a）成像器，其被配置成捕获或生成场景图像内容；以及
（b）编码单元，其被配置成从所述成像器接收所述场景图像内容并将所述场景图像内容与至少一个标记组合以创建所述标记的图像，由显示设备或算法单元使用以自动定义所述用户体验或系统行为的至少一个成像器参数被编码到所述标记中，所述至少一个成像器参数包括与如下项相关联的信息中的至少一个（i）所述成像器的镜头的固有特性；（ii）所述成像器的一个或多个组件，与所述成像器的一个或多个组件相关联的信息由至少一个内部或外部传感器单元提供；或（iii）所述成像器周围的环境，与所述成像器周围的环境相关联的信息由外部传感器单元提供或由用户作为外部信息提供，
其中由所述成像器选择所述至少一个成像器参数以在所述显示设备或所述算法单元处定义所述用户体验或系统行为。


2.根据权利要求1所述的系统，其中所述成像器包括至少一个相机模块，其被配置成捕获图像。


3.根据权利要求2所述的系统，其中所述至少一个成像器参数包括至少一个相机模块参数或外部参数，所述系统进一步包括将所述至少一个相机模块参数或外部参数传递到所述编码单元的相机模块参数单元，以及能够将附加的外部参数直接提供到所述编码单元的外部单元。


4.根据权利要求3所述的系统，其中所述外部单元包括传感器单元并且所述外部参数是传感器参数。


5.根据权利要求1所述的系统，其中所述成像器是广角成像器。


6.根据权利要求1所述的系统，其中所述成像器参数是以下中的至少一个：成像器的定向、场景图像内容位置，定向和大小、成像器型号、成像器的速度或加速度、感兴趣区或进入点。


7.根据权利要求1所述的系统，其中所述标记是人类可读代码、机器可读代码或水印中的一个。


8.根据权利要求7所述的系统，其中所述标记是QR码。


9.根据权利要求1所述的系统，其中所述用户体验或系统行为进一步包括根据所述至少一个成像器参数处理所捕获的图像的失真，所述至少一个成像器参数包括以下中的至少一个：镜头失真简档、失真图像的视场、中央光轴在失真图像内部的位置、图像足迹的定向、一个或多个窄视场的定向和坐标、镜头的相对照度、数字变焦级别、优选的感兴趣点或图像增强参数。


10.根据权利要求1所述的系统，其中所述用户体验或系统行为进一步包括根据所述至少一个成像器参数处理所捕获的图像的失真，所述至少一个成像器参数包括与包含失真简档、视场或成像器的镜头的局部相对照度中的至少一个的数据库相关的唯一标识码。


11.根据权利要求1所述的系统，其中所述成像器参数包括在场景图像内容中的导航路径。


12.根据权利要求1所述的系统，其中所述标记位于所述标记的图像的角落中或所述标记的图像的添加的边缘中。


13.根据权利要求2所述的系统，其中所述相机模块至少包括镜头以及被配置成捕获通过镜头接收的图像的图像传感器。


14.根据权利要求2所述的系统，其中所述相机模块是被配置成从虚拟环境捕获图像的数字处理器。


15.根据权利要求2所述的系统，其中通过分析由相机模块捕获的场景图像内容而自动生成相机模块参数的至少一部分。


16.根据权利要求1所述的系统，其中所述标记的图像被分成多个图像部分，所述多个图像部分中的每个包括相应的标记，并且其中用于处理所述标记的图像的数据包括多个图像部分的交叉引用。

...

【专利技术属性】
技术研发人员：P科宁，P妮妮，J帕伦特，P鲁莱，S蒂博，H张，ME戈斯林，V巴泰勒，杜晓军，
申请(专利权)人：六一一五一八七加拿大公司暨伊美景象公司，
类型：发明
国别省市：加拿大;CA