多传感器系统技术方案

本公开的实施例涉及多传感器系统。在一些实施方式中，系统可以获得与场景相关联的图像数据。系统可以获得与场景相关联的多光谱数据。系统可以标识由图像数据描绘的一个或多个对象。系统可以确定一个或多个对象的代表性光学性质。系统可以基于图像数据或多光谱数据中的至少一项，来标识一个或多个对象的捕获光学性质。系统可以生成经颜色校正的图像。系统可以向用户设备提供经颜色校正的图像以由用户设备显示。设备显示。设备显示。

【技术实现步骤摘要】
多传感器系统
[0001]相关申请
[0002]本申请要求2020年08月28日提交的题目为“MULTI
‑
SENSOR DEVICE FOR MULTISPECTRAL SCENE ANALYSIS”的美国临时专利申请号62/706614的优先权，其内容通过引用以其整体并入本文。


[0003]本专利技术涉及图像处理领域，特别地，涉及一种多传感器系统。

技术介绍

[0004]图像捕获设备可以包括图像传感器和与图像传感器相关联的各种组件，诸如透镜、光圈和/或光源。图像捕获设备的一个示例是用户设备，诸如智能手机或平板。图像捕获设备可以提供各种图像捕获模式，诸如肖像模式、微距模式、全景模式等。

技术实现思路

[0005]本文描述的一些实施方式涉及一种方法。方法可以包括由系统获得与场景相关联的图像数据。方法可以包括由系统获得与场景相关联的多光谱数据。方法可以包括由系统标识由图像数据描绘的一个或多个对象。方法可以包括由系统确定一个或多个对象的代表性光学性质。方法可以包括：由系统基于图像数据或多光谱数据中的至少一项，来标识一个或多个对象的捕获光学性质。方法可以包括：由系统基于代表性光学性质和捕获光学性质，生成经颜色校正的图像。方法可以包括：由系统向用户设备提供经颜色校正的图像以由用户设备显示。
[0006]本文描述的一些实施方式涉及一种系统。系统可以包括一个或多个存储器，并且可以包括通信地耦合到一个或多个存储器的一个或多个处理器。一个或多个处理器可以被配置为获得与场景相关联的图像数据。一个或多个处理器可以被配置为获得与场景相关联的多光谱数据。一个或多个处理器可以被配置为标识由图像数据描绘的一个或多个对象。一个或多个处理器可以被配置为：基于一个或多个对象的代表性光学性质和一个或多个对象的捕获光学性质，生成经颜色校正的图像。一个或多个处理器可以被配置为：向用户设备提供经颜色校正的图像以由用户设备显示。
[0007]本文描述的一些实施方式涉及一种非瞬态计算机可读介质，其存储用于系统的一组指令。一组指令在由系统的一个或多个处理器执行时，可以使系统获得与场景相关联的图像数据。一组指令在由系统的一个或多个处理器执行时，可以使系统获得与场景相关联的多光谱数据。一组指令在由系统的一个或多个处理器执行时，可以使系统基于图像数据和多光谱数据来生成经颜色校正的图像。一组指令在由系统的一个或多个处理器执行时，可以使系统提供经颜色校正的图像。
附图说明
[0008]图1A
‑
图1F是本文描述的一个示例实施方式的图。
[0009]图2是其中可以实现本文描述的系统和/或方法的一个示例环境的图。
[0010]图3是图2的一个或多个设备的示例组件的图。
[0011]图4是与生成经颜色校正的图像有关的一个示例过程的流程图。
具体实施方式
[0012]示例实施方式的以下详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元件。以下描述的一些方面使用光谱仪作为示例。然而，本文描述的测量原理、程序和方法可以与任何传感器一起使用，包括但不限于其他光学传感器和光谱传感器。
[0013]多光谱传感器跨电磁光谱捕获在特定波长范围内的多光谱数据。该多光谱数据可以用于各种目的，诸如材料的化学成分分析、确定存在于多光谱传感器的视场中的特定区域处的光的量和/或类型，和/或其他示例。在一些情况下，多光谱传感器可以用于执行超光谱成像，它使用比通常用于多光谱成像更多的光谱带和/或更紧密的光谱带分组。然而，出于本文描述的实施方式的目的，可互换地使用术语“多光谱”和“超光谱”。
[0014]图像传感器捕获与在可见光范围内的图像相关联的图像数据(例如，用于用户消费或与用户设备的应用一起使用)。在许多情况下，图像传感器可以与诸如移动电话、膝上型电脑和/或平板等用户设备的相机相关联。然后，与用户设备相关联的处理器处理图像数据，来执行一个或多个颜色调整校正，并且将图像数据(例如，经由用户设备的显示器)呈现为对用户设备的用户来说看起来是“经颜色校正”的图像。然而，在一些情况下，图像传感器可能捕获包含图像传感器的视场内的局部照射的变化的图像数据(例如，由于阴影、光源的反射和/或光源的遮挡引起的变化等；由于光源的数量和/或位置变化而引起的变化；和/或由于光源的不同类型和/或相关色温(CCT)而引起的变化)。因此，在这些情况下，处理器不能单独处理局部照射的变化中的每个变化，而是统一地对图像数据执行一个或多个颜色调整校正。这使处理器将图像数据呈现为仅针对图像的一部分进行颜色校正(而不针对图像的一个或多个其他部分进行颜色校正)的图像。例如，当图像数据描绘具有窗户的光线昏暗的房间时，其中窗户外的场景被明亮地照射(例如，被太阳照射)，处理器可以执行一个或多个颜色调整校正，该校正可以将房间呈现为被颜色校正，而不是窗外的场景(或反之)。即使在处理器使用来自环境光传感器的信息来标识特定场景中的平均照射时，处理器也不能区分局部照射的变化。
[0015]本文描述的一些实施方式提供了一种传感器系统，其包括：多光谱传感器，用于捕获与场景相关联的多光谱数据(例如，与场景相关联的反射光谱数据)；图像传感器，用于捕获与场景相关联的图像数据；以及处理器，用于处理多光谱数据和图像数据以生成更准确的经颜色校正的图像(例如，具有多个颜色校正部分的图像，即使在场景包括局部照射的变化时)。通过使用单个系统来获得和处理多光谱数据和图像数据，与使用分离的多光谱设备和图像设备来产生类似的结果相比，可以降低系统的大小、成本和/或复杂度。因此，传感器系统可以被实现在用户设备内，这在使用分离的多光谱设备和图像设备时可能是不可能的。此外，使用单个系统提供了在使用分离的多光谱设备和图像设备时不可能实现的一致性和/或准确性。
[0016]图1A
‑
图1F是本文描述的示例实施方式100的图。如图1A
‑
图1F中所示，示例实施方式100包括传感器系统，该传感器系统包括多光谱传感器、图像传感器和处理器。结合图2和图3更详细地描述传感器系统的组件、多光谱传感器、图像传感器和处理器。
[0017]如图1A中和附图标记105所示，传感器系统可以获得与场景相关联的图像数据。例如，传感器系统的图像传感器可以捕获场景的图像数据。图像数据可以包括关于与可见光谱中的场景相关联的光的信息(例如，在场景内被反射和/或发射的红光、绿光和/或蓝光(有时被称为“RGB光”)的量和/或位置)。在一些实施方式中，如图1A中所示，场景可以包括局部照射的变化(例如，场景包括与被阳光照射的树相关联的区域、与由树投下的阴影相关联的区域，以及与树旁行走的人相关联的区域，其中人的一部分被阳光照射，人的另一部分在树的阴影中)。
[0018]如图1B中和附图标记110所示，传感器系统可以获得与场景相关联的多光谱数据。例如，多光谱传感器可以捕获场景的多光谱数据。多光谱数据可以包括关于与可见光谱和/或非可见光谱中的场景相关联的光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由系统获得与场景相关联的图像数据；由所述系统获得与所述场景相关联的多光谱数据；由所述系统标识由所述图像数据描绘的一个或多个对象；由所述系统确定所述一个或多个对象的代表性光学性质；由所述系统基于所述图像数据或所述多光谱数据中的至少一项，标识所述一个或多个对象的捕获光学性质；由所述系统基于所述代表性光学性质和所述捕获光学性质，生成经颜色校正的图像；以及由所述系统向用户设备提供所述经颜色校正的图像，以由所述用户设备显示。2.根据权利要求1所述的方法，其中所述图像数据和所述多光谱数据被同时获得。3.根据权利要求1所述的方法，其中所述图像数据由与所述系统相关联的图像传感器获得，并且所述多光谱数据由与所述系统相关联的多光谱传感器获得。4.根据权利要求1所述的方法，其中标识由所述图像数据描绘的所述一个或多个对象包括：使用图像处理技术处理所述图像数据，以标识所述一个或多个对象。5.根据权利要求1所述的方法，其中标识由所述图像数据描绘的所述一个或多个对象包括：使用机器学习模型处理所述图像数据，以标识所述一个或多个对象。6.根据权利要求1所述的方法，其中标识由所述图像数据描绘的所述一个或多个对象包括：使所述场景被与所述系统相关联的光源照射；当所述场景被所述光源照射时，获得附加的多光谱数据；以及使用光谱成分分析技术处理所述附加的多光谱数据，以标识所述一个或多个对象。7.根据权利要求1所述的方法，其中确定所述一个或多个对象的所述代表性光学性质包括：基于标识所述一个或多个对象，在数据结构中执行查找操作，以确定所述一个或多个对象的所述代表性光学性质。8.根据权利要求1所述的方法，其中生成所述经颜色校正的图像包括：基于所述一个或多个对象的所述代表性光学性质与所述捕获光学性质之间的差异，对所述图像数据执行颜色调整校正。9.根据权利要求1所述的方法，其中生成所述经颜色校正的图像包括：使用同色异谱颜色光谱分析处理所述多光谱数据，以生成照射数据；以及基于所述照射数据、所述一个或多个对象的所述代表性光学性质和所述捕获光学性质，生成所述经颜色校正的图像。10.一种系统，包括：一个或多个存储器；以及一个或多个处理器，被通信耦合到所述一个或多个存储器，所述一个或多个处理器被配置为：
获得与场景相关联的图像数据；获得与所述场景相关联的多光谱数据；标识由所述图像数据描绘的一个或多个对象；基于所述一个或多个对象的代表性光学性质和所述一个或多个对象的捕获光学性质，生成经颜色校正的图像；以及向用户设备提供所述经颜色校正的图像，以由所述用户设备显示。11.根据权利要求10所述的系统，其中所述图像数据由与所述系统相关联的图像传感器获得，并且所述多光谱数据由与所述系统相关联的多光谱传感器获得。12.根据权利要求10所述的系统，其中当标识由所述图像数据描绘的所述一个或多个对象时，所述一个或多个...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：VIAVI科技有限公司，
类型：发明
国别省市：