红外图像流的重新着色制造技术

用于对红外图像流着色的方法和设备可以包括接收场景的红外(IR)图像流。该方法和设备可以包括检测IR图像流中的至少一个对象，并且从红绿蓝(RGB)知识库接收与IR图像流中所检测到的至少一个对象相对应的RGB纹理。该方法和设备可以包括通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理，以产生彩色IR图像流。该方法和设备可以包括传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。

RECOLOURING OF INFRARED IMAGE FLOW

Methods and devices for coloring infrared image streams may include infrared (IR) image streams for receiving scenes. The method and device may include detecting at least one object in an IR image stream and receiving RGB textures corresponding to at least one object detected in an IR image stream from a red, green and blue (RGB) knowledge base. The method and device may include processing RGB texture by matching coordinates in RGB texture with corresponding coordinates in at least one object to generate color IR image stream. The method and device may include a color IR image stream for transmitting a scene, in which at least one object is colored based on processing.

【技术实现步骤摘要】
【国外来华专利技术】红外图像流的重新着色
技术介绍
本申请的方面涉及计算机设备，并且更具体地涉及弱光条件下的图像和视频捕获。利用红绿蓝(RGB)传感器在弱光条件下进行摄影、视频捕获和预览需要大量的模拟和数字增益来正确地渲染颜色，这具有利用噪声可视地破坏图像的副作用。在弱光条件下，可能无法取回足够的光子以在由图像捕获上下文(即，帧速率、场景移动和相机移动)限制的时间量内正确地渲染场景中的元素的颜色。用于尝试在弱光条件下补偿图像捕获的一个选项是：使用可见光谱(即，发光二极管(LED)或氙气闪光灯)中的附加光源来充分地照射场景，使得RGB传感器可以捕获足够的光以用正确的颜色渲染场景。使用附加的可见光源会损害以其原始状态捕获场景的意图。用于尝试在弱光条件下补偿图像捕获的另一选项是：使用具有对应光源(即，在IR光谱中)的可见光谱之外(即，红外(IR))的相机传感器来照射和捕获场景而不改变可见光谱中的场景。在IR光谱中捕获的图像通常被渲染为单色(灰色调)图像而没有颜色，以使得难以标识和传达场景的信息，因为它们处于可见光谱中。用于尝试在弱光条件下补偿图像捕获的又一选项包括：使用长曝光时间来捕获足够的光子以使用RGB传感器用颜色适当地渲染场景。在长曝光时间期间，场景中的对象可能移动或者相机本身可能移动，导致捕获中的模糊并且场景未被渲染，因为场景是在执行捕获意图的时刻。此外，捕获流可以强制遵守某些特性，这些特性使得不能使用长曝光时间，诸如帧速率(即，每秒30帧的视频记录)。用于尝试在弱光条件下补偿图像捕获的另一选项包括：使用专用硬件来增强RGB相机系统的光敏度，诸如更大像素、更大光圈、更大传感器和/或不同颜色阵列，而不是传感器上的传统RGB拜耳(Bayer)滤波器(例如，红-绿-蓝-白)。专用RGB相机系统通常生产成本更高，并且在有足够光线的常规上下文中在图像质量方面具有折衷性(即，镜头光斑、鱼眼失真、浅视野、难处理的尺寸和更高的热设计功率)。因此，本领域需要在弱光条件下改进图像和视频捕获。
技术实现思路
以下呈现本公开的一个或多个实现的简化概述，以便提供对这些实现的基本理解。本
技术实现思路
不是所有预期实现的广泛概览，并且既不旨在标识所有实现的关键或重要元素，也不旨在界定任何或所有实现的范围。其唯一目的是以简化的形式呈现本公开的一个或多个实现的一些概念，作为稍后呈现的更详细描述的序言。一个示例实现涉及一种计算机设备。该计算机设备可以包括用以存储数据和指令的存储器、与存储器通信的处理器、以及与存储器和处理器通信的操作系统。操作系统可以可操作以接收场景的红外(IR)图像流，检测IR图像流中的至少一个对象，从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理，通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流，并且传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。另一示例实现涉及一种用于对红外图像流着色的方法。该方法可以包括在计算机设备上执行的操作系统处接收场景的红外(IR)图像流。该方法还可以包括由操作系统检测IR图像流中的至少一个对象。该方法可以包括从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理。该方法还可以包括通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流。该方法还可以包括传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。另一示例实现涉及一种存储由计算机设备可执行的指令的计算机可读介质。该计算机可读介质可以包括用于引起计算机设备接收场景的红外(IR)图像流的至少一个指令。该计算机可读介质可以包括用于引起计算机设备检测IR图像流中的至少一个对象的至少一个指令。该计算机可读介质可以包括用于引起计算机从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理的至少一个指令。该计算机可读介质可以包括用于引起计算机通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流的至少一个指令。该计算机可读介质可以包括用于引起计算机设备传送场景的彩色IR图像流的至少一个指令，其中至少一个对象基于处理被着色显示。与本公开的实现有关的附加优点和新颖特征将部分地在下面的描述中被阐述，并且部分地对于检查了以下内容或通过其实践进行了学习的本领域技术人员将变得更加明显。附图说明在附图中：图1是根据本公开的实现的示例设备的示意性框图。图2是根据本公开的实现的用于IR图像流的重新着色的方法的流程图；图3是根据本公开的实现的用于IR图像流的重新着色的示例方法的示意图；以及图4是根据本公开的实现的示例设备的示意性框图。具体实施方式本公开提供了一种用于在其中在可见光谱中工作的传统RGB传感器由于照射不充分而不能正常工作的上下文中利用红外光谱的图像显示系统。通常，在弱光照情况下，传统的RGB传感器会增强其模拟增益，这通过散粒噪声破坏场景的图像和/或将曝光时间延长超出帧速率的强加限制以收集足够的光线。本公开使用红外相机和红外光源来充分照射场景，使得可以从流数据中识别出元素。通过使用由红外光源辅助的红外相机，用户将不会注意到照射场景的附加光，因为附加光在可见光谱之外。由于收集了足够的IR光，IR传感器不需要像其他解决方案那样提高模拟增益或延长曝光时间，从而产生清晰、干净且大部分为单色的IR图像。另外，所公开的系统使用基于图像的标识方法来从IR图像流中理解场景。所公开的系统标识场景中的元素，并且将场景中的所标识的元素的IR强度(像素值)与这些元素的已知RGB纹理表示(像素值)混合。所标识的元素的已知RGB纹理表示可以从RGB图像的知识库来访问。通过将IR传感器和IR光源与场景中的所标识的元素的RGB方面(纹理)的知识库相结合，可以利用RGB颜色分量部分或完全地重新着色IR图像流，并且IR图像流产生在可见光谱之外的所标识的元素的RGB图像。这样，例如在RGB传感器不能很好地或根本不能操作的弱光条件下的图像获取的一些实现中，所公开的系统可操作以基于IR图像流来呈现场景的图像，其中所标识的元素基于已知的RGB纹理表示进行着色，使得所标识的元素被呈现为好像它们处于正常(即，日光)或光照良好的照射条件下。所公开的系统可以与任何照片、视频和/或消息收发应用一起使用，诸如但不限于Skype、Facebook、GoogleHangouts和Snapchat。此外，所公开的系统可以在弱光情况和/或黑暗情况下与任何照片或视频捕获一起使用，诸如但不限于夜间视频通信、安全监控和生产线监督。现在参考图1，用于生成场景106的彩色IR图像流的示例系统100可以包括计算机设备102，计算机设备102经由相机系统10捕获场景106并且产生一个或多个彩色红外(IR)图像帧38，IR图像帧38对场景106内的所标识的元素着色。相机系统10可以捕获场景106的视频和/或静止图像，并且可以在显示器36上呈现所捕获的场景106的一个或多个彩色红外(IR)图像帧38。显示器36可以位于计算机设备102上，和/或位于通过有线和/或无线网络104与通信设备102进行通信(即，经由数据或视频流，或者经由本文档来自技高网...

【技术保护点】
1.一种计算机设备，包括：存储器，用以存储数据和指令；处理器，与所述存储器通信；以及操作系统，与所述存储器和所述处理器通信，其中所述操作系统可操作以：接收场景的红外(IR)图像流；检测所述IR图像流中的至少一个对象；从红绿蓝(RGB)知识库接收与在所述IR图像流中所检测到的所述至少一个对象相对应的RGB纹理；通过将所述RGB纹理中的坐标与所述至少一个对象中的对应坐标相匹配来处理所述RGB纹理，以产生彩色IR图像流；以及传送所述场景的所述彩色IR图像流，其中所述至少一个对象基于所述处理被着色显示。

【技术特征摘要】
【国外来华专利技术】2016.09.30 US 15/282,9931.一种计算机设备，包括：存储器，用以存储数据和指令；处理器，与所述存储器通信；以及操作系统，与所述存储器和所述处理器通信，其中所述操作系统可操作以：接收场景的红外(IR)图像流；检测所述IR图像流中的至少一个对象；从红绿蓝(RGB)知识库接收与在所述IR图像流中所检测到的所述至少一个对象相对应的RGB纹理；通过将所述RGB纹理中的坐标与所述至少一个对象中的对应坐标相匹配来处理所述RGB纹理，以产生彩色IR图像流；以及传送所述场景的所述彩色IR图像流，其中所述至少一个对象基于所述处理被着色显示。2.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以将来自所述RGB纹理的RGB像素的像素强度与所述至少一个对象的IR像素强度混合，其中所述至少一个对象基于经混合的所述像素强度而被着色显示，并且其中所述彩色IR流以灰色或单色来显示未被标识的对象。3.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以：检测所述场景中的光水平；以及当所述光水平低于阈值水平时，接收所述场景的所述IR图像流。4.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以通过处理所述至少一个对象中的所标识的标志来估计所述至少一个对象的定向，并且将所述RGB纹理映射到所述至少一个对象的所估计的所述定向。5.根据权利要求1所述的计算机设备，其中所述IR图像流包括照射所述场景的附加IR光，并且其中所述操作系统还可操作以接收照射所述场景的所述IR光的估计，并且基于所述估计将来自所述RGB纹理的RGB像素的像素强度与所述至少一个对象的IR像素强度混合，并且其中所述至少一个对象基于经混合的所述像素强度被着色显示。6.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以向所述RGB知识库传送所述至少一个对象的标识符，并且基于所述标识符接收对应的所述RGB纹理，并且其中所述RGB知识库从在所述计算机设备上执行的一个或多个应用接收图像。7.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以预处理所述RGB纹理以在所述RGB纹理上产生均匀的颜色分布，并且基于经预处理的所述RGB纹理将来自所述RGB纹理的RGB像素的像素强度与所述至少一个对象的IR像素强度混合。8.一种用于对红外图像流着色的方法，包括：在计算机设备上执行的操作系统处接收场景的红外(IR)图像流；由所述操作系统检测所述...

【专利技术属性】
技术研发人员：LP·布雷特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US