用于撷取混合的结构光图像和正规图像的单一图像传感器制造技术

公开一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法和设备，其中，该结构光图像使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的较短帧期间，该结构光图像可以对应于以降低的动态范围、降低的空间分辨率、或其组合所撷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列的行像素、从该像素阵列的该行像素读出模拟信号、以及使用一个或多个模拟‑数字转换器转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。

【技术实现步骤摘要】
【国外来华专利技术】用于撷取混合的结构光图像和正规图像的单一图像传感器相关申请案对照参考本专利技术是关于2015年10月26日提出申请的美国专利申请案第14/884,788号。特此将该美国专利申请案的全部内容引用含括于本文。
本专利技术涉及一种能够撷取结构光图像和正规(regular)图像的单一图像传感器，其中，该结构光图像将用于衍生出对应的正规图像的深度或形状等相关信息。
技术介绍
用于身体内体腔或通道的成像装置是本领域已知的，包括内视镜和自主式胶囊相机。内视镜是柔性或刚性的管状物，经由孔口或外科开口进入体内，典型地是经口进入食道或是经直肠到结肠。在前端使用透镜，经由透镜中继系统或是同调光纤束，传送到人体外的远程形成图像。概念上类似的仪器可在远程记录电子图像，例如使用CCD或CMOS阵列，并且将图像数据作为电子信号通过电缆传送到近端。内视镜允许医师控制视野(fieldofview)，是被广泛接受的诊断工具。胶囊内视镜是在近年发展来替代体内内视镜的。胶囊内视镜是在一个吞服型的胶囊内容纳摄影机以及一个用于发送数据(主要包括：数字相机记录图像)到身体之外的基地台接收机或收发信机和数据记录器的无线电发射机。该胶囊还可以包括一个无线电接收机，用于从基地台发射器接收指令或其他数据。也可以使用较低频率的电磁信号，以代替射频传输。能源可以从外部电感感应地供给胶囊内部电感，或由胶囊内的电池供应。一个自主胶囊相机系统与机载数据存储，披露在US7,983,458，题为〞Invivoautonomouscamerawithon-boarddatastorageordigitalwirelesstransmissioninregulatoryapprovedband〞于2011年7月19日获准专利。胶囊相机的机载储存器将撷取的图像存储在机载的非易失性储存器中。胶囊相机从人体中退出取回。经胶囊相机输出端存取，存储在胶囊相机里非易失性储存器中的图像。虽然经内视镜撷取的二维图像已经有助于诊断，理想的是，能够撷取胃肠(gastrointestinal；GI)道的图像与深度信息(即，三维(3D)图像)，以提高诊断精度或舒解诊断过程。在三维成像的领域中，针对场景中的结构(texture)信息，三维图像可以使用普通相机撷取，而针对视野的深度信息，三维图像可以使用分立的(separate)深度摄影机(例如，时差测距(Timeofflight)摄影机)撷取。三维图像也可以使用多个摄影机，其中多个摄影机通常采用平面设置，以撷取不同视角的场景。然后，点对应地建立多个三维的三角视图。然而，因为空间是非常有限的，这些多摄影机系统可能不容易适于胃肠道环境。在过去的二十年中，结构光的技术已经发展到使用单个相机来衍生出场景中目标的深度或形状。在结构光系统，光源通常是用投射仪投射已知的几何图案到场景中的目标。一个正规相机可用于撷取图像不论其是否具有投射图案。以结构光撷取的图像可以被用于衍生出与场景中的目标关联的形状。深度或形状信息使用正规图像，这是以非结构化泛光灯光撷取，用于创建目标的三维结构模型。结构光的技术已是公知的领域。例如，在〞结构光三维表面成像教程〞(Geng,inAdvancesinOpticsandPhotonics,Vol.3,Issue2,pp.128-160,March31,2011)，对结构光技术使用各种结构光图案的描述和相应的性能进行了比较。在另一个例子中，不同的设计，标定和实施问题，描述于〞使用结构光的三维计算机视觉：设计，标定和实施问题〞(DePieroetal.,AdvancesinComputers,Volume43,January1,1996,pages243-278)。因此，结构光的技术细节，这里不再重复。尽管结构光的技术可能比其他技术更适合胃肠道的三维成像，但应用于胃肠道仍有其预期的问题。例如，大多数的结构光应用旨在用于固定物体。因此，在撷取的结构光图像和正规图像之间目标没有移动。然而，在对胃肠道成像的胶囊相机应用中，无论是胶囊相机和胃肠(GI)部分(例如小肠和结肠)是可以移动的。因此，当它们连续撷取该结构光图像和正规图像时，其间会有相对运动。此外，胶囊相机是应用于对功率非常敏感的环境。除了撷取正规图像外，使用结构光会消耗系统能源。此外，如果获取每个正规图像后再取结构光图像，有用的帧速率将下降一半。如果维持正规图像相同的帧速率，该系统将以两倍帧速率来撷取图像，和消耗两倍的功率在图像撷取。因此，理想的是开发用于在胃肠道中，可以克服这里提到了这些问题的结构光应用。
技术实现思路
揭露一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法及装置，其中，该结构光图像是使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的更短帧期间，该结构光图像可对应于以降低的动态范围、降低的空间分辨率、或其组合所撷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列里的行像素(rowsofpixels)、从该像素阵列的行像素读出模拟信号、以及使用一个或多个模拟-数字转换器(analog-to-digitalconverter；ADC)转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。降低的动态范围可对应于模拟-数字转换器的降低的分辨率。降低的动态范围也可对应于斜坡基准电压的降低的斜坡期间，其中，该斜坡基准电压被该一个或多个模拟-数字转换器用来与输入模拟电压进行比较。当使用逐次逼近(successiveapproximation)ADC时，该降低的动态范围可对应于逐次逼近的降低的数量，用于改善供应给该逐次逼近ADC以与输入模拟电压进行比较的基准电压。该降低的动态范围也可以对应于该图像传感器的降低的积累时间(integrationtime)，以积累电荷。在这种情况下，来自该图像传感器的该行像素的该第一模拟信号的模拟增益对于该结构光图像是增加的。该方法可以更包括在结构光图像帧期间的该积累时间投射具有第一强度的结构光、以及在该第一正规图像帧期间的积累时间投射具有第二强度的非结构光到该场景。可以使用具有至少两种不同的颜色或图案的多个光源来产生该结构光。在一个实施例中，与该多个光源之一者或该多个光源的组合相关的光频谱，实质上是不同于与环境光或由该非结构光照射的预期场景相关的第二频谱。该图像传感器可以对应于彩色图像传感器，至少包括用于排列成马赛克图案的第一颜色的第一像素和第二颜色的第二像素，并且该第一频谱集中在与该第一像素相关联的第一颜色。该非结构光可以使用窄带照明或荧光激发产生。该第一强度实质上高于该第二强度。在另一种情况下，该第一强度的期间可实质上短于人类视觉暂留时间在一个实施例中，用于该结构光图像的该图像传感器的该行像素之间的最小行复位时间(resettime)实质上短于用于该正规图像的该图像传感器的该行像素之间的最小行复位时间。该方法可以更包括产生第一控制信号以形成被触发以撷取该结构光图像的结构光的步骤。该结构光可在该结构光图像的积累期间施加。该结构光可在第一行积累结束前和最后一行积累开始后施加。该方法可以更包括产生第二控制信号，以形成被触发以撷取该第二正规图像的第二光的步骤。该方法可以更包括提供该结构光图像以衍生出该正规图像的深度或形状信本文档来自技高网...

【技术保护点】
一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：在第一帧期间使用该图像传感器撷取第一结构光图像，其中，所述撷取该第一结构光图像包括：施加第一复位信号至该图像传感器，以复位该图像传感器的行像素；曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；使用一个或多个模拟‑数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该第一结构光图像的第一数字输出；在第二帧期间使用该图像传感器撷取正规影像图像，其中，该第一帧期间比该第二帧期间短，且所述撷取该正规图像包括：施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；曝露该图像传感器的该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及使用该一个或多个模拟‑数字转换器，转换来自该行像素的该第二模拟信号成为用于该正规图像的第二数字输出；以及其中，该第一结构光图像在该正规图像之前或之后撷取。

【技术特征摘要】
【国外来华专利技术】2015.10.16 US 14/884,7881.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：在第一帧期间使用该图像传感器撷取第一结构光图像，其中，所述撷取该第一结构光图像包括：施加第一复位信号至该图像传感器，以复位该图像传感器的行像素；曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该第一结构光图像的第一数字输出；在第二帧期间使用该图像传感器撷取正规影像图像，其中，该第一帧期间比该第二帧期间短，且所述撷取该正规图像包括：施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；曝露该图像传感器的该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及使用该一个或多个模拟-数字转换器，转换来自该行像素的该第二模拟信号成为用于该正规图像的第二数字输出；以及其中，该第一结构光图像在该正规图像之前或之后撷取。2.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以该图像传感器的降低的动态范围撷取。3.根据权利要求2所述的方法，其中，该降低的动态范对应于该一个或多个模拟-数字转换器的降低的分辨率。4.根据权利要求2所述的方法，其中，该降低的动态范围对应于用于产生斜坡基准电压的降低的斜坡期间，其中，该一个或多个模拟-数字转换器使用该斜坡基准电压与输入模拟电压进行比较。5.根据权利要求2所述的方法，其中，该一个或多个模拟-数字转换器对应于一个或多个逐次逼近模拟-数字转换器，而该降低的动态范围对应于用来改善基准电压的逐次逼近的减少的数量，该基准电压供应至该一个或多个逐次逼近模拟-数字转换器以与输入模拟电压进行比较。6.根据权利要求2所述的方法，其中，该降低的动态范围对应于该图像传感器用来积累电荷的降低的积累时间。7.根据权利要求6所述的方法，其中，来自该图像传感器的该行像素的该第一模拟信号的增益对于该第一结构光图像是增加的。8.根据权利要求1所述的方法，更包括在该第一帧期间的第一积累时间，投射具有第一强度的该结构光到该场景。9.根据权利要求8所述的方法，其中，该第一强度的期间实质上短于人类视觉暂留时间。10.根据权利要求8所述的方法，其中，该结构光使用具有至少两种不同颜色或图案的多个光源来产生。11.根据权利要求10所述的方法，更包括当使用两个不同的结构光源产生该结构光时，从该图像传感器产生不同的第一控制信号，以针对该两个不同的结构光源触发所述投射该结构光。12.根据权利要求8所述的方法，其中，与该结构光相关联的第一光谱实质上不同于与预期场景的第二正规图像相关联的第二光谱。13.根据权利要求12所述的方法，其中，该图像传感器对应于彩色图像传感器，该彩色图像传感器至少包括排列成马赛克图案的用于第一颜色的第一像素和用于第二颜色的第二像素，并且该第一光谱实质上集中在一种颜色。14.根据权利要求13所述的方法，其中，经由仅读出与实质上相应于该第一光谱的该种颜色的像素关联的选择的数字输出，以降低的空间分辨率撷取该第一结构光图像。15.根据权利要求8所述的方法，更包括在该第二帧期间的第二积累时间，投射具有第二强度的非结构光到该场景。16.根据权利要求15所述的方法，更包括从该图像传感器产生第一控制信号以触发所述投射该结构光，以及产生第二控制信号以触发所述投射该非结构光。17.根据权利要求15所述的方法，其中，该非结构光对应于宽带。18.根据权利要求15所述的方法，其中，使用窄带照明或荧光激发，产生该非结构光。19.根据权利要求15所述的方法，其中，该结构光的该第一强度实质上高于该非结构光的该第二强度。20.根据权利要求1所述的方法，其中，该第一结构光图像的第一积累时间实质上短于该正规图像的第二积累时间。21.根据权利要求1所述的方法，其中，用于该第一结构光图像的该图像传感器的该行像素之间的第一最小行复位时间实质上短于用于该正规图像的该图像传感器的该行像素之间的第二最小行复位时间。22.根据权利要求1所述的方法，其中，与提供给该一个或多个模拟-数字转换器来与输入的模拟电压进行比较的基准电压有关的稳定时间，用于该第一结构光图像比用于该正规图像来的短。23.根据权利要求1所述的方法，其中，该结构光在用于该第一结构光图像的该图像传感器的积累期间施加，并且该结构光与最后一行积累时间的开始实质上同时开始，并且与第一行读出期间的开始实质上同时结束。24.根据权利要求1所述的方法，更包括提供该第一结构光图像以衍生出该正规图像的深度或形状信息。25.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光影像是以较低的空间分辨率撷取。26.根据权利要求25所述的方法，其中，经由只保留选择的行像素并跳过该图像传感器的其余行像素，以降低的垂直分辨率来撷取该第一结构光图像。27.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以在垂直方向、水平方向或两者上的降低的图像区域来撷取。28.根据权利要求1所述的方法，其中，重复地产生及提供后续第一结构光图像和后续正规图像，以形成第一结构光图像序列及正规图像序列，其中，该第一结构光图像序列被用于衍生出用于观看的正规图像序列的深度或形状信息。29.根据权利要求1所述的方法，更包括：在第三帧期间撷取第二结构光图像，其中，该第三帧期间短于该第二帧期间，并且所述撷取该第二结构光图像包括：施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；曝露该行像素至非结构光，以形成来自该行像素的第三模拟信号；使用该一个或多个模拟-数字转换器，转换来自该行像素的该第三模拟信号成为用于该第二结构光图像的第三数字输出；以及其中，该正规图像在该第一结构光图像和该第二结构光图像之间、之前或之后撷取。30.根据权利要求1所述的方法，其中，重复所述撷取该第一结构光图像，以产生多个第一结构光图像。31.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：在第一帧期间使用该图像传感器撷取结构光图像，其中，所述撷取该结构光图像包括：施加第一复位信号至该像传感器，以复位该图像传感器的行像素；曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该结构光图像的第一数字输出；在第二帧期间使用该图像传感器撷取一组第一正规图像，其中，撷取一个第一正规图像包括：施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；曝露该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第二模拟信号成为用于一个第一正规图像的第二数字输出；以及在第三帧期间撷取一组第二正规图像，其中，撷取一个第二正规图像包括：施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；曝露该行像素至该非结构光，以形成来自该行像素的第三模拟信号；以及使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第三模拟信号成为用于一个第二正规图像的第三数字输出；以及组合该组第一正规图像和该组第二正规图像，以形成组合正规图像；以及其中，该结构光图像是在该组第一正规图像和该组第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间与第三帧期间的总和。32.根据权利要求31所述的方法，其中，该组第一正规图像组由M个第一正规图像组成，而该组第二正规图像组由N个第二正规图像组成，并且其中，M和N为正整数。33.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间长于或短于该第二正规图像的第二积累时间，以使该第一正规图像在该组合正规图像中的加权分别高于或低于该第二正规图像。34.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间近似于该第二正规图像的第二积累时间，以使该第一正规图像与该第二正规图像在该组合正规图像中具有相同的加权。35.根据权利要求32所述的方法，其中，该组第一正规图像和该组第二正规图像的组合是使用该组第一正规图像和该组第二正规图像的加权总和，以形成该组合正规图像，并且其中，该组第一正规图像和该组第二正规图像的总加权等于100％。36.根据权利要求32所述的方法，其中，M和N等于1，具有图像索引i的该第一正规图像与具有图像索引(i+2)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+1)的该结构光图像，并且，以及具有图像索引(i+2)的该第一正规图像与具有图像索引(i+4)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+3)的该结构光图像，其中，i是正整数。37.根据权利要求31所述的方法，更包括暂时存储该组第一正规图像或该组第二正规图像在整合于该照相机内的缓冲器中，以形成该组合正规图像。38.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以该图像传感器的降低的动态范围撷取。39.根据权利要求3...

【专利技术属性】
技术研发人员：王康怀，徐毅，G·威尔逊，伍晨愉，
申请(专利权)人：卡普索影像公司，
类型：发明
国别省市：美国,US