一种集成在图像传感器中提高细胞分辨率的系统与方法技术方案

本发明专利技术公开了一种集成在图像传感器中提高细胞分辨率的系统与方法，通过过采样技术得到具有细胞亚像素信息的超分辨率模糊图像，再通过流水处理乘加电路实现时域反卷积，还原得到图像质量较好的超分辨率图像。本发明专利技术有效解决现有超分辨率重构算法中物体运动函数复杂和硬件实现存储空间大而导致的集成度低等问题，在像素尺寸相同的情况下，本发明专利技术比传统TDI图像传感器采集得到的细胞图像具有更高的分辨率。此外，本发明专利技术有效提高了光流体显微镜系统的集成度。

【技术实现步骤摘要】
一种集成在图像传感器中提高细胞分辨率的系统与方法
本专利技术属于应用于光流体显微镜(OptofluidicMicroscope，OFM)中时间延迟积分(TimeDelayIntegration，TDI)型金属氧化物半导体(ComplementaryMetalOxideSemiconductor，CMOS)图像传感器的
，具体涉及到一种集成在TDICMOS图像传感器芯片内部，利用过采样累加技术和时域反卷积技术采集具有细胞亚像素位移信息并还原为超分辨率细胞图像的系统，本专利技术还涉及采用上述系统提高细胞图像分辨率的方法。
技术介绍
光流体显微镜的出现和迅速发展克服了传统光学显微镜核心部件(物镜)体积较大和操作复杂等因素的限制使得临床医学诊断在小型诊所和个人家庭得到普及成为了可能。OFM具有微型化、低功耗、低成本等优点，目前这种芯片级的“显微镜”已经成为了生物、化学、医学、流体力学、微电子学、材料学、机械学等众多学科研究的热点问题。现阶段，CMOS图像传感器像素尺寸与人体90％以上的细胞大小处于同一量级，因此通过OFM系统直接采集到的细胞图像分辨率非常低，难以满足医疗诊断和医学研究的需求。因此提高图像分辨率是OFM系统的研究重点之一。已有提高图像分辨率的方法旨在利用低分辨率图像通过信号估计理论来生成高分辨率图像，主要分为两个方面：基于多帧图像的超分辨率重构算法和基于单帧的超分辨率重构算法。其中，基于单帧图像的超分辨率算法核心就是对单帧图像进行插值重构，包括近邻插值、线性插值、双三次插值、样条插值等。基于单帧图像的超分辨率算法虽然结构简单，便于集成且满足实时处理，但只能在一定程度上提高视觉效果，并不能获得包含细胞的更多真实信息。而基于多帧图像的超分辨率算法则是通过多次采集在微通道运动的同一细胞，获得具有亚像素位移的细胞信息，再根据物体运动函数将多帧图像信息整合得到一幅单独的超分辨率图像，如迭代反投影算法、凸集投影算法，最大后验概率算法等。基于多帧图像的超分辨率算法是目前主流的分辨率提高算法，然而该方法的分辨率提高效果取决于追踪目标和运动函数。为了满足市场应用，提高OFM的集成度就要求将基于多帧图像的超分辨率算法集成在芯片内部。但是，一方面需要存储大量图像信息，不可能实现细胞图像的实时还原。另一方面，由于追踪目标和运动函数的复杂度较高，还原算法也非常复杂，使得在OFM系统的应用中还须配有一个微处理器芯片来支持该算法。时间延时积分型图像传感器不同于一般的线阵型图像传感器，它可实现多行像素对移动中的同一物体进行多次曝光，并将每次曝光结果进行累加。TDI图像传感器的工作方式等效延长了像素对物体的曝光时间，因此可以大幅提升传感器的信噪比和灵敏度，非常适合应用在低照度，物体运动速度较快的成像环境中，但目前市场上还没有具有可提高分辨率的TDI图像传感器。基于以上分析，现有的图像分辨率提高算法并不符合OFM系统低成本和芯片化的市场需求与发展。
技术实现思路
本专利技术的目的在于提供一种集成在图像传感器中提高细胞分辨率的系统与方法，有效解决现有超分辨率重构算法中物体运动函数复杂和硬件实现存储空间大而导致的集成度低等问题。本专利技术的另一目的是提供采用上述系统提高细胞图像分辨率的方法。本专利技术的技术方案是：一种集成在图像传感器中提高细胞分辨率的系统，包括传统列并行TDICMOS图像传感器、流速检测电路、可实现10-bit的流水处理乘加电路、寄存器组一、寄存器组二和寄存器组三；所述传统列并行TDICMOS图像传感器包括时序控制电路、列电路和像素阵列，传统列并行TDICMOS图像传感器采集光信号并将其转化为数字信号，所述寄存器组一用来存储固定大小的数字图像序列以满足系统对于实时采集的要求；所述流速检测电路完成采样频率检测与调整；流水处理乘加电路与寄存器组二，寄存器组三完成图像还原。一种集成在图像传感器中提高细胞分辨率的方法，包括以下步骤：步骤1：通过流速检测电路进行速度检测，首先，在微流体轨道增加黑白块用来检测细胞液体流动速度，通过传统列并行TDICMOS图像传感器可以获得黑白块图像序列，通过流速检测电路判断图像数字结果，编码后反馈给时序控制电路以实现对传统列并行TDICMOS图像传感器采样频率的调整，经过采样频率调整后，传统列并行TDICMOS图像传感器采样速度与细胞流动速度达到匹配。步骤2：按照步骤1得到的采样频率在传统列并行TDICMOS图像传感器电路中就可以采集到在细胞运动方向上具有小于像素尺寸的细胞真实图像信息，将得到的退化后包含亚像素信息的模糊细胞图像存储在寄存器组一中。步骤3：当寄存器组一存储的细胞图像满足固定阵列大小时，将寄存器组一中数据转移到寄存器组二中，以满足寄存器组一能够流水处理并存储采集得到退化后包含亚像素信息的模糊细胞图像。步骤4：通过预存在寄存器组三中的还原矩阵和寄存器组二中的包含亚像素信息的模糊细胞图像在流水处理乘加电路中完成矩阵乘还原得到清晰的超分辨率图像。步骤5：由于传统列并行TDICMOS图像传感器累加开始和结束的过程中存在与累加级数相关的无效信息，因此在图像输出之前需要去掉无效的“黑边”图像再输出，即实际输出图像的行数小于还原后的清晰图像。步骤6：在进行步骤3，4，5时，传统列并行TDICMOS图像传感器继续按照步骤2所述采集细胞图像，当采集的包含亚像素信息的模糊细胞图像数据再次满足寄存器组一固定阵列大小时，重复步骤3，4，5，直至停止图像采集。步骤7：将分段还原得到的各个分辨率的细胞图像拼接，可直接输出一幅完成的细胞图像。进一步地，所述步骤1的具体做法为：在微流体轨道增加黑白相间单元用来检测细胞液体流动速度，每个单元块大小与实际像素尺寸大小成1:1比例，黑色单元实际不透光，通过传统列并行TDICMOS图像传感器可以获得黑白相间单元的数字图像结果；当采样速度与测试目标运动速度完全相同时，列转换数字结果y(t)应为：y(t)＝[0；255；0；255；…0；255]当采样速度与测试目标运动速度比2：1时，列转换数字结果y(t)均128；当采样速度与测试目标运动速度比达到4：1时，列转换数字结果y(t)为：y(t)＝[159；96；64；64；96；159；191；191]因此，流速检测电路中的算法主要是根据列转换数字结果反馈调节时序控制电路的曝光速度和采样速度，使得速度达到匹配。进一步地，所述步骤2的具体做法为：整个步骤2的采集过程类似于矩阵卷积过程，用离散数学模型可以表示为：其中，x(t)表示被拍摄的真实细胞图像，hk(t)表示过采样采集过程中的退化矩阵，yk(t)表示累加后直接输出的图像，也就是退化后包含亚像素信息的模糊细胞图像；当传统列并行TDICMOS图像传感器采样速度与细胞流动速度严格匹配时，图像退化矩阵hk(t)是已知量。进一步地，所述步骤4的具体做法为：通过已知的退化矩阵hk(t)和退化后包含亚像素信息本文档来自技高网...

【技术保护点】
1.一种集成在图像传感器中提高细胞分辨率的系统，其特征在于，包括传统列并行TDICMOS图像传感器、流速检测电路、可实现10-bit的流水处理乘加电路、寄存器组一、寄存器组二和寄存器组三；所述传统列并行TDI CMOS图像传感器包括时序控制电路、列电路和像素阵列，传统列并行TDI CMOS图像传感器采集光信号并将其转化为数字信号，所述寄存器组一用来存储固定大小的数字图像序列以满足系统对于实时采集的要求；所述流速检测电路完成采样频率检测与调整；流水处理乘加电路与寄存器组二，寄存器组三完成图像还原。/n

【技术特征摘要】
1.一种集成在图像传感器中提高细胞分辨率的系统，其特征在于，包括传统列并行TDICMOS图像传感器、流速检测电路、可实现10-bit的流水处理乘加电路、寄存器组一、寄存器组二和寄存器组三；所述传统列并行TDICMOS图像传感器包括时序控制电路、列电路和像素阵列，传统列并行TDICMOS图像传感器采集光信号并将其转化为数字信号，所述寄存器组一用来存储固定大小的数字图像序列以满足系统对于实时采集的要求；所述流速检测电路完成采样频率检测与调整；流水处理乘加电路与寄存器组二，寄存器组三完成图像还原。


2.一种集成在图像传感器中提高细胞分辨率的方法，其特征在于，包括以下步骤：
步骤1：通过流速检测电路进行速度检测，首先，在微流体轨道增加黑白块用来检测细胞液体流动速度，通过传统列并行TDICMOS图像传感器可以获得黑白块图像序列，通过流速检测电路判断图像数字结果，编码后反馈给时序控制电路以实现对传统列并行TDICMOS图像传感器采样频率的调整，经过采样频率调整后，传统列并行TDICMOS图像传感器采样速度与细胞流动速度达到匹配；
步骤2：按照步骤1得到的采样频率在传统列并行TDICMOS图像传感器电路中就可以采集到在细胞运动方向上具有小于像素尺寸的细胞真实图像信息，将得到的退化后包含亚像素信息的模糊细胞图像存储在寄存器组一中；
步骤3：当寄存器组一存储的细胞图像满足固定阵列大小时，将寄存器组一中数据转移到寄存器组二中，以满足寄存器组一能够流水处理并存储采集得到退化后包含亚像素信息的模糊细胞图像；
步骤4：通过预存在寄存器组三中的还原矩阵和寄存器组二中的包含亚像素信息的模糊细胞图像在流水处理乘加电路中完成矩阵乘还原得到清晰的超分辨率图像；
步骤5：由于传统列并行TDICMOS图像传感器累加开始和结束的过程中存在与累加级数相关的无效信息，因此在图像输出之前需要去掉无效的“黑边”图像再输出，即实际输出图像的行数小于还原后的清晰图像；
步骤6：在进行步骤3，4，5时，传统列并行TDICMOS图像传感器继续按照步骤2所述采集细胞图像，当采集的包含亚像素信息的模糊细胞图像数据再次满足寄存器组一固定阵列大小时，重复步...

【专利技术属性】
技术研发人员：吕楠，余宁梅，张鹤玖，王凯，卢思汀，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61