一种基于结构照明的彩色三维层析显微成像系统及方法技术方案

本发明专利技术提供一种基于结构照明的彩色三维层析显微成像系统及方法，包括照明光源、设置在照明光源光路上的分光棱镜、设置在分光棱镜的反射光路上的结构光产生器、设置在分光棱镜的透射光路上的透镜、设置在透镜光路上的分光镜、设置在分光镜上方光路上的显微物镜和载物台、设置在分光镜下方光路上的反光镜和筒镜、设置在筒镜后方的CCD相机；CCD相机为彩色CCD相机；照明光源为非相干单色LED光源或白光LED光源；结构光产生器为数字微镜器件DMD。本发明专利技术在HSV彩色空间进行图像处理，复原样品的彩色信息。与传统的RGB彩色空间相比，HSV彩色空间避免了R、G、B三个通道之间的相互串扰，可以更加准确地获得样品的真实彩色信息。

【技术实现步骤摘要】
一种基于结构照明的彩色三维层析显微成像系统及方法
本专利技术涉及一种结构照明显微系统，可以实现高速彩色三维层析成像，可广泛应用于生物学、医学、材料科学及微电子学等领域的研究。
技术介绍
以共聚焦、双光子显微为代表的点扫描显微成像技术具有三维层析成像能力，因而在生物医学和材料科学研究中得到了广泛的应用。点扫描技术通过扫描高度汇聚的激光焦点来获取物镜焦面处的二维图像，并通过轴向逐层移动扫描，获得样品的三维层析图像。随着各种新型荧光分子探针的出现，多色扫描显微技术使得人们可以同时观测活体细胞中多种蛋白质之间的相互作用，另外，多色荧光标记也提高了成像的对比度和解析度。目前市场上的高端彩色共聚焦显微镜都是基于多通道融合的原理，即使用多个波长的激发光源激发多色荧光标记的样品，用光电倍增管分别收集每个彩色通道(红，绿，蓝)的信号，然后合并为代表样品真实色彩的单幅彩色图像。虽然激光共聚焦扫描系统具有高空间分辨率和轴向切片的能力，但是逐点扫描完整个三维样品需要较长的时间，同时高强度的激光也会对活细胞和组织产生较强的光损伤和光毒性。与激光扫描成像方式不同，宽场成像使用面阵CCD或者CMOS相机，一次曝光就可以得到像面的全部二维信息，但是由于成像物镜有一定的景深，因此CCD相机得到的图像实际上是像面信息和非像面背景的叠加。正是由于非像面背景的影响，图像的信噪比和空间分辨率受到了很大的限制。因此普通的宽场成像无法实现三维层析成像。近年来出现的结构照明显微技术是一种宽场光学显微技术，但是它却具有良好的三维成像能力。结构照明显微技术使用高空间频率的结构光场对样品照明，通过图像处理算法能将宽场图像中的像面信息和非像面背景有效地分离。通过使用位移平台在物镜光轴方向逐层扫描，可以得到样品的三维层析图。与激光扫描技术相比，结构照明显微具有更快的成像速度和简单的结构，光损伤和光毒性效应也要小很多，更适用于活体生物组织的实时成像研究。但是目前大多数结构照明显微系统都使用单色的CCD或者CMOS相机采集图像，无法得到样品的彩色信息。然而对于一些研究领域而言(例如表面形貌测量，材料科学等领域)，复原样品的彩色信息是非常重要的。虽然采用类似彩色共聚焦显微镜的多波长激发多色荧光标记样品和多通道融合的原理，也可以获得彩色层析图，但成像速度也受到限制，而且得到的也非真实彩色，只是多色合成的结果。
技术实现思路
针对目前结构照明显微无法快速获得样品色彩信息的问题，本专利技术提出了一种基于结构照明的彩色三维层析显微成像系统及方法。本专利技术的技术解决方案是：一种基于结构照明的彩色三维层析显微成像系统，包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10，其特殊之处在于：所述CCD相机10为彩色CCD相机；所述照明光源1为非相干单色LED光源或白光LED光源；所述结构光产生器3为数字微镜器件DMD。上述分光镜5为长波通分光镜。上述分光镜5为50:50宽带分束器。一种基于结构照明的彩色三维层析显微成像方法，其特殊之处在于，包括以下步骤：1)产生结构照明光场：由单色LED或白光LED照明，通过数字微镜器件DMD产生三个空间方向相同、相位分别为00、1200、2400的结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；2)彩色CCD相机采集图像：对应于三个相位的结构照明光场，彩色CCD相机分别采集得到三幅彩色二维图像I0(RGB)、I120(RGB)和I240(RGB)；3)图像处理：3.1)将步骤2)中采集的三幅不同相位的彩色二维图像I0(RGB)、I120(RGB)和I240(RGB)，按照下面的转换公式(1)从RGB彩色空间转换到HSV彩色空间，得到在HSV彩色空间的三幅不同相位的二维图像：I0(HSV)、I120(HSV)和I240(HSV)，其中max＝max{R,G,B},min＝min{R,G,B}；V＝max3.2)根据下面公式(2)计算出H、S、V三个通道的宽场图Iwide(i)；根据公式(3)计算出H、S、V三个通道的层析图Iz(i)，其中i＝H,S,V；3.3)将步骤3.2)中得到的H、S、V三个通道的层析图合成并转换到RGB彩色空间，得到Iz(RGB)；将三个通道的宽场图合成并转换到RGB彩色空间，得到Iwide(RGB)；从HSV彩色空间转换到RGB彩色空间，按照下面的转换公式(4)计算；其中本部分内容是计算R、G、B，和步骤3.3得到Iz、Iwide之间没有关系。3.4)将步骤3.3)中得到的Iz(RGB)归一化得到Iz_Norm(RGB)，并和Iwide(RGB)相乘，得到这一层的彩色二维层析图Iz_result(RGB)；4)根据样品的厚度多次重复步骤2)和3)，得到样品Z方向一系列的彩色二维层析图，最终重构出样品完整的彩色三维图像Iresult(RGB)。上述单色LED光源为非相干单色LED光源。上述单色LED光源为波长450nm的蓝光LED光源。本专利技术的优点为：1、本专利技术在HSV彩色空间进行图像处理，复原样品的彩色信息。与传统的RGB彩色空间相比，HSV彩色空间避免了R、G、B三个通道之间的相互串扰，可以更加准确地获得样品的真实彩色信息。HSV(色调、饱和度、亮度)彩色空间相比RGB(红、绿、蓝)彩色空间更接近于人们的经验和对颜色的感知，它是由A.R.Smith在1978年创建的。色调H：用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°，品红为300°；饱和度S：表示颜色的纯净度，为到V轴的距离，取值范围为0.0～1.0；亮度V：取值范围为0.0(黑色)～1.0(白色)，该轴代表了所有的灰度级。2、目前的结构照明显微层析算法都会损失图像的动态范围，而动态范围的损失会影响到图像彩色复原的效果。本专利技术通过将归一化的层析图与宽场图相乘，可以使得到的彩色复原图像的灰度级更加饱满，彩色效果更加逼真。3、能够直接从彩色CCD得到的图像中复原样品真实的色彩信息，相比于使用单色CCD处理然后进行通道融合，结果更加准确，装置更加简单。4、本专利技术既可以使用特定波长的LED来激发荧光，得到样品所标记荧光的颜色，也可以使用白光LED来照明反射式样品，而获得样品的全彩色信息。附图说明图1为彩色结构照明显微成像系统光路图；图2为技术解决方案3的流程图；图3为植物花粉微粒荧光显微的三维重建图像，所得颜色为蓝光LED光照明下的花粉自发荧光的颜色，其中图3(a)为花粉的彩色三维重建图像，图3(b)为传统结构照明显微拍摄的单色三维重建图像(作为对比)；图4为不同颜色、不同形状花粉微粒的三维重建图像；其中图4(a)为彩色三维重建图像，图4(b)为传统结构照明显微拍摄的单色三维重建图像(作为对比)；图5为微电路芯片的三维重建图像；其中图5(a)为三维彩色重建图像，所得颜色为白光LED照明下的芯片本身反射光的颜色，图5(b)为传统结构本文档来自技高网...

【技术保护点】
一种基于结构照明的彩色三维层析显微成像系统，包括照明光源(1)、设置在照明光源光路上的分光棱镜(2)、设置在分光棱镜(2)的反射光路上的结构光产生器(3)、设置在分光棱镜(2)的透射光路上的透镜(4)、设置在透镜光路上的分光镜(5)、设置在分光镜(5)上方光路上的显微物镜(6)和载物台(7)、设置在分光镜(5)下方光路上的反光镜(8)和筒镜(9)、设置在筒镜后方的CCD相机(10)，其特征在于：所述CCD相机(10)为彩色CCD相机；所述照明光源(1)为非相干单色LED光源或白光LED光源；所述结构光产生器(3)为数字微镜器件DMD。

【技术特征摘要】
1.一种基于结构照明的彩色三维层析显微成像系统，包括照明光源(1)、设置在照明光源光路上的分光棱镜(2)、设置在分光棱镜(2)的反射光路上的结构光产生器(3)、设置在分光棱镜(2)的透射光路上的透镜(4)、设置在透镜光路上的分光镜(5)、设置在分光镜(5)上方光路上的显微物镜(6)和载物台(7)、设置在分光镜(5)下方光路上的反光镜(8)和筒镜(9)、设置在筒镜后方的CCD相机(10)，其特征在于：所述CCD相机(10)为彩色CCD相机；所述照明光源(1)为非相干单色LED光源或白光LED光源；所述结构光产生器(3)为数字微镜器件DMD；所述分光镜(5)为长波通分光镜或者50:50宽带分束器；该系统的成像方法包括以下步骤：1)产生结构照明光场：由单色LED或白光LED照明，通过数字微镜器件DMD产生三个空间方向相同、相位分别为0°、120°、240°的结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；2)彩色CCD相机采集图像：对应于三个相位的结构照明光场，彩色CCD相机分别采集得到三幅彩色二维图像I0(RGB)、I120(RGB)和I240(RGB)；3)图像处理：3.1)将步骤2)中采集的三幅不同相位的彩色二维图像I0(RGB)、I120(RGB)和I240(RGB)，按照下面的转换公式(1)从RGB彩色空间转换到HSV彩色空间，得到在HSV彩色空间的三幅不...

【专利技术属性】
技术研发人员：雷铭，姚保利，千佳，但旦，周兴，杨延龙，严绍辉，闵俊伟，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西;61