一种显微镜及其控制方法技术

本申请揭示了一种显微镜及其控制方法，该方法包括如下步骤：捕获观察体的图像；将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；将合成的图像投影显示在目镜中。本申请可实时捕捉显微图像，得到AI分析信息，并将AI处理的结果图像及提示信息与真实图像实现重合，通过AR投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息。

A microscope and its control method

【技术实现步骤摘要】
一种显微镜及其控制方法
本专利技术涉及生物显微镜领域，特别涉及一种显微镜及其控制方法。
技术介绍
显微镜(microscope)是一种借助物理方法产生物体放大影象的仪器。最早专利技术于16世纪晚期，至今(2001年)已有406年的历史。现在显微镜技术是光学仪器的一个重要组成部分，成为了一种极为重要的科学仪器，广泛地用于生物、医疗、化学、电子、半导体、光学制造、冶金、酿造等各种科研活动，随着技术的成熟，显微镜结构也发展出了多种形式、结构及成像方式，对人类的发展做出了巨大而卓越的贡献。医学显微检查是检验人体器官、组织或细胞中的异常改变的细胞形态学方法。在细胞形态学检验过程中，采集患者的标本，用各种染色方法制成样片，然后使用显微镜观察病变。但目前显微镜的镜检是人工操作，主要工作是通过显微镜对标本进行观察。目前，许多单位已经拥有数码显微镜，即电子摄像头采集显微图像，然后在屏幕上观察，这样可以减轻人工观察所造成的疲劳。然而，在屏幕上所观察到的显微图像与显微镜目测到的图像是存在差异的。同时，当被分析的标本数量过多时，操作人员的工作强度、疲劳强度会大大增加，从而会影响观察、分析的结果。随着人工智能技术的发展，将人工智能自动判断与人工直接观察图像相结合，不仅能减轻操作人员工作强度，又能提高检测速度与质量。作为一种潜在的解决方案，人工智能的最新进展(特别是深度学习)，已经证明了自动化医学图像分析的能力与人类专家的经验相当。然而，现有的深度学习处理方法中普遍使用普通的生物显微镜，但是深度学习中需要全数字化扫描标本，因此需要投入大量的全自动扫描仪。
技术实现思路
为解决上述问题，本申请提供了一种显微镜及其控制方法，可实时捕捉显微图像，得到AI(ArtificialIntelligence，人工智能)分析信息，并将AI处理的结果图像及提示信息与真实图像实现重合，通过AR(增强现实(AugmentedReality)投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息，使观察过程更为直接，从而实现生物显微镜在使用过程中的高实时性。达到减轻操作人员的工作强度、提高检测速度和检测质量之目的。本申请可实现令操作人员正确、快速判断标本的微观结构和获得较佳的成像效果，提供沉浸感更强的用户体验。本申请提供一种显微镜控制方法，包括如下步骤：捕获观察体的图像；将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；将合成的图像投影显示在目镜中。优选地，其中使用微型显示器将合成图像的数字信息叠加到原始光路中。优选地，其中将抽取的AI分析信息也合成到合成的图像中。优选地，其中显微镜包括两个光分路器。优选地，其中两个分光器分别用于图像获取和图像投影。本申请还请求保护一种显微镜，包括如下部件：照明系统，显微镜成像模块、图像采集模块、人工智能分析模块、增强现实处理模块、AR投影显示模块以及观察目镜；其中，照明系统，用于提供合适的光源，产生入射光；显微成像模块，放大微观图像，可形成入射光路和出射光路；图像采集模块3，设置在显微成像模块2的入射光路上，用于捕获图像；人工智能AI分析模块4，将获得的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息，并将解码的图像以及AI分析信息反馈到增强现实AR处理模块；增强现实AR处理模块，从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；AR投影显示模块，用于将增强现实处理模块合成的图像投影显示在目镜中。优选地，其中AR投影显示模块为微型显示器，将合成图像的数字信息叠加到原始光路中。优选地，其中显微镜还包括一个或两个光分路器。优选地，其中显微镜在包括一个光分路器时，图像采集模块和AR投影显示模块设置在光分路器的同一侧或者两侧。优选地，其中显微镜包括两个光分路器时，图像采集模块和AR投影显示模块分别设置在光分路器一和光分路器二上。通过本申请的技术方案，可获得如下技术效果：1、实时捕捉标本的显微图像，得到人工智能模块的分析信息，并将AI处理的结果图像及提示信息与真实图像实现重合，通过AR投影至显微镜视野中，使得操作人员能够在显微镜视野中同时观察到显微图像和AI分析处理结果和提示信息，使观察过程更为直接，从而实现生物显微镜在使用过程中的高实时性。达到减轻操作人员的工作强度、提高检测速度和检测质量之目的。2、本申请的实施方案，由于采用两个硬件模块，可以灵活地安排图像采集模块和AR投影显示模块的设置，从而根据需要来优化现实增强显微镜的结构，以便保留更多的操作空间。3、本申请能够保证图像获取装置和图像投影装置独立进行相应的处理步骤，使得图像获取光路和图像投影光路的调试更为方便，同时避免因只设置一个分光镜来进行图像获取和图像投影对彼此操作产生的干扰因素，使投影图像与实际图像能够更好的重合，从而有利于提升成像精度，保证最终处理结果和人工观测的精确性。4、由于系统的模块化设计，AR可以很容易地改装到大多数普通生物显微镜上。附图说明图1是本申请显微镜一实施例的功能模块示意图图2是本申请显微镜一实施例的光路图；图3是本申请显微镜一实施例的立体结构示意图；图4是本申请显微镜控制方法的流程图。具体实施方式下面将结合本申请实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在本申请的一些实施例中，在生物显微镜视野中直接分析各种细胞形态学标本，通过AI技术对形态学进行分析并生成相应的AI分析信息，之后在通过AR技术将AI分析信息直接整合投影至生物显微镜的显微镜视野中，将AR技术整合到生物显微镜中，达到了能够直接在显微镜视野中同时观察到显微数字图像和AI分析信息，整个观察过程中不需要来回切换视野，使得显微镜的观察过程更为简洁和直接，从而实现显微镜在使用过程中的高实时性。本申请的显微镜如图1所示，包括：照明系统1，显微镜成像模块2、图像采集模块3、人工智能分析模块4、增强现实处理模块5、AR投影显示模块6以及观察目镜7。其中各个模块的工作方式如下：照明系统1，用于提供合适的光源，产生入射光。显微成像模块2，放大微观图像，可形成入射光路和出射光路。显微成像模块2可为物镜。在图2中以物镜2示出。图像采集模块3，设置在显微成像模块2的入射光路上，用于捕获图像。其中图像采集模块3优选的是一个数码摄像头，在捕获图像的过程中，确保样品处于对焦状态，进一步的，捕本文档来自技高网...

【技术保护点】
1.一种显微镜控制方法，包括如下步骤：/n捕获观察体的图像；/n将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；/n从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；/n将合成的图像投影显示在目镜中。/n

【技术特征摘要】
1.一种显微镜控制方法，包括如下步骤：
捕获观察体的图像；
将获得的观察体的图像解码，使用人工智能算法对解码的图像进行识别和标记，获得AI分析信息；
从解码的图像中分解出现实场景和观察体，构建与现实场景相对应的三维虚拟现实场景，并将三维虚拟现实场景与观察体进行图像合成；
将合成的图像投影显示在目镜中。


2.如权利要求1所述的显微镜控制方法，其中使用微型显示器将合成图像的数字信息叠加到原始光路中。


3.如权利要求1所述的显微镜控制方法，其中将抽取的AI分析信息也合成到合成的图像中。


4.如权利要求1所述的显微镜控制方法，其中显微镜包括两个光分路器。


5.如权利要求4所述的显微镜控制方法，其中两个分光器分别用于图像获取和图像投影。


6.一种显微镜，包括如下部件：照明系统，显微镜成像模块、图像采集模块、人工智能分析模块、增强现实处理模块、AR投影显示模块以及观察目镜；其中，
照明系统，用于提供合适的光源，产生入射光；
显微成像模块，放大微观图像，可形成...

【专利技术属性】
技术研发人员：刘杰，杨继东，张志强，
申请(专利权)人：刘杰，
类型：发明
国别省市：北京;11