用于诊断耳部病理的耳镜图像分析的系统和方法技术方案

本发明专利技术公开了一种系统和方法，所述系统和方法通过使用高分辨率耳镜图像来检测宽泛范围的耳膜异常以及将所述耳膜的所述状况报告为“正常”或“异常”。

The system and method of otoscopy image analysis for diagnosing ear pathology

【技术实现步骤摘要】
【国外来华专利技术】用于诊断耳部病理的耳镜图像分析的系统和方法相关申请的交叉引用本专利申请要求于2016年9月2日提交的美国临时专利申请序列号62/382,914的优先权和权益，该专利申请全文以引用方式并入本文并且构成本专利申请的一部分。
技术介绍
耳部感染，特别是中耳的急性感染(急性中耳炎)，是最常见的儿童期疾病，仅在美国，每年医生就诊约为2000万次。通过开发评估耳膜的客观方法，诊断的主观性导致需要解决的关键差距以改善诊断准确性。文献中的少数先前研究集中在基于计算机的耳膜分析以辅助耳部病理的客观诊断，但是这些研究仅限于评估中耳炎，同时排除其他重要的耳部病理[1至4]。开发更具包容性的客观方法来识别耳膜异常将有助于临床医生诊断或排除临床耳镜检查中可能微妙的病理(例如，中耳液)。目前耳部病理诊断以及现有软件工具的工作如下：和其同事开发的计算机图像分析软件的早期研究尝试专门针对儿科病例的中耳炎[1]。该研究的作者通过使用不同的监督分类器研究了两种颜色描述符的性能：HSV颜色直方图和HSV颜色聚合向量。他们的实验表明，HSV颜色聚合向量表现出比经典颜色直方图更好的性能。然而，作者还得出结论，单独的颜色信息不足以识别中耳炎病例。在最近的一项研究中，Kuruvilla和其同事开发了一个词汇和语法系统，以便将给定的耳膜图像分类为急性中耳炎(AOM)、中耳炎有积液(OME)或无积液(NOE)[2]。该算法以分段步骤开始，该步骤旨在定位耳膜，随后是减少局部照明问题影响的步骤。接下来，提取若干代表性特征以表示临床特征，诸如耳膜的鼓胀或半透明，或耳膜后面的气泡的存在。最后，使用基于分层规则的决策树对图像进行分类。Shie和其同事提出了另一种检测中耳炎的方法[3]。为了将鼓膜与输入耳镜图像分离，他们引入了改进的两步主动轮廓分割方法。然后该算法提取了几个颜色和纹理特征，如Gabor、梯度直方图和网格颜色矩。这些特征中的每一个被单独用于训练不同的支持向量机(SVM)分类器。最后，SVM分类器的预测概率被Adaboost用作最终分类的特征。2015年，Shie和其同事使用转移学习范例进行中耳炎检测[4]。作者从ImageNet图像中提取了无监督码本。使用转移学习的特征向量，这是通过使用码本编码中耳炎图像获得的，他们采用监督学习从标记的中耳炎实例中学习分类器。最后，他们将分类结果与一些启发式特征(在[3]中发表)的结果融合在一起，并且改善了它们的检测性能。虽然数据库的内容和大小的变化以及这些先前研究的重点使得难以客观地比较性能，但是这些方法的准确度范围为73％[1]至89％[2]。最近，进行了一项研究，以检查使用手持式视频耳镜系统收集的数字图像的专家的诊断准确性(参见A.C.Moberly、M.Zhang、L.Yu、M.Gurcan、C.Senaras、T.N.Teknos等人，“Digitalotoscopyversusmicroscopy:Howcorrectandconfidentareearexpertsintheirdiagnoses？”JournalofTelemedicineandTelecare，印刷号1357633X17708531，2017年，该文献以引用方式全部并入本文)。该研究评估了12位耳科医生(接受耳科疾病研究员培训的耳鼻喉科医师)从数据库中检查210个耳部图像的子集的诊断准确性、评估者间一致性和置信水平。这些耳科医生将图像诊断为正常或七种类型的病理。与具有客观评估的耳显微镜的金标准相比，这些医生诊断耳部病理的总体准确率仅为75.6％。该研究的结果进一步支持了对客观计算机辅助图像分析(CAIA)方法的需求，诸如本文所述的方法，以帮助临床医生进行更准确的耳部诊断。识别耳膜异常的客观方法将有助于临床医生制定或排除目前基于主观信息的诊断，特别是对于临床耳镜检查可能微妙的病理。尽管一些先前的方法[1至4]是有希望的，特别是对于中耳炎的客观评估，但是目前它们均无法识别多于一类的耳膜异常。因此，其他临床相关的异常(例如，鼓室硬化或鼓膜回缩)将被这些先前的方法检测为“中耳炎”或“正常”。由此导致的错误分类可能导致这些病理的临床管理不当。因此，需要克服的是本领域的挑战的系统和方法，其中一些如上所述。具体地，需要一种及时且准确的方法和系统来分析耳镜检查图像，以便适当地识别和分类多种耳部病理中的任一种。
技术实现思路
在本文中我们公开并且描述了新颖的自动耳镜检查图像分析系统和方法。目前，该系统和方法被设计成检测超过14种耳膜异常，并且将耳膜的状况报告为“正常”或“异常”以及异常的类型(参见图1A至图1E)。使用高分辨率成人和儿科图像的集中数据库进行了概念验证，这些图像从美国俄亥俄州立大学(OSU)和全国儿童医院(NCH)以及初级保健机构(由Taj-Schaal博士)的耳、鼻和喉(ENT)诊所经由耳镜捕获。与先前的研究不同，本专利技术所公开的方法旨在使用一组混合特征：1)临床动机的耳膜特征(CMEF)，其被设计用于根据临床知识表征症状，以及2)计算机视觉文献中的几种现有颜色、纹理和形状特征一起。计算机视觉特征包括梯度直方图和网格颜色矩特征，研究发现这些特征在先前的中耳炎检测研究中有用[3、4]，以及MPEG7描述符，研究已经证明了它们在基于内容的图像检索中的稳健性。尽管在不同的生物医学图像处理问题中分析了MPEG7描述符[5]，但这是第一项评估MPEG7描述符对鼓膜图像有效性的研究。相似地，本研究定义了一组新的临床动机耳膜特征，以识别不同类型的异常(如鼓膜造孔管、耳垢和/或穿孔的存在)并且将其整合到框架中。最后，最先进的监督集成学习分类器、模糊堆叠泛化(FSG)中的一个创建了融合空间，该融合空间由基于个体特征的多个基底层分类器的决策构成[6]。因此，而不是依赖于每个特征的个体强度；这些特征的多样性和协作改善了整体分类性能。本文公开了用于对图像中的鼓膜病理进行分类的方法。一种方法包括使用图像捕获设备(例如，高分辨率数字耳镜)捕获鼓膜的一个或多个图像(例如，耳膜)；对所捕获的一个或多个图像执行预处理；以及使用所捕获的一个或多个图像对鼓膜的病理进行分类。本文还公开了用于对图像中的鼓膜病理进行分类的系统。一种此类系统包括图像捕获设备(例如，高分辨率数字耳镜)；存储器；和处理器，该处理器与存储器通信，其中处理器执行存储在存储器中的计算机可读指令，这些指令使处理器；对所捕获的一个或多个图像执行预处理；以及使用所捕获的一个或多个图像对鼓膜的病理进行分类。本公开的另一方面包括一种非暂态计算机程序产品，该非暂态计算机程序产品包括存储在计算机可读介质上的计算机可执行代码段，所述计算机可执行代码段用于执行对图像中的鼓膜病理进行分类的方法，包括：对鼓膜(例如，耳膜)的一个或多个图像执行预处理；以及使用这些图像对鼓膜的病理进行分类。另外的优点将在下面的描述中部分地阐述或者可通过实践来获知。这些优点将通过所附权利要求书中具体指出的元素和组合来实现和获得。应当理解，上述一般性描述和以下详细描述都仅仅出于示例性和说明性目的，而不是限制性的，如声明中所述。附图说明并入并构成本说明书一部分的附图示出了实施方案，并且连同描述一起用来解释所述方法和系统的原理：图1A至图1E是几种异本文档来自技高网...

【技术保护点】
1.一种对图像中的鼓膜病理进行分类的方法，包括：使用图像捕获设备捕获鼓膜的一个或多个图像；对所述捕获的一个或多个图像执行预处理；以及使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类。

【技术特征摘要】
【国外来华专利技术】2016.09.02 US 62/382,9141.一种对图像中的鼓膜病理进行分类的方法，包括：使用图像捕获设备捕获鼓膜的一个或多个图像；对所述捕获的一个或多个图像执行预处理；以及使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类。2.根据权利要求1所述的方法，其中使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类包括从所述一个或多个图像中提取计算机视觉特征(CVF)；从所述一个或多个图像中提取具有临床意义的耳膜特征(CMEF)；以及使用所述CVF和CMEF信息对所述鼓膜的病理进行分类，所述信息通过双层堆叠泛化算法融合，所述算法侧重于互补特征而非强特征。3.根据权利要求2所述的方法，其中所述预处理步骤包括以下中的一者或多者：减少基于传感器的问题，选择所述一个或多个图像中的感兴趣区域，以及检测光反射和创建减少这些眩光效果的所述一个或多个图像的副本。4.根据权利要求2或3所述的方法，其中从所述一个或多个图像中提取所述CVF包括使用视觉MPEG-7描述符、梯度直方图和网格颜色矩特征中的一个或多个从所述一个或多个图像中提取颜色、纹理和形状信息。5.根据权利要求2至4中任一项所述的方法，其中所述CMEF从所述一个或多个图像中识别异常和正常的所述一些线索。6.根据权利要求2至5中任一项所述的方法，其中CMEF包括光锥的位置、锤骨的可见度、膜的突起、鼓膜造孔管的存在或蜡的存在。7.根据权利要求2至6中任一项所述的方法，其中所述双层堆叠泛化算法包括使用模糊堆叠泛化(FSG)分类器。8.根据权利要求1所述的方法，其中使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类包括使用对所述自动识别异常的深度学习。9.根据权利要求8所述的方法，其中所述深度学习包括深度学习网络，包括InceptionV3或ResNet。10.根据权利要求1所述的方法，其中使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类包括使用基于内容的图像检索(CBIR)将所述一个或多个图像与图像库进行比较以识别异常。11.根据权利要求8至10中任一项所述的方法，其中所述异常包括急性中耳炎(AOM)、中耳积液(无感染的液体)、胆脂瘤(耳中常见的破坏性皮肤囊肿)、耳膜穿孔和耳膜回缩与正常的一种或多种。12.根据权利要求1至11中任一项所述的方法，其中预处理包括生成复合图像，其中从所述复合图像中去除模糊、蜡、眩光和毛发。13.根据权利要求1至12中任一项所述的方法，其中所述图像捕获设备捕获所述鼓膜的一个或多个静止图像或捕获所述鼓膜的视频。14.根据权利要求13所述的方法，其中所述图像捕获设备包括高分辨率耳镜。15.一种用于对图像中的鼓膜病理进行分类的系统，包括：图像捕获设备，其中所述图像捕获设备捕获鼓膜的一个或多个图像；存储器，其中存储所述捕获的一个或多个图像；和处理器，所述处理器与所述存储器通信，其中所述处理器执行存储在所述存储器中的计算机能够读的指令，所述指令使所述处理器；对所述捕获的一个或多个图像执行预处理；以及使用所述捕获的一个或多个图像对所述鼓膜的病理进行分类。16.根据权利要求15所述的系统，其中所述处理器执行计算机能够读的指令，以通过从所述一个或多个图像中提取计算机视觉特征(CVF)来对所述鼓膜的病理进行分类；从所述一个或多个图像中提取具有临床意义的耳膜特征(CMEF)；以及使用所述CVF和CMEF信息对所述鼓膜的所述病理进行分类，所述信息通过双层堆叠泛化算法融合，所述算法侧重于互补特征而非强特征。17.根据权利要求16所述的系统，其中所述预处理步骤包括以下中的一者或多者：减少基于传感器的问题，选择所述一个或多个图像中的感兴趣区域，以及检测光反射和创建减少这些眩光效果的所述一个或多个图像的副本。18.根据权利要求16或17中任一项所述的系统，其中从所述一个或多个图像中提取所述CVF包括使用视觉MPEG-7描述符、梯度直方图和网格颜色矩特征中的一个或多个从所述一个或多个图像中提取颜色、纹理和形状信息。19.根据权利要求16至18中任一项所述的系统，其中所述CMEF从所述一个或多个图像中识别异常和正常的所述一些线索。20.根据权利要求16至19中任一项所述的系统，其中CMEF包...

【专利技术属性】
技术研发人员：C·塞那拉司，A·C·莫伯利，T·特克诺斯，G·F·小艾西格，C·A·艾尔玛拉基，N·F·塔吉沙尔，于连波，M·N·库尔坎，
申请(专利权)人：俄亥俄州创新基金会，
类型：发明
国别省市：美国,US