一种基于深度学习的胸片识别方法、训练方法及装置制造方法及图纸

本发明专利技术涉及一种基于深度学习的胸片识别方法、训练方法及装置，其具体步骤为：S1：获取胸片图像，调整胸片图像的参数；S2：通过卷积神经网络对该胸片图像提取全局和区域视觉特征；S3：对胸片图像进行识别，得到识别结果；S4：响应于所述识别结果生成主题，并将所述主题作为输入生成描述胸像图片的句子。具有自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。本发明专利技术涉及一种基于深度学习的胸片识别训练方法。通过训练识别胸片模型，具有可以自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。本发明专利技术涉及一种基于深度学习的胸片识别装置，具有自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。点。点。

【技术实现步骤摘要】
一种基于深度学习的胸片识别方法、训练方法及装置


[0001]本专利技术涉及图像识别的
，尤其是涉及一种基于深度学习的胸片识别方法、训练方法及装置。

技术介绍

[0002]随着计算机科学的不断发展，人工智能技术应运而生。人工智能作为研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。基于人工智能技术对图像进行处理，对于医学检测领域，具备重要意义。
[0003]目前现有的神经网络算法模型有以下：
[0004](1)CNN
‑
RNN组合模型；
[0005]CNN和RNN都是传统神经网络的扩展，能前向计算产生结果，反向计算进行模型的更新，每层神经网络横向可以存在多个神经元，纵向可以有多层神经网络连接。组合使用的意义在于组合的意义可以处理大量信息同时具有时间空间特性，比如视频，图文结合。还有真实的场景对话、带有图像的对话，使文本表达更具体，并且视频相对图片描述的内容更完整。特征提取主要采用卷积核，卷积核的宽度和高度大于1，而卷积核只与图像中每个大小相同的位置进行互相关运算。所以，输出大小等于输入大小n
h
×
n
w
减去卷积核大小k
h
×
k
w
，即：
[0006][0007]图像说明技术可以为指定图像自动生成文字描述。最近研究的图像文本模型大多是基于CNN
‑
RNN框架。
[0008](2)Attention Mechanisms；
[0009]自19世纪以来，科学家们一直致力于研究认知神经科学领域的注意力。1964年的核回归(kernel regression)正是具有注意力机制(attention mechanism)的机器学习的简单演示。用数学语言描述，假设有一个查询q∈Rq和m个键值对(k1,v1),
…
,(km,vm)，其中ki∈Rk，vi∈Rv。注意力汇聚函数f就被表示成值的加权和：
[0010][0011]其中查询q和键ki的注意力权重(标量)是通过注意力评分函数a将两个向量映射成标量，再经过softmax运算得到的：
[0012][0013]注意力机制已被证明对于添加图像文本是有用的。相关研究团队已将空间视觉注意机制引入CNN中间层提取的图像特征中。
[0014](3)长短时记忆网络；
[0015]长短期记忆网络的设计灵感来自于计算机的逻辑门。长短期记忆网络引入了记忆
元(memory cell)，或简称为单元(cell)，其隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层，而记忆元完全属于内部信息。
[0016]医学影像的阅读和解释通常是由医学专家进行的。但即使对于有经验的专家来说，这种医学图像解释和报告的过程也容易失误。人员短缺和工作量过大也会导致放射科报告的误判。对于经验不足的放射科医生和病理学家，尤其是在农村地区以及在医疗质量相对较低的地区，撰写准确无误的医学影像报告是很有必要的。对于有经验的放射科医师和病理学家来说，写成像报告是冗长而费时的，自动化生成医学报告可以有效减少医生工作量和错误的发生。

技术实现思路

[0017]本专利技术目的一是提供一种基于深度学习的胸片识别方法，具有自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。
[0018]本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：
[0019]一种基于深度学习的胸片识别方法，具体步骤为：
[0020]S1:获取胸片图像，调整胸片图像的参数；
[0021]S2:通过卷积神经网络对该胸片图像提取全局和区域视觉特征；
[0022]S3:对胸片图像进行识别，得到识别结果；
[0023]S4:响应于所述识别结果生成主题，并将所述主题作为输入生成描述胸像图片的句子。
[0024]本专利技术目的二是提供一种基于深度学习的胸片识别训练方法，通过训练识别胸片模型，具有可以自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。
[0025]本专利技术的上述专利技术目的二是通过以下技术方案得以实现的：
[0026]一种基于深度学习的胸片识别训练方法，具体步骤为：
[0027]S1：获取原始数据集胸像图片，将训练和验证数据集按约1/10的比例拆分；
[0028]S2：调整原始数据集中的胸像图片的大小调整为224
×
224以保持与预训练的图像编码器一致；
[0029]S3：通过卷积神经网络对从输入的胸像图片中提取全局和区域视
[0030]觉特征；
[0031]S4：对胸片图像进行识别，得到识别结果；
[0032]S5：响应于所述识别结果生成主题，并将所述主题作为输入生成描述胸像图片的句子。
[0033]本专利技术在一较佳示例中可以进一步配置为：向卷积神经网络添加了一个值为0.3或0.5或0.7的dropout层，在dropout层之后添加了一个密集层，将激活函数应用于输入，即带有偏差的内核。
[0034]本专利技术在一较佳示例中可以进一步配置为：所述激活函数为整流线性单元，输出空间的大小指定为256。
[0035]本专利技术目的三是提供一种基于深度学习的胸片识别装置，具有自动化生成医学报告可以有效减少医生工作量和错误的发生的特点。
[0036]本专利技术的上述专利技术目的三是通过以下技术方案得以实现的：
[0037]一种基于深度学习的胸片识别装置，包括：
[0038]图像编码器，用于提取胸片图像中的全局和区域视觉特征向量；
[0039]句子循环生成模块，对所述图像编码器提取的视觉特征向量进行变换，通过变换后的视觉特征向量生成的预测描述胸片图像句子；
[0040]循环段落生成模块，对所述图像编码器提取的视觉特征向量进行变换，并提取所述句子循环生成模块生成的预测描述胸片图像句子的语义特征作为输入生成结果段落句子。
[0041]本专利技术在一较佳示例中可以进一步配置为：所述循环段落生成模块包括句子编码器和注意力句子解码器，
[0042]所述句子编码器用于从所述句子循环生成模块中生成的所述描述胸片图像句子提取语义向量；
[0043]所述注意力句子解码器将所述句子编码器提取的语义向量和所述图像编码器提取的视觉特征向量作为输入生成最终句子。
[0044]本专利技术在一较佳示例中可以进一步配置为：所述图像编码器将输入的图像大小调整为224*224。
[0045]本专利技术在一较佳示例中可以进一步配置为：所述循环段落生成模块采用双向长短期记忆。
[0046]本专利技术在一较佳示例中可以进一步配置为：所述图像编码器是自动提取层次结构的卷积神经网络图像的视觉特征。
[0047]本专利技术在一较佳示例中可以进一步配置为：在句子循环生成模块中，单层LSTM用于句子解码，初始隐藏状态和单元状态LSTM的值设置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的胸片识别方法，其特征在于，具体步骤为：S1：获取胸片图像，调整胸片图像的参数；S2：通过卷积神经网络对该胸片图像提取全局和区域视觉特征；S3：对胸片图像进行识别，得到识别结果；S4：响应于所述识别结果生成主题，并将所述主题作为输入生成描述胸像图片的句子。2.一种基于深度学习的胸片识别训练方法，其特征在于，具体步骤为：S1：获取原始数据集胸像图片，将训练和验证数据集按约1/10的比例拆分；S2：调整原始数据集中的胸像图片的大小调整为224
×
224以保持与预训练的图像编码器一致；S3：通过卷积神经网络对从输入的胸像图片中提取全局和区域视觉特征；S4：对胸片图像进行识别，得到识别结果；S5：响应于所述识别结果生成主题，并将所述主题作为输入生成描述胸像图片的句子。3.根据权利要求2所述一种基于深度学习的胸片识别训练方法，其特征在于，向所述卷积神经网络添加了一个值为0.3或0.5或0.7的dropout层，在dropout层之后添加了一个密集层，将激活函数应用于输入，即带有偏差的内核。4.根据权利要求3所述一种基于深度学习的胸片识别训练方法，其特征在于，所述激活函数为整流线性单元，输出空间的大小指定为256。5.一种基于深度学习的胸片识别装置，其特征在于，包括：图像编码器，用于提取胸片图像中的全局和区域视觉特征向量；句...

【专利技术属性】
技术研发人员：李慧，刘鑫堂，张舒，候鹏飞，李鑫，邢立豹，蒋园园，韩国凯，顾勇，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：