引入图片翻译信息的胃部图像处理方法及系统技术方案

本发明专利技术涉及一种引入图片翻译信息的胃部图像处理方法及系统，包括以下步骤：获取胃部疾病样本图像集；基于Transformer构建疾病报告生成器，使用胃部疾病样本图像集对疾病报告生成器进行训练，获得优化的疾病报告生成器；基于BERT的双模态分类模型构建胃部疾病分类器，使用胃部疾病样本图像集对胃部疾病分类器进行训练，获得优化的胃部疾病分类器；将待测的胃部图片输入至优化的疾病报告生成器和胃部疾病分类器，获得胃部图像的分类结果。其能够处理多图片输入的情况，引入了自然语言的处理技术，使得模型在不扩充数据集规模的情况下，也能拥有更强的图片分类能力。也能拥有更强的图片分类能力。也能拥有更强的图片分类能力。

【技术实现步骤摘要】
引入图片翻译信息的胃部图像处理方法及系统


[0001]本专利技术涉及图像处理
，尤其是指一种引入图片翻译信息的胃部图像处理方法及系统。

技术介绍

[0002]胃部疾病是常见内科疾病，在人类的日常生活中发病率高、病情分类复杂。常见的胃部疾病包括胃炎、胃息肉、胃溃疡、胃癌、胆汁反流和胃出血等。患者发病后的临床反应常有胃部胀痛、反酸嗳气等特征，病发时还伴随恶心呕吐、食欲不振等感觉。一般患者不重视胃部疾病，不仅会影响身体健康，还会影响日常活动。如果胃部疾病不被即时发现和治疗，甚至会危及患者生命。因此，及时发现胃部疾病对人们的健康成长尤为重要。目前，临床上诊断胃部疾病的主要手段为胃镜，其流程复杂，价格昂贵，甚至过程难耐，导致很多患者不敢就医。除此之外，目前胃镜图片的分析和判断都由医生承担，大大消耗了医生的时间和精力。基于人工智能技术的胃部图片分类方法不仅可以缩短医生分析胃镜图片的时间，减低医生漏掉可疑的早期胃癌的概率，还可以从提高胃镜诊断效率的角度降低胃镜检查的医疗成本。
[0003]现有技术存在以下缺陷：首先，现有模型常常处理模型输入为一张图片的情况，而忽略了多张图片作为输入的情况；其次，同一病例中的多张图片存在大量冗余信息，这给现有模型对图片特征的理解能力带来了强烈的干扰，导致模型学习多图片输入困难；此外，现有模型对样本规模的依赖性高，模型的性能随着样本规模的扩大而提升。然而标注样本所耗费的人力资源和时间巨大，阻碍了胃部图片多标签分类技术的发展。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术中胃部图片处理不适用多图片输入、特征提取干扰多和样本依赖性高的技术缺陷。
[0005]为解决上述技术问题，本专利技术提供了一种引入图片翻译信息的胃部图像处理方法，包括以下步骤：S1、获取胃部疾病样本图像集，所述胃部疾病样本图像集包括多种胃部疾病病例，每种胃部疾病病例对应多张胃部图片；S2、基于Transformer构建疾病报告生成器，使用胃部疾病样本图像集对疾病报告生成器进行训练，获得优化的疾病报告生成器，其中，所述疾病报告生成器包括依次设置的图像特征表示单元和报告生成单元，所述图像特征表示单元将同一病例中的多张胃部图片表示为图片特征序列编码，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书；S3、基于BERT的双模态分类模型构建胃部疾病分类器，使用胃部疾病样本图像集对胃部疾病分类器进行训练，获得优化的胃部疾病分类器，其中，所述胃部疾病分类器包括依次设置的双模态特征表示单元和胃部疾病分类单元，所述双模态特征表示单元将同一病
例中的多张图片和该病例的胃部诊断报告书的报告文本表示为图文特征序列编码，所述胃部疾病分类单元将图文特征序列编码进行分类，获得胃部疾病的预测结果；S4、将待测的胃部图片输入至优化的疾病报告生成器和胃部疾病分类器，获得胃部图像的分类结果。
[0006]作为优选的，S2中，所述图像特征表示单元将同一病例中的多张胃部图片表示为图片特征序列编码，包括：对同一病例中的多张胃部图片进行特征提取，获得图片特征；将同一病例中的多个图片特征拼接成统一的图片序列，并对统一的图片序列进行降维处理，获得预设维度的图片特征序列编码。
[0007]作为优选的，S2中，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书，包括：构建报告生成单元，所述报告生成单元由L个Encoder层和L个Decoder层构成的Transformer模型构成；将图片特征序列编码与位置编码相加，获得带有位置编码信息的图片特征序列编码；将带有位置编码信息的图片特征序列编码依次传入L个Encoder层和L个Decoder层，获得胃部图片对应的文本诊断报告，其中，每个所述Encoder层由多头注意力层和前馈网络层构成，每个所述Decoder层由掩码多头注意力层、多头注意力层和前馈网络层构成。
[0008]作为优选的，S2中，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书，具体包括：将图片特征表示单元的输出与位置编码相加，作为报告生成单元的输入特征：征：其中，为报告生成单元的输入特征，位置编码标记了每块图片区域在整个序列中的位置，将位置序号生成与图片特征相同维度的位置编码；将输入特征传入L个Encoder层，每个Encoder层由多头注意力层和前馈网络层构成，获得图片序列的中间表示:其中，，为L个Encoder层；将图片序列的中间表示传入L个Decoder层，解码获得文本序列，其中，每个Decoder层由掩码多头注意力层、多头注意力层和前馈网络层构成；任意位置的词由Encoder层输出的中间表示和Decoder层预测的前个单
词共同决定：。
[0009]作为优选的，所述报告生成单元在训练阶段的优化目标为：其中，L1表示真实文本序列和预测文本序列之间的交叉熵损失，y
j
表示真实文本序列中第j个元素，p
j
表示预测文本序列中第j个元素，表示序列长度。
[0010]作为优选的，S3中，所述双模态特征表示单元将同一病例中的多张图片和该病例的胃部诊断报告书的报告文本表示为图文特征序列编码，包括：获取同一病例的多张胃部图片的图片特征序列编码；将胃部诊断报告书的报告文本经过Embedding层生成文本序列编码，其中，Embedding层采用预训练的BERT模型；将图片特征序列编码与文本序列编码拼接，获得图文特征序列编码。
[0011]作为优选的，S3中，所述双模态特征表示单元将同一病例中的多张图片和该病例的胃部诊断报告书的报告文本表示为图文特征序列编码，具体包括：获取同一病例的多张胃部图片的图片特征序列编码;胃部诊断报告书的报告文本T经过Embedding层生成文本编码，Embedding层采用预训练的BERT模型：将图片序列编码和文本序列编码拼接，得到图文特征编码A：其中，为拼接函数，，且；将图文特征编码A与位置编码P、模态编码M相加，其中，位置编码P分别标记了每块图片区域在图片序列中的位置和每个子词在文本序列中的位置，模态编码M区分了图片和文本的序列区域：其中，为图文双模态的最终表示，将位置序号和模态序号分别生成与图片特征相同维度的位置编码和模态编码，用序号0表示图片区域，用序号1表示文本区域。
[0012]作为优选的，S3中，所述胃部疾病分类单元将图文特征序列编码进行分类，获得胃
部疾病的预测结果，包括：使用BERT模型对图文特征编码序列进行编码，获得最终特征表示：，其中，，为BERT编码器；取特征的最终表示中对应的特征编码传入由全连接层和激活函数构成的分类器：其中，表示每个标签分类概率的结合，c为胃部疾病标签的类别数，为Sigmoid激活函数，将每个标签的概率映射到0~1之间，FC()为全连接层。作为优选的，所述胃部疾病分类单元在训练阶段的优化目标为：其中，L2表示真实标签和预测标签之间的二分类交叉熵损失，表示真实标签中第j个元素，表示预测概率中第j个元素，c表示类别数量，表示预测标签本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种引入图片翻译信息的胃部图像处理方法，其特征在于，包括以下步骤：S1、获取胃部疾病样本图像集，所述胃部疾病样本图像集包括多种胃部疾病病例，每种胃部疾病病例对应多张胃部图片；S2、基于Transformer构建疾病报告生成器，使用胃部疾病样本图像集对疾病报告生成器进行训练，获得优化的疾病报告生成器，其中，所述疾病报告生成器包括依次设置的图像特征表示单元和报告生成单元，所述图像特征表示单元将同一病例中的多张胃部图片表示为图片特征序列编码，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书；S3、基于BERT的双模态分类模型构建胃部疾病分类器，使用胃部疾病样本图像集对胃部疾病分类器进行训练，获得优化的胃部疾病分类器，其中，所述胃部疾病分类器包括依次设置的双模态特征表示单元和胃部疾病分类单元，所述双模态特征表示单元将同一病例中的多张图片和该病例的胃部诊断报告书的报告文本表示为图文特征序列编码，所述胃部疾病分类单元将图文特征序列编码进行分类，获得胃部疾病的预测结果；S4、将待测的胃部图片输入至优化的疾病报告生成器和胃部疾病分类器，获得胃部图像的分类结果。2.根据权利要求1所述的引入图片翻译信息的胃部图像处理方法，其特征在于，S2中，所述图像特征表示单元将同一病例中的多张胃部图片表示为图片特征序列编码，包括：对同一病例中的多张胃部图片进行特征提取，获得图片特征；将同一病例中的多个图片特征拼接成统一的图片序列，并对统一的图片序列进行降维处理，获得预设维度的图片特征序列编码。3.根据权利要求1所述的引入图片翻译信息的胃部图像处理方法，其特征在于，S2中，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书，包括：构建报告生成单元，所述报告生成单元由L个Encoder层和L个Decoder层构成的Transformer模型构成；将图片特征序列编码与位置编码相加，获得带有位置编码信息的图片特征序列编码；将带有位置编码信息的图片特征序列编码依次传入L个Encoder层和L个Decoder层，获得胃部图片对应的文本诊断报告，其中，每个所述Encoder层由多头注意力层和前馈网络层构成，每个所述Decoder层由掩码多头注意力层、多头注意力层和前馈网络层构成。4.根据权利要求1所述的引入图片翻译信息的胃部图像处理方法，其特征在于，S2中，所述报告生成单元对图片特征序列编码进行处理，获得对应的胃部诊断报告书，具体包括：将图片特征表示单元的输出与位置编码相加，作为报告生成单元的输入特征：相加，作为报告生成单元的输入特征：其中，为报告生成单元的输入特征，位置编码标记了每块图片区域在整个序列中的位置，将位置序号生成与图片特征相同维度的位置编码；将输入特征传入L个Encoder层，每个Encoder层由多头注意力层和前馈网络层构成，
获得图片序列的中间表示:其中，，为L个Encoder层；将图片序列的中间表示传入L个Decoder层，解码获得文本序列，其中，每个Decoder层由掩码多头注意力层、多头注意力层和前馈网络层构成；任意位置的词由Encoder层输出的中间表示和Decoder层预测的前个单词共同决定：。5.根据权利要求4所述的引入图片翻译信息的胃部图像处理方法，其特征在于，所述报告生成单元在训练阶段的优化目标为：其中，L1表示真实文本序列和预测文本序列之间的交叉熵损失，y
j
表示真实文本序列中第j个元素，p
j
表示预测文本序列中第j个元素，表示序列长度。6....

【专利技术属性】
技术研发人员：鹿伟民，张希钢，赖春晓，李峰，何顺辉，王镇煜，邱霖，戴捷，
申请(专利权)人：紫东信息科技苏州有限公司，
类型：发明
国别省市：