内窥镜图像识别模型的训练方法、图像识别方法及装置制造方法及图纸

本公开涉及一种内窥镜图像识别模型的训练方法、图像识别方法及装置，以减少数量多的样本在训练中占据主导的问题，提高内窥镜图像识别模型的泛化性能和鲁棒性。其中，该训练方法包括：获取样本内窥镜图像集；针对每一样本图像，将该样本图像输入内窥镜图像识别模型，得到对应的预测回盲结果，并根据样本图像对应的预测回盲结果和样本回盲结果，确定样本图像对内窥镜图像识别模型的样本影响值，根据样本影响值，确定样本图像的样本权重，其中样本影响值与样本权重负相关；根据每个样本图像对应的样本回盲结果、预测回盲结果和样本权重，确定目标损失函数值；根据目标损失函数值，调整内窥镜图像识别模型的参数。内窥镜图像识别模型的参数。内窥镜图像识别模型的参数。

【技术实现步骤摘要】
内窥镜图像识别模型的训练方法、图像识别方法及装置


[0001]本公开涉及图像处理
，具体地，涉及内窥镜图像识别模型的训练方法、图像识别方法及装置。

技术介绍

[0002]内窥镜可以利用电子肠镜到达回盲部，从黏膜侧观察结肠病变。因此，在内窥镜检查过程中，对回盲部的识别至关重要。
[0003]随着深度学习技术的不断发展，逐渐将深度学习算法应用到内窥镜识别任务中。通常，深度学习算法假设不同类别样本数的比例是平衡的。但是，在实际应用中，样本数量不平衡才是常态。比如，在肠镜检查过程中，电子肠镜抵达回盲部后不再前进。因此，在回盲识别样本集中，肠镜视频中仅有极少部分帧中包含回盲部成像，非回盲部的成像远远多于回盲部成像。此种类别不平衡会导致算法更偏向于学习样本数量较多的类别，而对于样本数量较少的类别学习效果会较差，从而影响模型的回盲识别准确率。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开提供一种内窥镜图像识别模型的训练方法，所述内窥镜图像识别模型用于识别回盲部，所述方法包括：
[0006]获取样本内窥镜图像集，所述样本内窥镜图像集包括具有回盲部的回盲类样本图像和不具有回盲部的非回盲类样本图像，且所述样本内窥镜图像集中的每个样本图像标注有用于表征是否具有回盲部的样本回盲结果；
[0007]针对每一所述样本图像，将所述样本图像输入所述内窥镜图像识别模型，得到对应的预测回盲结果，并根据所述样本图像对应的所述预测回盲结果和所述样本回盲结果，确定所述样本图像对所述内窥镜图像识别模型的样本影响值，根据所述样本影响值，确定所述样本图像的样本权重，其中所述样本影响值与所述样本权重负相关；
[0008]根据每个所述样本图像对应的所述样本回盲结果、所述预测回盲结果和所述样本权重，确定目标损失函数值；
[0009]根据所述目标损失函数值，调整所述内窥镜图像识别模型的参数。
[0010]第二方面，本公开提供一种内窥镜图像识别方法，所述方法包括：
[0011]获取待识别的内窥镜图像；
[0012]将所述内窥镜图像输入内窥镜图像识别模型中，得到所述内窥镜图像对应的回盲识别结果，其中所述内窥镜图像识别模型是通过第一方面所述的内窥镜图像识别模型的训练方法得到的。
[0013]第三方面，本公开提供一种内窥镜图像识别模型的训练装置，所述内窥镜图像识
别模型用于识别回盲部，所述装置包括：
[0014]第一获取模块，用于获取样本内窥镜图像集，所述样本内窥镜图像集包括具有回盲部的回盲类样本图像和不具有回盲部的非回盲类样本图像，且所述样本内窥镜图像集中的每个样本图像标注有用于表征是否具有回盲部的样本回盲结果；
[0015]第一训练模块，用于针对每一所述样本图像，将所述样本图像输入所述内窥镜图像识别模型，得到对应的预测回盲结果，并根据所述样本图像对应的所述预测回盲结果和所述样本回盲结果，确定所述样本图像对所述内窥镜图像识别模型的样本影响值，根据所述样本影响值，确定所述样本图像的样本权重；
[0016]第二训练模块，用于根据每个所述样本图像对应的所述样本回盲结果、所述预测回盲结果和所述样本权重，确定目标损失函数值；
[0017]第三训练模块，用于根据所述目标损失函数值，调整所述内窥镜图像识别模型的参数。
[0018]第四方面，本公开提供一种内窥镜图像识别装置，所述装置包括：
[0019]第二获取模块，用于获取待识别的内窥镜图像；
[0020]识别模块，用于将所述内窥镜图像输入内窥镜图像识别模型中，得到所述内窥镜图像对应的回盲识别结果，其中所述内窥镜图像识别模型是通过第一方面所述的内窥镜图像识别模型的训练方法得到的。
[0021]第五方面，本公开提供一种非临时性计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面或第二方面所述方法的步骤。
[0022]第六方面，本公开提供一种电子设备，包括：
[0023]存储装置，其上存储有计算机程序；
[0024]处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面或第二方面中所述方法的步骤。
[0025]通过上述技术方案，在内窥镜图像识别模型的训练过程中，可以根据样本图像对应的预测回盲结果和样本回盲结果，确定样本图像对内窥镜图像识别模型的样本影响值，并根据样本影响值，确定样本图像的样本权重。其中，样本影响值与样本权重负相关，可以使得对内窥镜图像识别模型影响大的样本具有更小的样本权重，对内窥镜图像识别模型影响小的样本具有更大的样本权重，从而更好地适应类别不平衡训练，减少数量多的样本在训练中占据主导的问题，提高内窥镜图像识别模型的泛化性能和鲁棒性。
[0026]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0027]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0028]图1是根据本公开一示例性实施例示出的一种内窥镜图像识别模型的训练方法的流程图；
[0029]图2是根据本公开另一示例性实施例示出的一种内窥镜图像识别模型的训练方法的过程示意图；
[0030]图3是根据本公开一示例性实施例示出的一种内窥镜图像识别方法的流程图；
[0031]图4是根据本公开一示例性实施例示出的一种内窥镜图像识别模型的训练装置的框图；
[0032]图5是根据本公开一示例性实施例示出的一种内窥镜图像识别装置的框图；
[0033]图6是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0034]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0035]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0036]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜图像识别模型的训练方法，其特征在于，所述内窥镜图像识别模型用于识别回盲部，所述方法包括：获取样本内窥镜图像集，所述样本内窥镜图像集包括具有回盲部的回盲类样本图像和不具有回盲部的非回盲类样本图像，且所述样本内窥镜图像集中的每个样本图像标注有用于表征是否具有回盲部的样本回盲结果；针对每一所述样本图像，将所述样本图像输入所述内窥镜图像识别模型，得到对应的预测回盲结果，并根据所述样本图像对应的所述预测回盲结果和所述样本回盲结果，确定所述样本图像对所述内窥镜图像识别模型的样本影响值，根据所述样本影响值，确定所述样本图像的样本权重，其中所述样本影响值与所述样本权重负相关；根据每个所述样本图像对应的所述样本回盲结果、所述预测回盲结果和所述样本权重，确定目标损失函数值；根据所述目标损失函数值，调整所述内窥镜图像识别模型的参数。2.根据权利要求1所述的方法，其特征在于，所述内窥镜图像识别模型用于通过分类器识别回盲部，所述根据所述样本图像对应的所述预测回盲结果和所述样本回盲结果，确定所述样本图像对所述内窥镜图像识别模型的样本影响值，包括：根据所述样本图像对应的所述预测回盲结果和所述样本回盲结果，确定损失函数值，并确定所述损失函数值对所述分类器参数的梯度张量；将所述梯度张量的范数确定为所述样本图像对所述内窥镜图像识别模型的样本影响值。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述样本影响值，确定所述样本图像的样本权重，包括：确定所述样本影响值的倒数，并将所述倒数乘以第一预设超参数，得到所述样本图像的样本权重。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：将所述样本内窥镜图像集的图像数量除以所述样本内窥镜图像集中所述样本图像的同类别图像的数量，得到所述样本图像的样本比例，并将1减去所述预测回盲结果的差值确定为所述内窥镜图像识别模型对所述样本图像的识别难度；所述根据所述样本影响值，确定所述样本图像的样本权重，包括：将所述样本影响值的倒数乘以第二预设超参数后与所述样本比例的第一预设次方相乘，得到所述样本图像的样本权重；或者将所述样本影响值的倒数乘以所述第二预设超参数后与所述识别难度的第二预设次方相乘，得到所述样本图像的样本权重；或者将所述样本影响值的倒数乘以所述第二预设超参数后与所述样本比例的所述第一预设次方以及所述识别难度的所述第二预设次方相乘，得到所述样本图像的样本权重。5.根据权利要求1或2所述的方法，其特征在于，所述根据每个所述样本图像对应的所述样本回盲结果、所述预测回盲结果和所述样本权重，确定目标损失函数值，包括：根据每个所述样本图像对应的所述样本回盲结果和所述预测回盲结果，确定损失函数值，并将每个所述样本图像的所述损失函数值乘以对应的所述样本权重后...

【专利技术属性】
技术研发人员：潘俊文，王杰祥，赵家英，李永会，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：