【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种图像分类模型的训练方法、图像分类方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、图像分类是一种对图像进行分析后，把图像划归为若干个类别中的某一种的方法。在诸多领域均会用到图像分类，例如，在医疗领域，采集乳腺钼靶图像后，对乳腺钼靶图像进行分类，识别其为正常图像或异常图像，从而确定是否存在乳腺癌。
2、目前，针对乳腺钼靶图像的分类，现有方法多采用乳腺钼靶图像的影像征象进行分类，例如，采用乳腺钼靶图像中肿块和钙化的性质、形态、乳头是否凹陷等，来判断乳腺的良恶性，从而进行分类。但是，依靠影像征象进行分类的方法缺乏定量标准、不同医生之间的一致性差异较大，并且依靠影像征象的分析存在敏感性和特异性不高的问题。
技术实现思路
1、基于此，有必要针对上述方法存在的影像分析的敏感性和特异性不高的技术问题，提供一种图像分类模型的训练方法、图像分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种图像分类模型的训练方法。所述图像分类模型包括跨视角模块和分类模块，所述跨视角模块用于提取输入图像的跨视角表征信息，所述跨视角模块提取的跨视角表征信息为所述分类模块的输入，所述方法包括：
3、获取第一训练数据集和第二训练数据集；所述第一训练数据集和所述第二训练数据集均包括样本对象的第一样本视角图像和第二样本视角图像；
4、通过所述第一训练数据集，对所述图像分类模型中的所述跨视
5、通过所述第二训练数据集，对所述图像分类模型中的所述预训练的跨视角模块和未训练的分类模块进行联合训练，得到训练好的图像分类模型。
6、在其中一个实施例中，所述通过所述第一训练数据集，对所述图像分类模型中的所述跨视角模块进行预训练，得到预训练的跨视角模块，包括：
7、将所述第一训练数据集中的所述第一样本视角图像和所述第二样本视角图像，输入所述跨视角模块，得到所述第一样本视角图像对应的第一还原图像和所述第二样本视角图像对应的第二还原图像；
8、基于所述第一还原图像与所述第一样本视角图像之间的第一差异信息，以及所述第二还原图像与所述第二样本视角图像之间的第二差异信息，对所述跨视角模块进行预训练，得到预训练的跨视角模块。
9、在其中一个实施例中，所述跨视角模块包括第一编码器、第二编码器、跨视角编码器、第一解码器和第二解码器；
10、所述将所述第一训练数据集中的所述第一样本视角图像和所述第二样本视角图像，输入所述跨视角模块，得到所述第一样本视角图像对应的第一还原图像和所述第二样本视角图像对应的第二还原图像，包括：
11、将所述第一样本视角图像输入所述第一编码器，得到第一视觉表征信息；将所述第二样本视角图像输入所述第二编码器，得到第二视觉表征信息；以及将所述第一样本视角图像和所述第二样本视角图像输入所述跨视角编码器，得到第一跨视角表征信息和第二跨视角表征信息；
12、将所述第一视觉表征信息和所述第一跨视角表征信息，输入所述第一解码器，得到所述第一还原图像；以及，将所述第二视觉表征信息和所述第二跨视角表征信息，输入所述第二解码器，得到所述第二还原图像。
13、在其中一个实施例中，所述样本对象具有对应的类别标签；
14、所述通过所述第二训练数据集，对所述图像分类模型中的所述预训练的跨视角模块和未训练的分类模块进行联合训练，得到训练好的图像分类模型，包括：
15、将所述第二训练数据集中的所述第一样本视角图像和所述第二样本视角图像输入所述跨视角模块，得到所述第一样本视角图像的第一视觉表征信息、第一跨视角表征信息和第一还原图像，以及所述第二样本视角图像的第二视觉表征信息、第二跨视角表征信息和第二还原图像；
16、对所述第一视觉表征信息和所述第一跨视角表征信息进行融合处理，得到第一融合特征；以及，对所述第二视觉表征信息和所述第二跨视角表征信息进行融合处理，得到第二融合特征；以及，将所述第一跨视角表征信息和所述第二跨视角表征信息，输入所述分类模块，得到所述样本对象对应的预测类别；
17、基于所述第一还原图像、所述第一样本视角图像、所述第二还原图像、所述第二样本视角图像、所述第一融合特征、所述第二融合特征，以及所述预测类别和所述类别标签，对所述预训练的跨视角模块和所述未训练的分类模块进行联合训练，得到训练好的图像分类模型。
18、在其中一个实施例中，所述样本对象有多个，且每个样本对象包含有第一子对象和第二子对象，所述第一子对象和所述第二子对象均具有对应的第一样本视角图像和第二样本视角图像；
19、所述基于所述第一还原图像、所述第一样本视角图像、所述第二还原图像、所述第二样本视角图像、所述第一融合特征、所述第二融合特征，以及所述预测类别和所述类别标签，对所述预训练的跨视角模块和所述未训练的分类模块进行联合训练，得到训练好的图像分类模型，包括：
20、确定所述第一融合特征对应的第一样本视角图像与所述第二融合特征对应的第二样本视角图像之间的关联关系；所述关联关系用于表征所述第一样本视角图像与所述第二样本视角图像是否属于同一个子对象；
21、基于所述关联关系，确定所述第一融合特征与所述第二融合特征组成的样本对类型；所述样本对类型包括正样本对和负样本对；
22、基于所述第一还原图像与所述第一样本视角图像之间的第一差异信息、所述第二还原图像与所述第二样本视角图像之间的第二差异信息、所述第一融合特征与所述第二融合特征之间的第三差异信息、所述预测类别和所述类别标签之间的第四差异信息，以及所述样本对类型，对所述跨视角模块和所述分类模块进行联合训练，得到训练好的图像分类模型。
23、在其中一个实施例中，所述基于所述第一还原图像与所述第一样本视角图像之间的第一差异信息、所述第二还原图像与所述第二样本视角图像之间的第二差异信息、所述第一融合特征与所述第二融合特征之间的第三差异信息、所述预测类别和所述类别标签之间的第四差异信息，以及所述样本对类型，对所述跨视角模块和所述分类模块进行联合训练，得到训练好的图像分类模型，包括：
24、当所述样本对类型为正样本对时，以减小所述第一差异信息、所述第二差异信息、所述第三差异信息和所述第四差异信息为训练目标，对所述跨视角模块和所述分类模块进行联合训练，得到训练好的图像分类模型；
25、当所述样本对类型为负样本对时，以减小所述第一差异信息、所述第二差异信息和所述第四差异信息，并增大所述第三差异信息为训练目标，对所述跨视角模块和所述分类模块进行联合训练，得到训练好的图像分类模型。
26、在其中一个实施例中，所述获取第一训练数据集和第二训练数据集，包括：
27、获取初始训练数据集；
28、对所述初始训练数据集中的第一样本视角图本文档来自技高网...
【技术保护点】
1.一种图像分类模型的训练方法，其特征在于，所述图像分类模型包括跨视角模块和分类模块，所述跨视角模块用于提取输入图像的跨视角表征信息，所述跨视角模块提取的跨视角表征信息为所述分类模块的输入，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一训练数据集，对所述图像分类模型中的所述跨视角模块进行预训练，得到预训练的跨视角模块，包括：
3.根据权利要求2所述的方法，其特征在于，所述跨视角模块包括第一编码器、第二编码器、跨视角编码器、第一解码器和第二解码器；
4.根据权利要求1所述的方法，其特征在于，所述样本对象具有对应的类别标签；
5.根据权利要求1所述的方法，其特征在于，所述获取第一训练数据集和第二训练数据集，包括：
6.一种图像分类方法，其特征在于，所述方法包括：
7.一种图像分类模型的训练装置，其特征在于，所述图像分类模型包括跨视角模块和分类模块，所述跨视角模块用于提取输入图像的跨视角表征信息，所述跨视角模块提取的跨视角表征信息为所述分类模块的输入，所述装置包括：
8.一种
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
...【技术特征摘要】
1.一种图像分类模型的训练方法，其特征在于，所述图像分类模型包括跨视角模块和分类模块，所述跨视角模块用于提取输入图像的跨视角表征信息，所述跨视角模块提取的跨视角表征信息为所述分类模块的输入，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一训练数据集，对所述图像分类模型中的所述跨视角模块进行预训练，得到预训练的跨视角模块，包括：
3.根据权利要求2所述的方法，其特征在于，所述跨视角模块包括第一编码器、第二编码器、跨视角编码器、第一解码器和第二解码器；
4.根据权利要求1所述的方法，其特征在于，所述样本对象具有对应的类别标签；
5.根据权利要求1所述的方法，其特征在于，所述获取第一训练数据集和第二...
【专利技术属性】
技术研发人员：王梅云，吴青霞，
申请(专利权)人：北京联影智能影像技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。