【技术实现步骤摘要】
本申请涉及人工智能，具体涉及一种医学影像识别方法和装置。
技术介绍
1、随着人工智能的发展，神经网络模型在智慧医疗中具有越来越广泛的应用，例如，可以将医学影像识别模型用于对医学影像的识别，以生成医学影像对应的医学报告，来实现对疾病的辅助诊断。
2、其中，在利用医学影像识别模型对医学影像进行识别时，医学影像识别模型会一般提取医学影像的特征，以基于医学影像的特征预测出医学报告。但是，目前医学影像识别模型所提取到的医学影像的特征不够准确，忽略了医学影像中很多关键信息，这样会导致生成的医学报告不准确。
3、综上，目前存在医学影像识别模型生成医学报告的准确性较低的问题。
技术实现思路
1、本申请实施例提供一种医学影像识别方法和装置，能够提高医学影像识别模型生成医学报告的准确性。
2、一种医学影像识别方法，包括：
3、获取待识别的医学影像和医学影像对应的报告参考文本，并对医学影像进行内容分割，得到医学影像对应的至少一个医学影像块；
4、对医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和医学影像的图像全局特征；
5、根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征，语义特征表征医学影像与报告参考文本之间的浅层语义关系；
6、将图像局部特征、图像全局特征和语义特征进行融合，得到医学影像的目标文本特征；
7、基于目标文本特征和报告参考文本，生成医学影像对应的目标医学报告
8、相应地，本申请还提供一种医学影像识别装置，包括：
9、获取单元，可以用于获取待识别的医学影像和医学影像对应的报告参考文本，并对医学影像进行内容分割，得到医学影像对应的至少一个医学影像块；
10、第一提取单元，可以用于对医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和医学影像的图像全局特征；
11、第二提取单元，可以用于根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征，语义特征表征医学影像与报告参考文本之间的浅层语义关系；
12、融合单元，可以用于将图像局部特征、图像全局特征和语义特征进行融合，得到医学影像的目标文本特征；
13、生成单元，可以用于基于目标文本特征和报告参考文本，生成医学影像对应的目标医学报告。
14、可选地，在一些实施例中，第一提取单元，可以用于在医学影像中识别出每一医学影像块的位置信息，并采用医学影像识别模型对位置信息进行位置编码，得到每一医学影像块的位置特征；采用医学影像识别模型对医学影像块进行特征提取，得到每一医学影像块的初始图像局部特征和医学影像的初始图像全局特征；将位置特征与初始图像局部特征进行融合，得到每一医学影像块的图像局部特征；将位置特征和初始图像全局特征进行融合，得到医学影像的图像全局特征。
15、可选地，在一些实施例中，医学影像识别装置还包括训练单元，训练单元，可以用于获取训练数据集，训练数据集包括多个医学影像样本和医学影像样本对应的医学报告样本；分别对医学影像样本和医学报告样本进行内容分割，得到医学影像样本对应的至少一个医学影像区域和医学报告对应的至少一个文本词组；采用预设医学影像识别模型分别对医学影像区域和文本词组进行特征提取，得到医学影像样本对应的至少一个图像粒度的图像特征、以及医学报告样本对应的至少一个文本粒度的文本特征；将图像特征和文本特征在至少一个对齐粒度下进行特征对齐，得到每一对齐粒度对应的特征对齐结果，特征对齐结果表征图像特征和文本特征之间的对齐程度；基于特征对齐结果、图像特征和文本特征，对预设医学影像识别模型进行收敛，得到医学影像识别模型，并采用医学影像识别模型对医学影像进行识别，得到目标医学报告。
16、可选地，在一些实施例中，训练单元，具体可以用于在图像粒度中筛选出每一对齐粒度对应的目标图像粒度，并在文本粒度中确定每一对齐粒度对应的目标文本粒度；在图像特征中筛选出目标图像粒度对应的目标图像特征，并在文本特征中提取出目标文本粒度对应的目标文本特征；将目标图像特征和目标文本特征进行对齐，以得到每一对齐粒度对应的特征对齐结果。
17、可选地，在一些实施例中，训练单元，具体可以用于在对齐粒度中确定出至少一个目标对齐粒度；在目标图像特征中筛选出目标对齐粒度对应的候选图像特征，并在目标文本特征中提取出目标对齐粒度对应的候选文本特征；将候选图像特征和候选文本特征在目标对齐粒度下进行特征对齐，得到目标对齐粒度对应的目标特征对齐结果；返回在对齐粒度中确定出目标对齐粒度的步骤，直至每一对齐粒度均为目标对齐粒度时为止，得到每一对齐粒度对应的特征对齐结果。
18、可选地，在一些实施例中，候选图像特征包括医学影像样本对应的全局影像特征，候选文本特征包括医学报告样本对应的全局文本特征；训练单元，具体可以用于当目标对齐粒度为全局对齐粒度时，基于全局影像特征和全局文本特征，计算医学影像样本和医学报告样本之间的样本相似度，全局对齐粒度为医学影像样本和医学报告样本之间的对齐粒度；对样本相似度进行融合，生成全局对齐粒度对应的全局特征对齐结果，并将全局特征对齐结果作为目标特征对齐结果。
19、可选地，在一些实施例中，候选图像特征还包括医学影像区域对应的区域影像特征，候选文本特征还包括文本词组对应的词组特征；训练单元，具体可以用于当目标对齐粒度为区域对齐粒度时，在医学影像区域中筛选出目标医学影像区域，并在文本词组中筛选出目标文本词组，区域对齐粒度为目标医学影像区域和目标文本词组之间的对齐粒度；基于区域影像特征和词组特征，计算目标医学影像区域和目标文本词组之间的关联度；根据关联度，确定目标对齐粒度对应的区域特征对齐结果，并将区域特征对齐结果作为目标特征对齐结果。
20、可选地，在一些实施例中，训练单元，具体可以用于基于关联度的大小，在关联度中筛选出目标医学影像区域对应的区域关联度，区域关联度表征目标医学影像区域与目标医学影像区域在目标文本词组中对应的候选文本词组之间的关联度；根据关联度的大小，在关联度中识别出目标文本词组对应的词组关联度，词组关联度表征目标文本词组与目标文本词组在目标医学影像区域中对应的候选医学影像区域之间的关联度；对区域关联度和词组关联度进行融合，得到融合后关联度，并将融合后关联度作为区域对齐粒度对应的区域特征对齐结果。
21、可选地，在一些实施例中，训练单元，具体可以用于对区域影像特征进行聚类，得到每一影像区域对应的区域类别，并在医学影像区域中确定出区域类别对应的目标影像区域；对词组特征进行聚类，得到每一文本词组对应的词组类别，并在文本词组中确定出目标文本词组。
22、可选地，在一些实施例中，训练单元，具体可以用于将同一区域类别对应的区域影像特征进行合并，得到目标医学影像区域对应的合并后区域特征，并将合并后区域特征和区域影像特征进行融合，得到目标医学影像区域对应的目标区域影像特征本文档来自技高网...
【技术保护点】
1.一种医学影像识别方法，其特征在于，包括：
2.根据权利要求1所述医学影像识别方法，其特征在于，所述对所述医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和所述医学影像的图像全局特征，包括：
3.根据权利要求2所述的医学影像识别方法，其特征在于，所述采用所述医学影像识别模型对所述医学影像块进行特征提取之前，所述方法还包括：
4.根据权利要求3所述的医学影像识别方法，其特征在于，所述将所述图像特征和所述文本特征在至少一个对齐粒度下进行特征对齐，得到每一对齐粒度对应的特征对齐结果，包括：
5.根据权利要求4所述的医学影像识别方法，其特征在于，所述将所述目标图像特征和所述目标文本特征进行对齐，以得到每一对齐粒度对应的特征对齐结果，包括：
6.根据权利要求5所述的医学影像识别方法，其特征在于，所述候选图像特征包括所述医学影像样本对应的全局影像特征，所述候选文本特征包括医学报告样本对应的全局文本特征；所述将所述候选图像特征和所述候选文本特征在所述目标对齐粒度下进行特征对齐，得到所述目标对齐粒度对应的目标特征对齐结果，包
7.根据权利要求5所述的医学影像识别方法，其特征在于，所述候选图像特征还包括所述医学影像区域对应的区域影像特征，所述候选文本特征还包括文本词组对应的词组特征；所述将所述候选图像特征和所述候选文本特征在所述目标对齐粒度下进行特征对齐，得到所述目标对齐粒度对应的目标特征对齐结果，包括：
8.根据权利要求7所述的医学影像识别方法，其特征在于，所述根据所述关联度，确定所述目标对齐粒度对应的区域特征对齐结果，包括：
9.根据权利要求7所述的医学影像识别方法，其特征在于，所述在所述医学影像区域中筛选出目标医学影像区域，包括：
10.根据权利要求9所述的医学影像识别方法，其特征在于，所述基于所述区域影像特征和所述词组特征，计算所述目标医学影像区域和所述目标文本词组之间的关联度，包括：
11.根据权利要求5所述的医学影像识别方法，其特征在于，所述目标图像特征包括所述医学影像样本对应的全局影像特征，所述目标文本特征包括医学报告样本对应的全局文本特征；所述将所述候选图像特征和所述候选文本特征在所述目标对齐粒度下进行特征对齐，得到所述目标对齐粒度对应的目标特征对齐结果，包括：
12.根据权利要求11所述的医学影像识别方法，其特征在于，所述将所述辅助医学特征、所述全局影像特征和所述全局文本特征在所述辅助对齐粒度下进行特征对齐，得到所述辅助对齐粒度对应的辅助特征对齐结果，包括：
13.根据权利要求3所述的医学影像识别方法，其特征在于，所述对齐粒度包括全局对齐粒度和区域对齐粒度；所述基于所述特征对齐结果、图像特征和文本特征，对所述预设医学影像识别模型进行收敛，得到医学影像识别模型，包括：
14.根据权利要求13所述的医学影像识别方法，其特征在于，所述基于所述区域特征对齐结果、以及所述区域对齐粒度对应的区域影像特征和词组特征，确定所述医学影像区域对应的区域关联损失，包括：
15.根据权利要求14所述的医学影像识别方法，其特征在于，所述区域特征对齐结果包括医学影像样本的目标医学影像区域和医学报告样本的目标文本词组之间的关联度；所述根据所述区域特征对齐结果，确定所述区域对齐粒度对应的区域训练标签，包括：
16.根据权利要求13所述的医学影像识别方法，其特征在于，所述对齐粒度还包括辅助对齐粒度；所述基于所述样本损失、所述区域关联损失和所述报告预测损失，对所述预设医学影像识别模型进行收敛，得到医学影像识别模型，包括：
17.根据权利要求1所述的医学影像识别方法，其特征在于，所述根据所述图像局部特征和图像全局特征，对所述报告参考文本进行特征提取，得到语义特征，包括：
18.根据权利要求17所述的医学影像识别方法，其特征在于，所述将所述图像局部特征、图像全局特征和所述初始参考文本特征进行融合，得到所述语义特征，包括：
19.根据权利要求1至18任一项所述的医学影像识别方法，其特征在于，所述基于所述目标文本特征和所述报告参考文本，生成所述医学影像对应的目标医学报告，包括：
20.一种医学影像识别装置，其特征在于，包括：
...【技术特征摘要】
1.一种医学影像识别方法，其特征在于，包括：
2.根据权利要求1所述医学影像识别方法，其特征在于，所述对所述医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和所述医学影像的图像全局特征，包括：
3.根据权利要求2所述的医学影像识别方法，其特征在于，所述采用所述医学影像识别模型对所述医学影像块进行特征提取之前，所述方法还包括：
4.根据权利要求3所述的医学影像识别方法，其特征在于，所述将所述图像特征和所述文本特征在至少一个对齐粒度下进行特征对齐，得到每一对齐粒度对应的特征对齐结果，包括：
5.根据权利要求4所述的医学影像识别方法，其特征在于，所述将所述目标图像特征和所述目标文本特征进行对齐，以得到每一对齐粒度对应的特征对齐结果，包括：
6.根据权利要求5所述的医学影像识别方法，其特征在于，所述候选图像特征包括所述医学影像样本对应的全局影像特征，所述候选文本特征包括医学报告样本对应的全局文本特征；所述将所述候选图像特征和所述候选文本特征在所述目标对齐粒度下进行特征对齐，得到所述目标对齐粒度对应的目标特征对齐结果，包括：
7.根据权利要求5所述的医学影像识别方法，其特征在于，所述候选图像特征还包括所述医学影像区域对应的区域影像特征，所述候选文本特征还包括文本词组对应的词组特征；所述将所述候选图像特征和所述候选文本特征在所述目标对齐粒度下进行特征对齐，得到所述目标对齐粒度对应的目标特征对齐结果，包括：
8.根据权利要求7所述的医学影像识别方法，其特征在于，所述根据所述关联度，确定所述目标对齐粒度对应的区域特征对齐结果，包括：
9.根据权利要求7所述的医学影像识别方法，其特征在于，所述在所述医学影像区域中筛选出目标医学影像区域，包括：
10.根据权利要求9所述的医学影像识别方法，其特征在于，所述基于所述区域影像特征和所述词组特征，计算所述目标医学影像区域和所述目标文本词组之间的关联度，包括：
11.根据权利要求5所述的医学影像识别方法，其特征在于，所述目标图像特征包括所述医学影像样本对应的全局影...
【专利技术属性】
技术研发人员：朱志宏，张云燕，吴贤，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。