肺部特征识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，本发明专利技术公开了一种肺部特征识别方法、装置、计算机设备及存储介质，所述方法包括：通过获取包括待识别肺部图像和待识别肺部文本描述的待识别数据；通过肺部图像识别模型进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过肺部文本识别模型进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过肺部融合识别模型使用注意力机制融合肺部图像特征向量和肺部文本特征向量，并提取图像文本融合特征进行识别，得到融合识别结果；通过投票表决得到肺部特征识别结果。本发明专利技术实现了准确地识别出肺部特征，提高了识别准确率和可靠性。本发明专利技术适用于智慧医疗等领域，可进一步推动智慧城市的建设。

【技术实现步骤摘要】
肺部特征识别方法、装置、计算机设备及存储介质
本专利技术涉及人工智能的图像分类领域，尤其涉及一种肺部特征识别方法、装置、计算机设备及存储介质。
技术介绍
在目前医疗体系下，肺部特征的识别主要依靠医务人员根据自己的经验对肺部影像信息进行人工判别，因为肺部组织运动是不均匀、复杂的，所以在判别过程中不仅需耗费医务人员的时间、精力，而且存在判断错误的风险，同时在判别过程中往往仅对肺部影像信息进行识别，未结合该肺部影像信息的主诉信息（针对肺部影像信息的文本描述）进行识别，容易丢失肺部组织运动的信息，导致准确率不高，效率低下。
技术实现思路
本专利技术提供一种肺部特征识别方法、装置、计算机设备及存储介质，实现了通过包括肺部图像识别模型、肺部文本识别模型、肺部融合识别模型的肺部特征识别模型，并运用注意力机制，以及结合待识别肺部图像和待识别肺部文本描述进行识别，实现了自动地、快速地、准确地识别出肺部特征，提高了识别准确率和可靠性，提升了识别效率。本专利技术适用于智慧医疗等领域，可进一步推动智慧城市的建设。一种肺部特征识别方法，包括：获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。一种肺部特征识别装置，包括：接收模块，用于获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；输入模块，用于将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；第一识别模块，用于通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；第二识别模块，用于通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；表决模块，用于通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述肺部特征识别方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述肺部特征识别方法的步骤。本专利技术提供的肺部特征识别方法、装置、计算机设备及存储介质，通过获取待识别数据；所述待识别数据包括待识别肺部图像和待识别肺部文本描述；将所述待识别数据输入至包含有肺部图像识别模型、肺部文本识别模型和肺部融合识别模型的肺部特征识别模型；通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，如此，实现了通过肺部图像识别模型识别待识别肺部图像，得到图像识别结果，通过肺部文本识别模型识别待识别肺部文本描述，得到文本识别结果，再结合待识别肺部图像和待识别文本描述，运用注意力机制，通过肺部融合识别模型提取图像文本融合特征进行识别，得到融合识别结果，最后根据所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，得出肺部特征识别结果，实现了结合待识别肺部图像和待识别肺部文本描述，通过基于多模态模型的肺部特征识别模型自动地、快速地、准确地识别出肺部特征，提高了识别准确率和可靠性，提升了识别效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中肺部特征识别方法的应用环境示意图；图2是本专利技术一实施例中肺部特征识别方法的流程图；图3是本专利技术一实施例中肺部特征识别方法的步骤S30的流程图；图4是本专利技术另一实施例中肺部特征识别方法的步骤S30的流程图；图5是本专利技术一实施例中肺部特征识别方法的步骤S40的流程图；图6是本专利技术一实施例中肺部特征识别方法的步骤S50的流程图；图7是本专利技术一实施例中肺部特征识别装置的原理框图；图8是本专利技术一实施例中计算机设备的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的肺部特征识别方法，可应用在如图1的应用环境中，其中，客户端（计算机设备）通过网络与服务器进行通信。其中，客户端（计算机设备）包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供一种肺部特征识别方法，其技术方案主要包括以下步骤S10-S50：S10，获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述。可理解地，所述待识别肺部图像为通过肺部拍摄设备采集到的图像，所述肺部拍摄设备可以根据需求选择，比如肺部拍摄设备为CT设备、X光机或三维投影设备等等，所述肺部文本描述为针对所述待识别肺部图像中的肺部特征的描述，即所述肺部文本描述为针对所述待识别肺部图本文档来自技高网...

【技术保护点】
1.一种肺部特征识别方法，其特征在于，包括：/n获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；/n将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；/n通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；/n通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；/n通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。/n

【技术特征摘要】
1.一种肺部特征识别方法，其特征在于，包括：
获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；
将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；
通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。


2.如权利要求1所述的肺部特征识别方法，其特征在于，所述通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，包括：
通过所述肺部图像识别模型将所述待识别肺部图像拆分成红色通道图像、绿色通道图像和蓝色通道图像，所述肺部图像识别模型为基于VGG19构建的网络模型；
通过所述肺部图像识别模型分别对所述红色通道图像、所述绿色通道图像和所述蓝色通道图像进行卷积提取，得到与所述红色通道图像对应的红色特征向量、与所述绿色通道图像对应的绿色特征向量和与所述蓝色通道图像对应的蓝色特征向量；
通过所述肺部图像识别模型对所述红色特征向量、绿色特征向量和蓝色特征向量进行图像识别，得到所述图像识别结果。


3.如权利要求1所述的肺部特征识别方法，其特征在于，所述通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果，包括：
通过所述肺部文本识别模型对所述待识别肺部文本描述进行分词，并构建与所述待识别肺部文本描述对应的文本词向量，所述肺部文本识别模型为基于TextCNN构建的网络模型；
将所述文本词向量进行通道扩充，生成第一文本词向量、第二文本词向量和第三文本词向量；
通过所述肺部文本识别模型分别对所述第一文本词向量、所述第二文本词向量和所述第三文本词向量进行卷积提取，得到与所述第一文本词向量对应的第一文本特征向量、与所述第二文本词向量对应的第二文本特征向量和与所述第三文本词向量对应的第三文本特征向量；
通过所述肺部文本识别模型对所述第一文本特征向量、第二文本特征向量和与第三文本特征向量进行文本识别，得到所述文本识别结果。


4.如权利要求1所述的肺部特征识别方法，其特征在于，所述通过所述肺部融合识别模型使用注意力机制，融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果，包括：
运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；
通过所述肺部融合识别模型对所述融合特征向量进行所述图像文本融合特征的提取；
通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果。


5.如权利要求4所述的肺部特征识别方法，其特征在于，所述肺部图像特征向量包括红色特征向量、绿色特征向量和蓝色特征向量；所述肺部文本特征向量包括第一文本特征向量、第二文本特征向量和第三文本特征向量；
所述肺部图像识别模型、所述肺部文字识别模型和所述肺部融合识别模型均具有相同的卷积层级，并且三个模型中均设有与每一个卷积层级对应的卷积层；
所述通过所述肺部融合识别模型中的与各卷积层对应的权重参数将所述肺部图像特征向量和所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量，包括：
将与相同卷积层级对应的所...

【专利技术属性】
技术研发人员：朱昭苇，孙行智，胡岗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44