基于多模态数据的疾病辅助检测设备、方法、装置及介质制造方法及图纸

本发明专利技术实施例涉及医疗技术领域，公开了一种基于多模态数据的疾病辅助检测设备、方法、装置及介质，该设备的处理器用于执行：获取待检测对象针对目标部位的特征图像；从特征图像的多个子序列中选取多个目标子序列，并对每个目标子序列中的每个子特征图像进行预处理；将预处理得到的每个子特征图像对应的图像数据输入第一风险预测模型中，得到特征图像对待检测对象患病的第一风险概率；将第一风险概率和待检测对象的临床结构化数据输入第二风险预测模型，得到待检测对象患病的第二风险概率，以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患病的风险概率。本发明专利技术涉及区块链技术，上述风险概率可存储于区块链中。

【技术实现步骤摘要】
基于多模态数据的疾病辅助检测设备、方法、装置及介质
本专利技术涉及医疗
，尤其涉及一种基于多模态数据的疾病辅助检测设备、方法、装置及介质。
技术介绍
目标，对于各种疾病的诊断传统的方法主要是根据专家经验人工判断是否患某种疾病，然而，这种方式受限于医生的主观判断因素。目前也存在一些机器学习的方法来对辅助诊断疾病，比如用临床特征进行预后预测，但是缺乏影像组学的信息。针对影像组学，也有一些方法可以从影像中人工提取结构化特征，并将其与临床特征一起进行预测，这类方法提取的人工特征的信息量也取决于工程人员的设计经验。在深度学习领域，也提出了一些方法，用以从影像中检索病灶，或者直接提取特征图，但这类方法需要提前对影像数据进行人工勾画，需要耗费大量的时间和精力。因此，如何更有效地辅助诊断疾病非常重要。
技术实现思路
本专利技术实施例提供了一种基于多模态数据的疾病辅助检测设备、方法、装置及介质，可以满足用户对检测疾病的智能化和自动化需求，有效地确定出待检测对象患与所述目标部位关联的疾病的风险概率，有助于更有效地辅助确定疾病。第一方面，本专利技术实施例提供了一种基于多模态数据的疾病辅助检测设备，所述设备包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。进一步地，所述处理器从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。进一步地，所述处理器对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。进一步地，所述处理器将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。进一步地，所述处理器将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。进一步地，所述处理器根据所述风险评估概率和所述样本特征图像的标签信息训练所述指定的卷积神经网络模型，得到所述第一风险预测模型时，具体用于：根据所述风险评估概率和所述样本特征图像的标签信息确定损失函数值；根据所述损失函数值对所述指定的卷积神经网络模型的参数进行调整，并在调整参数后重新训练所述指定的卷积神经网络模型，得到所述第一风险预测模型。进一步地，所述处理器将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率之后，还用于：根据所述待检测对象患与所述目标部位关联的疾病的第二风险概率，确定所述待检测对象患与所述目标部位关联的疾病的风险分级；将所述待检测对象患与所述目标部位关联的疾病的第二风险概率输入指定的分析模型，得到各预测因子对所述第二风险概率的影响值。第二方面，本专利技术实施例提供了一种基于多模态数据的疾病辅助检测方法，包括：获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。第三方面，本专利技术实施例提供了一种基于多模态数据的疾病辅助检测装置，包括：获取单元，用于获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；处理单元，用于从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；第一预测单元，用于将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；第二预测单元，用于获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。第四方面，本专利技术实施例提供了一种计算机可读存储介质本文档来自技高网...

【技术保护点】
1.一种基于多模态数据的疾病辅助检测设备，其特征在于，所述设备包括：存储器和处理器；/n所述存储器，用于存储程序指令；/n所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：/n获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；/n从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；/n将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；/n获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。/n

【技术特征摘要】
1.一种基于多模态数据的疾病辅助检测设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：
获取待检测对象针对目标部位的核磁共振设备检查得到的特征图像，其中，所述特征图像中包括多个子序列，每个子序列包括多个子特征图像；
从所述特征图像中的多个子序列中选取多个目标子序列，并对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理；
将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中，得到所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率；
获取所述待检测对象的临床结构化数据，并将所述特征图像对所述待检测对象患与所述目标部位关联的疾病的第一风险概率和所述临床结构化数据作为预测因子输入第二风险预测模型，得到所述待检测对象患与所述目标部位关联的疾病的第二风险概率。


2.根据权利要求1所述的设备，其特征在于，所述处理器从所述特征图像中的多个子序列中选取多个目标子序列时，具体用于：
获取所述特征图像中包括的多个子序列；
根据与所述目标部位关联的疾病的特点从所述特征图像中的多个子序列中选取多个目标子序列，其中，每个目标子序列包括多个子特征图像。


3.根据权利要求2所述的设备，其特征在于，所述处理器对所述多个目标子序列中的每个目标子序列中的每个子特征图像进行预处理时，具体用于：
根据预设尺寸利用线性插值方法对所述多个目标子序列中的每个目标子序列的子特征图像进行裁剪处理；
对裁剪处理得到的每个目标子序列的子特征图像进行归一化处理。


4.根据权利要求1所述的设备，其特征在于，所述处理器将所述预处理得到的每个子特征图像对应的图像数据输入训练得到的第一风险预测模型中之前，还用于：
获取训练集中的样本特征图像，其中，所述样本特征图像为患有与所述目标部位关联的疾病的患者对象针对目标部位的核磁共振设备检查得到的特征图像；
对所述样本特征图像添加标签信息，其中，所述标签信息包括患病标签和患病时长标签；
从所述添加标签信息的样本特征图像的多个子序列中选取多个目标子序列，并对从所述样本特征图像中选取的所述多个目标子序列中的每个目标子序列中的每个子样本特征图像进行预处理；
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型。


5.根据权利要求4所述的设备，其特征在于，所述处理器将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型，训练得到所述第一风险预测模型时，具体用于：
将所述预处理得到的每个子样本特征图像对应的图像数据输入指定的卷积神经网络模型中，得到所述每个子样本特征图像对应的卷积特征向量；
将得到的所述每个子样本特征图像对应的卷积特征向量进行拼接处理，得到目标特征向量；
根据所述目标特征向量确定所述样本特征图像对所述患者对象患与所述目标部位关联的疾病的的风险评估概率；
根据所...

【专利技术属性】
技术研发人员：孙瑜尧，李映雪，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44