基于多模态机器学习的分类方法、在线新冠肺炎预警模型训练方法及预警方法技术

本发明专利技术公开了基于多模态机器学习的分类方法、在线新冠肺炎预警模型训练方法及预警方法。能够通过多种单项数据的采集，进而实现对对象的分类。并且由于先利用分类器进行单项数据的分类，再利用神经网络对单项数据的分类结果进行进一步分类，使得模型训练时长更短，且对硬件性能要求更低。本发明专利技术利用这种分类方法，还能够实现对于新冠肺炎的在线预警，能够快速确定需要进行核酸检测的对象，既保证了疑似患者得到检测，又避免了检测资源的浪费，在新冠肺炎的防治过程中能够起到积极的作用。

【技术实现步骤摘要】
基于多模态机器学习的分类方法、在线新冠肺炎预警模型训练方法及预警方法
本专利技术属于结合多模态的机器学习领域，具体涉及基于多模态机器学习的分类方法、在线新冠肺炎预警模型训练方法及预警方法。
技术介绍
在抗疫过程中，由于核酸检测时间较长且检测资源有限。因此，为了节省检测资源，提高检测的准确率，需要先确定哪些应当进行核酸检测。现有的方法通常是根据对象是否发烧来判断是否需要核酸检测，这种判断方法考虑因素过少且判断结果准确性差，导致大量需要检测的疑似患者未能得到检测，且大量其他疾病患者占用了宝贵的检测资源。在抗疫过程中，由于核酸检测时间较长且检测资源有限。因此，为了节省检测资源，提高检测的准确率，需要先确定哪些应当进行核酸检测。现有的方法通常是根据对象是否发烧来判断是否需要核酸检测，这种判断方法考虑因素过少且判断结果准确性差，导致大量需要检测的疑似患者未能得到检测，且大量其他疾病患者占用了宝贵的检测资源。因此，如何根据采集到的对象信息，判断出对象是应当接受核酸检测，对其进行及时且精准的预警，成为了本领域技术人员急需解决的问题。
技术实现思路
为了解决上述技术问题，本专利技术采用了如下的技术方案：基于多模态机器学习的分类方法，包括：S101、获取待分类数据样本，待分类数据样本包括多种单项数据；S102、提取每种单项数据的特征得到待分类数据样本特征；S103、将待分类数据样本特征输入多模态机器学习的分类模型，输出分类结果，所述多模态机器学习的分类模型包括多个分类器及单隐层神经网络，每个分类器的输入为一种单项数据的特征，单隐层神经网络的输入为所有分类器的输出，单隐层神经网络的输出为分类结果。优选地，所述多模态机器学习的分类模型的训练方法如下：S201、获取综合数据集及所述综合数据集对应的多个单项数据集，综合数据集包括所述多种单项数据及与所述多种单项数据对应的综合标记，每个单项数据集包括一种单项数据及对应的单项标记；S202、提取每个单项数据集的特征；S203、基于每个单项数据集的特征及对应的单项标记完成每个分类器的训练；S204、使用误差逆传播算法及综合数据集完成单隐层神经网络的训练。基于多模态机器学习的在线新冠肺炎预警模型训练方法，包括：S301、获取新冠肺炎综合数据集及所述新冠肺炎综合数据集对应的多个新冠肺炎单项数据集，新冠肺炎综合数据集包括所述多种新冠肺炎单项数据及与所述多种新冠肺炎单项数据对应的新冠肺炎综合标记，每个新冠肺炎单项数据集包括一种新冠肺炎单项数据及对应的新冠肺炎单项标记；S302、提取每个新冠肺炎单项数据集的特征；S303、基于每个新冠肺炎单项数据集的特征及对应的新冠肺炎单项标记完成每个分类器的训练；S304、使用误差逆传播算法及新冠肺炎综合数据集完成单隐层神经网络的训练。优选地，所述多种新冠肺炎单项数据集包括疑似咳嗽音数据集、肺音数据集、心音数据集及体温数据集。优选地，疑似咳嗽音数据集包括多段包含咳嗽音的音频和不包含咳嗽音的音频，疑似咳嗽音数据集中的标记包括咳嗽和不咳嗽；肺音数据集包括多段肺音音频，肺音数据集的标记包括正常、干啰音及湿啰音；心音数据集包括多段心音音频，心音数据集的标记包括正常和不正常；体温数据集包括多个体温数据，体温数据集的标记包括发烧、发热、轻度发热及正常；所述提取每个新冠肺炎单项数据集的特征包括：对于疑似咳嗽音数据集中包含咳嗽音的音频，使用短时平均能量的方法提取出感兴趣的固定时长的咳嗽音片段，对片段计算梅尔倒频系数，得到咳嗽音的特征向量；对于肺音音频，使用小波分解将肺音音频波形分解为9组波形，对每一组提取频率特征，作为肺音音频的特征向量；对于心音音频，使用短时平均能量的方法提取出第一心音与第二心音，再对第一心音与第二心音进行小波分解，提取频率特征，得到心音音频的特征向量；对体温数据，将体温数值作为特征向量。优选地，新冠肺炎综合数据集包括多位采集对象的疑似咳嗽音片段、肺音片段、心音片段与体温数据，以及采集对象是否满足预警条件的标记，采集对象包括新冠肺炎患者、疑似感染但未感染者、其它呼吸道疾病患者与健康者，新冠肺炎患者与疑似感染但未感染者标记为满足预警条件。基于多模态机器学习的在线新冠肺炎预警方法，包括：S701、采集待识别数据样本，待识别数据样本包括多种单项数据；S702、提取每种单项数据的特征得到待识别数据样本特征；S703、将待识别数据样本特征输入训练后的基于多模态机器学习的在线新冠肺炎预警模型；S704、当待识别数据样本满足预警条件时，进行预警。综上所述，本专利技术公开了基于多模态机器学习的分类方法、在线新冠肺炎预警模型训练方法及预警方法。能够通过多种单项数据的采集，进而实现对对象的分类。并且由于先利用分类器进行单项数据的分类，再利用神经网络对单项数据的分类结果进行进一步分类，使得模型训练时长更短，且对硬件性能要求更低。本专利技术利用这种分类方法，还能够实现对于新冠肺炎的在线预警，能够快速确定需要进行核酸检测的对象，既保证了疑似患者得到检测，又避免了检测资源的浪费，在新冠肺炎的防治过程中能够起到积极的作用。附图说明为了使专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中：图1为本专利技术公开的基于多模态机器学习的分类方法的一种具体实施方式的流程图；图2为本专利技术公开的基于多模态机器学习的在线新冠肺炎预警模型训练方法的流程图图3为本专利技术公开的基于多模态机器学习的在线新冠肺炎预警模型训练方法的一种具体实施方式的流程图；图4为本专利技术中基于多模态机器学习的在线新冠肺炎预警模型的运行流程图；图5为本专利技术实施例中的咳嗽音预处理与特征提取示意图；图6为本专利技术实施例中的肺音预处理与特征提取示意图；图7为本专利技术实施例中的心音预处理与特征提取示意图；图8为本专利技术实施例中的体温决策树示意图；图9为本专利技术实施例中的单隐层神经网络与多模型融合示意图。具体实施方式下面结合附图对本专利技术作进一步的详细说明。如图1所示，本专利技术公开了基于多模态机器学习的分类方法，包括：S101、获取待分类数据样本，待分类数据样本包括多种单项数据；S102、提取每种单项数据的特征得到待分类数据样本特征；S103、将待分类数据样本特征输入多模态机器学习的分类模型，输出分类结果，所述多模态机器学习的分类模型(如图9所示)包括多个分类器及单隐层神经网络，每个分类器的输入为一种单项数据的特征，单隐层神经网络的输入为所有分类器的输出，单隐层神经网络的输出为分类结果。现有技术中，一个要同时处理多种音频数据的神经网络，往往包含很多的隐层，规模比较大，训练与预测都需要比较高的计算性能，需要的计算设备昂贵且笨重。而SVM、决策树、单隐层神经等所需的计算性能比本文档来自技高网...

【技术保护点】
1.基于多模态机器学习的分类方法，其特征在于，包括：/nS101、获取待分类数据样本，待分类数据样本包括多种单项数据；/nS102、提取每种单项数据的特征得到待分类数据样本特征；/nS103、将待分类数据样本特征输入多模态机器学习的分类模型，输出分类结果，所述多模态机器学习的分类模型包括多个分类器及单隐层神经网络，每个分类器的输入为一种单项数据的特征，单隐层神经网络的输入为所有分类器的输出，单隐层神经网络的输出为分类结果。/n

【技术特征摘要】
1.基于多模态机器学习的分类方法，其特征在于，包括：
S101、获取待分类数据样本，待分类数据样本包括多种单项数据；
S102、提取每种单项数据的特征得到待分类数据样本特征；
S103、将待分类数据样本特征输入多模态机器学习的分类模型，输出分类结果，所述多模态机器学习的分类模型包括多个分类器及单隐层神经网络，每个分类器的输入为一种单项数据的特征，单隐层神经网络的输入为所有分类器的输出，单隐层神经网络的输出为分类结果。


2.如权利要求1所述的基于多模态机器学习的分类方法，其特征在于，所述多模态机器学习的分类模型的训练方法如下：
S201、获取综合数据集及所述综合数据集对应的多个单项数据集，综合数据集包括所述多种单项数据及与所述多种单项数据对应的综合标记，每个单项数据集包括一种单项数据及对应的单项标记；
S202、提取每个单项数据集的特征；
S203、基于每个单项数据集的特征及对应的单项标记完成每个分类器的训练；
S204、使用误差逆传播算法及综合数据集完成单隐层神经网络的训练。


3.基于多模态机器学习的在线新冠肺炎预警模型训练方法，其特征在于，所述基于多模态机器学习的在线新冠肺炎预警模型包括多个分类器及单隐层神经网络，每个分类器的输入为一种单项数据的特征，单隐层神经网络的输入为所有分类器的输出，单隐层神经网络的输出为分类结果，包括：
S301、获取新冠肺炎综合数据集及所述新冠肺炎综合数据集对应的多个新冠肺炎单项数据集，新冠肺炎综合数据集包括所述多种新冠肺炎单项数据及与所述多种新冠肺炎单项数据对应的新冠肺炎综合标记，每个新冠肺炎单项数据集包括一种新冠肺炎单项数据及对应的新冠肺炎单项标记；
S302、提取每个新冠肺炎单项数据集的特征；
S303、基于每个新冠肺炎单项数据集的特征及对应的新冠肺炎单项标记完成每个分类器的训练；
S304、使用误差逆传播算法及新冠肺炎综合数据集完成单隐层神经网络的训练。


4.如权利要求3所述的基于多模态机器学习...

【专利技术属性】
技术研发人员：冯永，王彬，黄旺辉，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50