基于多模态数据进行辨识的方法、电子设备及存储介质技术

本公开提供一种基于多模态数据进行辨识的方法、电子设备及计算机可读存储介质。该方法包括：取得数据串；将数据串馈入第一深度神经网络，以产生第一特征图；基于数据串产生多维度数据；将多维度数据馈入第二深度神经网络，以产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于数据串的辨识结果。借此，可让机器学习模型仅基于少量的训练数据即可达到良好的辨识效果，进而相应地降低用于对数据进行标注的时间及人力成本。对数据进行标注的时间及人力成本。对数据进行标注的时间及人力成本。

【技术实现步骤摘要】
基于多模态数据进行辨识的方法、电子设备及存储介质


[0001]本公开涉及一种数据辨识技术，尤其涉及一种基于多模态数据进行辨识的方法、电子设备及计算机可读存储介质。

技术介绍

[0002]在相关技术中，一般所称的信号分类技术多半是使用某些经训练的分类器(例如深度神经网络(deep neural network，DNN)、支持向量机(support vector machine，SVM)、随机森林(random forest)等)来对单一维度的信号/数据串进行分类。然而，此种分类方式在某些情况下可能难以达到理想的分类效果。
[0003]举例而言，在判断人类的心电信号是否出现异常时，医师一般是基于二维的心电图上的波形变化进行判断，而不是基于原始的一维心电数值/数据直接进行判读。
[0004]并且，在训练能基于一维心电信号进行判断的分类器时，由于一维心电信号记录的是随时间而变的心脏电生理活动(其单位为毫伏特)，因此分类器在训练中所学习到的可能只是电压变化量的特征，而无法学习到一些临床上重要的特征，例如RR区间(即，两个相邻心跳的R波之间的时长)的变化。另外，若让分类器仅基于二维心电图进行学习，则分类器可能无法学习到电压变化量的特征。

技术实现思路

[0005]有鉴于此，本公开提供一种基于多模态数据进行辨识的方法、电子设备及计算机可读存储介质，以期至少部分地解决上述技术问题。
[0006]本公开提供一种基于多模态数据进行辨识的方法，包括：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。
[0007]一种基于多模态数据进行辨识的电子设备，包括存储装置及处理器。存储装置存储一程序代码。处理器耦接存储装置，并存取程序代码以执行：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。
[0008]本公开提供一种计算机可读存储介质，上述计算机可读存储介质记录可执行的计
算机程序，上述可执行的计算机程序由电子设备加载以执行以下步骤：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。
[0009]基于上述，本公开可在取得第一数据串之后，相应地取得对应的第一特征图。另外，本公开还可将第一数据串转换为对应的多维度数据，再取得对应的第二特征图。之后，本公开可通过特定的机制将第一特征图及第二特征图融合为特定特征向量，再由经训练的机器学习模型基于此特定特征向量而输出对应的辨识结果。借此，可让机器学习模型仅基于少量的训练数据即可达到良好的辨识效果，进而相应地降低用于对数据进行标注的时间及人力成本。
附图说明
[0010]将附图并入本说明书中并构成本说明书的一部分，结合附图以便进一步理解本公开的实施例。以下，将参照附图来描述本公开的实施例，并解释本公开的原理。
[0011]图1A是根据本公开的实施例绘示的基于一维数据串进行分类的示意图；
[0012]图1B是根据本公开的实施例绘示的对应于单一心跳的正常心电图；
[0013]图1C是根据本公开的实施例绘示的具有AF的患者的心电图；
[0014]图2A是根据本公开的实施例绘示的多个未包含AF病征的心电图；
[0015]图2B是根据本公开的实施例绘示的多个包含AF病征的心电图；
[0016]图3是根据本公开的实施例绘示的基于多模态数据进行辨识的电子设备示意图；
[0017]图4是根据本公开第一实施例绘示的基于多模态数据进行辨识的方法流程图；
[0018]图5A是根据本公开第一实施例绘示的应用场景图；
[0019]图5B是根据本公开第一实施例绘示的融合机制示意图；
[0020]图6是根据本公开第二实施例绘示的基于多模态数据进行辨识的方法流程图；
[0021]图7A是根据本公开第二实施例绘示的应用场景图；
[0022]图7B是根据本公开第二实施例绘示的融合机制示意图。
具体实施方式
[0023]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。
[0024]现将详细地参考本公开的示例性的实施例，示例性实施例的实例说明在附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
[0025]图1A是根据本公开的实施例绘示的基于一维数据串进行分类的示意图。在图1A中，假设数据串110为从某患者测量到的一维心电信号，而分类器112例如是可判读数据串110中是否包含心房颤动(Atrial fibrillation，AF)病征的判读模型(例如是一深度学习网络/机器学习模型)。
[0026]如上述所提及的，分类器112可能在训练的过程中因无法学习到一些临床上重要的特征而无法达到良好的分类效果。以下将作进一步说明。
[0027]图1B是根据本公开的实施例绘示的对应于单一心跳的正常心电图。由图1B可看出，一个正常的心跳所对应的心电图将会包括P、Q、R、S、T等波形，其中，R对应于上述提及的R波，而P波例如是因应于心房除极所产生。
[0028]图1C是根据本公开的实施例绘示的具有AF的患者的心电图。由图1C可看出，其除了可看出不规则的心室节律之外，且也不存在源自于心房除极的P波，而这些临床上的特征都无法在分类器112的训练过程中让分类器112学习到。因此，若让分类器112基于对应于图1C的一维心电信号进行判读，将可能出现将图1C误判为无AF病征的情形。
[0029]图2A是根据本公开的实施例绘示的多个未包含AF病征的心电图。在本实施例中，由于心电图211的RR区间规律，所以应该可以正确地判别心电图211中未包含AF病征。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据进行辨识的方法，包括：取得第一数据串；将所述第一数据串馈入第一深度神经网络，其中，所述第一深度神经网络通过提取所述第一数据串的特征而产生第一特征图；基于所述第一数据串产生多维度数据，其中，所述多维度数据的维度高于所述第一数据串的维度；将所述多维度数据馈入第二深度神经网络，其中，所述第二深度神经网络通过提取所述多维度数据的特征而产生第二特征图；至少将所述第一特征图及所述第二特征图融合为特定特征向量；将所述特定特征向量馈入机器学习模型，其中，所述机器学习模型因应于所述特定特征向量而输出对应于所述第一数据串的辨识结果。2.根据权利要求1所述的方法，其中，所述第一深度神经网络包括第一卷积神经网络及递归神经网络，且所述方法包括：将所述第一数据串馈入所述第一卷积神经网络，其中，所述第一卷积神经网络因应于所述第一数据串而输出第一空间特征向量；以及将所述第一空间特征向量馈入所述递归神经网络，其中，所述递归神经网络因应于所述第一空间特征向量而输出第一时间特征向量作为所述第一特征图。3.根据权利要求1所述的方法，其中，所述第二深度神经网络包括第二卷积神经网络，且所述方法包括：将所述多维度数据馈入所述第二卷积神经网络，其中，所述第二卷积神经网络因应于所述多维度数据而输出第二空间特征向量作为所述第二特征图。4.根据权利要求1所述的方法，其中，至少将所述第一特征图及所述第二特征图融合为所述特定特征向量的步骤包括：将所述第一特征图馈入第三卷积神经网络，其中，所述第三卷积神经网络因应于所述第一特征图而输出第一参考特征向量；依据所述第二特征图的尺寸将多个所述第一参考特征向量堆栈为第二参考特征向量，其中，所述第二特征图的尺寸与所述第二参考特征向量的尺寸相同；将所述第二参考特征向量转换为第三参考特征向量；以及基于所述第二特征图与所述第三参考特征向量产生所述特定特征向量。5.根据权利要求4所述的方法，其中，将所述第二参考特征向量转换为所述第三参考特征向量的步骤包括：将所述第二参考特征向量输入Sigmoid函数，其中，所述Sigmoid函数因应于所述第二参考特征向量而输出所述第三参考特征向量，其中，所述第三参考特征向量中的各个元素介于0与1之间。6.根据权利要求4所述的方法，其中，基于所述第二特征图与所述第三参考特征向量产生所述特定特征向量的步骤包括：基于所述第二特征图与所述第三参考特征向量执行注意力机制，以产生所述特定特征向量。7.根据权利要求1所述的方法，还包括：
将所述第一数据串馈入第三深度神经网络，其中，所述第三深度神经网络通过提取所述第一数据串的特征而产生第三特征图，且至少将所述第一特征图及所述第二特征图融合为所述特定特征向量的步骤包括：将所述第一特征图、所述第二特征图及所述第三特征图融合为所述特定特征向量。8.根据权利要求7所述的方法，其中，所述第一深度神经网络包括第一卷积神经网络，且所述方法包括：将所述第一数据串馈入所述第一卷积神经网络，其中，所述第一卷积神经网络因应于所述第一数据串而输出第三空间特征向量作为所述第一特征图。9.根据权利要求7所述的方法，其中，所述第三深度神经网络包括递归神经网络，且所述方法包括：将所述第一数据串馈入所述递归神经网络，其中，所述递归卷积神经网络因应于所述第一数据串而输出第二时间特征向量作为所述第三特征图。10.根据权利要求7所述的方法，其中，将所述第一特征图、所述第二特征图及所述第三特征图融合为所述特定特征向量的步骤包括：将所述第一特征图馈入第四卷积神经网络，其中，所述第四卷积神经网络因应于所述第一特征图而输出第四参考特征向量；依据所述第二特征图的尺寸将多个所述第四参考特征向量堆栈为第五参考特征向量，其中，所述第二特征图的尺寸与所述第五参考特征向量的尺寸相同；将所述第五参考特征向量转换为第六参考特征向量；以及将所述第三特征图馈入第五卷积神经网络，其中，所述第五卷积神经网络因应于所述第三特征图而输出第七参考特征向量；依据所述第二特征图的尺寸将多个所述第七参考特征向量堆栈为第八参考特征向量，其中，所述第二特征图的尺寸与所述第八参考特征向量的尺寸相同；将所述第八参考特征向量转换为第九参考特征向量；以及基于所述第二特征图、所述第六参考特征向量及所述第九特征向量产生所述特定特征向量。11.根据权利要求10所述的方法，其中，将所述第五参考特征向量转换为所述第六参考特征向量的步骤包括：将所述第五参考特征向量输入Sigmoid函数，其中，所述Sigmoid函数因应于所述第五参考特征向量而输出所述第六参考特征向量，其中，所述第六参考特征向量中的各个元素介于0与1之间；其中，将所述第八参考特征向量转换为所述第九参考特征向量的步骤包括：将所述第八参考特征向量输入所述Sigmoid函数，其中，所述Sigmoid函数因应于所述第八参考特征向量而输出所述第九参考特征向量，其中，所述第九参考特征向量中的各个元素介于0与1之间。12.根据权利要求10所述的方法，其中，基于所述第二特征图、所述第六参考特征向量及所述第九特征向量产生所述特定特征向量的步骤包括：基于所述第二特征图、所述第六参考特征向量及所述第九特征向量执行注意力机制，以产生所述特定特征向量。
13.根据权利要求1所述的方法，其中，所述多维度数据报括基于所述第一数据串绘制的波形影像。14.一种基于多模态数据进行辨识的电子设备，包括：存储装置，其存储程序代码；处理器，其耦接所述存储装置，并存取所述程序代码以执行：取得第一数据串；将所述第一数据串馈入第一深度神经网络，其中，所述第一深度神经网络通过提取所述第一数据串的特征而产生第一特征图；基于所述第一数据串产生多维度数据，其...

【专利技术属性】
技术研发人员：黄圣棋，王鼎元，刘容慈，李雅文，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：