特征提取方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种特征提取方法、装置、计算机设备及存储介质，该方法包括：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。本申请的方案，能够提高特征提取的准确性。

Feature extraction method, device, computer equipment and storage medium

【技术实现步骤摘要】
特征提取方法、装置、计算机设备及存储介质
本专利技术涉及计算机
，特别是涉及一种特征提取方法、装置、计算机设备及存储介质。
技术介绍
随着科学技术的飞速发展，大量先进技术不断涌现。特征提取技术则为其中一个比较重要的技术。实际应用中，数据通常采自于多个数据源或数据信道，表现为多个模态。一般来说，不同模态能够从数据的不同侧面反映数据的不同特征，进而能够为彼此提供信息的互补，共同支撑数据的融合学习，所以多模态的特征数据融合，在特征提取技术中受到广泛重视。传统方法中，是直接将各模态特征向量连接到一起，形成对象的特征向量。这种方法忽略了数据不同模态的不同统计特性，导致直接拼接得到的特征向量无法准确地表达目标对象的特征。
技术实现思路
基于此，有必要针对传统方法生成的特征不够准确的问题，提供一种特征提取方法、装置、计算机设备及存储介质。一种特征提取方法，所述方法包括：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。在其中一个实施例中，所述确定各模态的所述原始特征数据和重构的特征数据之间的差异包括：构建机器学习模型；所述机器学习模型的目标函数，用于表征各模态的所述原始特征数据和重构的特征数据之间的差异；所述通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化包括：通过迭代训练最小化所述机器学习模型的目标函数的值，并在每轮迭代中，更新所述共享特征数据的值和各私有特征数据的值，直至满足迭代停止条件；获取在满足迭代停止条件时的共享特征数据的值，得到所述差异最小化时的共享特征数据的值。在其中一个实施例中，所述方法还包括：确定各模态的局部不变规则化因子；所述局部不变规则化因子，用于调节第一相似结构和第二相似结构之间的一致性；所述第一相似结构，为每个模态的原始特征数据之间的相似结构；第二相似结构，为每个模态中各原始特征数据被映射降维后的子共享特征数据之间的相似结构；所述构建机器学习模型包括：构建基本机器学习模型；所述基本机器学习模型的目标函数，用于表征各模态的所述原始特征数据和重构的特征数据之间的差异；组合所述基本机器学习模型和各模态的局部不变规则化因子，得到机器学习模型。在其中一个实施例中，所述确定各模态的局部不变规则化因子包括：针对每个模态，获取所述模态的数据权重矩阵；所述数据权重矩阵中各权重，用于表征所述模态的两两原始特征数据之间的距离远近程度；确定所述两两原始特征数据映射降维后的子共享特征数据之间的相似度；耦合所述数据权重矩阵和所述相似度，得到各模态的局部不变规则化因子。在其中一个实施例中，所述针对每个模态，获取所述模态的数据权重矩阵包括：针对每个模态，将所述模态的各原始特征数据作为顶点，构建最近邻图；根据所述最近邻图中共边的顶点之间的距离，确定最近邻图中各边的权重；根据各边的权重，构建所述模态在原始数据空间中对应的数据权重矩阵。在其中一个实施例中，所述对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据包括：分别获取各模态对应的共享映射矩阵和私有映射矩阵；将各模态的原始特征数据，按照对应的共享映射矩阵进行映射分解，得到共享特征变量矩阵；将各模态的原始特征数据，分别按照对应的私有映射矩阵进行映射分解，得到私有特征变量矩阵。在其中一个实施例中，所述根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据包括：将所述共享特征变量矩阵分别按照各模态对应的所述共享映射矩阵进行逆映射转换，得到第一逆映射结果；将各所述私有特征变量矩阵按照相应所述私有映射矩阵进行逆映射转换，得到第二逆映射结果；根据第一逆映射结果和第二逆映射结果，重构各模态的特征数据。在其中一个实施例中，所述共享映射矩阵为共享映射变量矩阵，所述私有映射矩阵为私有映射变量矩阵；所述在每轮迭代中，更新所述共享特征数据的值和各私有特征数据的值，直至满足迭代停止条件包括：在每轮迭代中，更新所述共享特征变量矩阵的值、各私有特征变量矩阵的值、各共享映射变量矩阵的值、以及各私有映射变量矩阵的值，直至满足迭代停止条件。在其中一个实施例中，所述在每轮迭代中，更新所述共享特征变量矩阵的值、各私有特征变量矩阵的值、各共享映射变量矩阵的值、以及各私有映射变量矩阵的值包括：在每轮迭代中，依次从所述共享特征变量矩阵、私有特征变量矩阵、共享映射变量矩阵和私有映射变量矩阵中选取当前变量矩阵，保持非当前变量矩阵的值为最近一次更新所述非当前变量矩阵的值不变，对当前变量矩阵的值进行优化更新，并从所述共享特征变量矩阵、私有特征变量矩阵、共享映射变量矩阵和私有映射变量矩阵中选取下一个当前变量矩阵，以继续进行优化更新处理。在其中一个实施例中，所述获取目标对象的多模态的原始特征数据包括：获取目标对象的多模态的预设特征数据；所述预设特征数据为非负数据；对所述预设特征数据进行归一化处理，得到多模态的原始特征数据。在其中一个实施例中，所述方法还包括：获取多个目标对象的所述最终融合的共享特征；根据各所述共享特征，对多个目标对象进行聚类；按照所述聚类结果，对所述目标对象进行相应处理。一种特征提取装置，所述装置包括：获取模块，用于获取目标对象的多模态的原始特征数据；映射模块，用于对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；重构模块，用于根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；融合模块，用于确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各本文档来自技高网...

【技术保护点】
1.一种特征提取方法，所述方法包括：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。

【技术特征摘要】
1.一种特征提取方法，所述方法包括：获取目标对象的多模态的原始特征数据；对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据；根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据；确定各模态的所述原始特征数据和重构的特征数据之间的差异；通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化；获取所述差异最小化时的共享特征数据的值，得到所述目标对象的最终融合的共享特征。2.根据权利要求1所述的方法，其特征在于，所述确定各模态的所述原始特征数据和重构的特征数据之间的差异包括：构建机器学习模型；所述机器学习模型的目标函数，用于表征各模态的所述原始特征数据和重构的特征数据之间的差异；所述通过调整由变量表示的共享特征数据的值和由变量表示的私有特征数据的值，使所述差异最小化包括：通过迭代训练最小化所述机器学习模型的目标函数的值，并在每轮迭代中，更新所述共享特征数据的值和各私有特征数据的值，直至满足迭代停止条件；获取在满足迭代停止条件时的共享特征数据的值，得到所述差异最小化时的共享特征数据的值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定各模态的局部不变规则化因子；所述局部不变规则化因子，用于调节第一相似结构和第二相似结构之间的一致性；所述第一相似结构，为每个模态的原始特征数据之间的相似结构；第二相似结构，为每个模态中各原始特征数据被映射降维后的子共享特征数据之间的相似结构；所述构建机器学习模型包括：构建基本机器学习模型；所述基本机器学习模型的目标函数，用于表征各模态的所述原始特征数据和重构的特征数据之间的差异；组合所述基本机器学习模型和各模态的局部不变规则化因子，得到机器学习模型。4.根据权利要求3所述的方法，其特征在于，所述确定各模态的局部不变规则化因子包括：针对每个模态，获取所述模态的数据权重矩阵；所述数据权重矩阵中各权重，用于表征所述模态的两两原始特征数据之间的距离远近程度；确定所述两两原始特征数据映射降维后的子共享特征数据之间的相似度；耦合所述数据权重矩阵和所述相似度，得到各模态的局部不变规则化因子。5.根据权利要求4所述的方法，其特征在于，所述针对每个模态，获取所述模态的数据权重矩阵包括：针对每个模态，将所述模态的各原始特征数据作为顶点，构建最近邻图；根据所述最近邻图中共边的顶点之间的距离，确定最近邻图中各边的权重；根据各边的权重，构建所述模态在原始数据空间中对应的数据权重矩阵。6.根据权利要求2所述的方法，其特征在于，所述对各模态的原始特征数据进行映射降维，分解得到由变量表示的共享特征数据和各模态的由变量表示的私有特征数据包括：分别获取各模态对应的共享映射矩阵和私有映射矩阵；将各模态的原始特征数据，按照对应的共享映射矩阵进行映射分解，得到共享特征变量矩阵；将各模态的原始特征数据，分别按照对应的私有映射矩阵进行映射分解，得到私有特征变量矩阵。7.根据权利要求6所述的方法，其特征在于，所述根据所述共享特征数据和各所述私有特征数据，重构各模态的特征数据包括：将所述共享特征变量矩阵分别按照各模态对应的所述共享映射矩阵进行逆映射转换，得到第一逆映射结...

【专利技术属性】
技术研发人员：赵亮，杨韬，仇希如，陈志奎，
申请(专利权)人：腾讯科技深圳有限公司，大连理工大学，
类型：发明
国别省市：广东,44