编码器训练及表征信息提取方法和装置制造方法及图纸

本申请属于数据处理的技术领域，公开了编码器训练及表征信息提取方法和装置，本申请公开的编码器训练及表征信息提取方法包括，分别针对原始样本数据和原始样本数据的至少两个损失数据，分别采用模型参数相同的编码器获得相应的编码特征，并采用相应解码器解码特征，并基于各编码特征、原始样本数据以及各解码特征获得预测损失；若预测损失符合预设的收敛条件，则采用上述模型参数初始化目标编码器，并采用目标编码器获得数据的表征信息。这样，提高了编码器训练的训练效率和效果，提高了提取的表征信息提取的有效性。

Encoder Training and Characterization Information Extraction Method and Device

【技术实现步骤摘要】
编码器训练及表征信息提取方法和装置
本申请涉及数据处理的
，尤其涉及编码器训练及表征信息提取方法和装置。
技术介绍
机器学习：是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为机器学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习任务，例如分类问题，通常都要求输入在数学上或者在计算上都非常便于处理。然而，在我们现实世界中的数据例如图片、视频，以及传感器的测量值都非常的复杂，冗余并且多变。那么，如何有效的提取出特征并且将其表达出来就显得非常重要。由于传统的手动提取特征需要大量的人力并且依赖于非常专业的知识，同时，还不便于推广，因此，表征学习应运而生。所谓表征学习是学习一个特征的技术的集合，即将原始样本数据转换成为能够被机器学习的有效开发的数据的一种形式。它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征。现有技术下，表征学习时，通常采用融合多种任务同时学习或鉴别性学习等方式训练编码器，以通过训练好的编码器提取数据的表征信息，进而基于训练好的编码器搭建所需要的目标模型，并采用目标模型进行数据处理，如，利用表征信息进一步进行迁移学习等。由于提取表征信息的编码器是机器学习中数据处理的一个关键环节，因此，如何提高编码器的训练效率和效果是目前需要考虑的问题。
技术实现思路
本申请实施例提供编码器训练及表征信息提取方法和装置，用以提高编码器的训练效率和效果，以及提取的表征信息的有效性。一方面，提供一种编码器训练方法，包括：对原始样本数据进行噪声叠加处理，获得至少两个损失数据；针对原始样本数据和至少两个损失数据，分别采用模型参数相同的编码器进行编码处理获得相应的编码特征；采用相应的解码器对获得的编码特征进行解码处理，获得相应的解码特征；基于各编码特征获得判别损失，并基于原始样本数据以及各解码特征获得重建损失；根据原始样本数据，获得相应的三元组训练数据；分别针对原始样本数据的三元组训练数据中的每一训练数据，分别采用具有模型参数的编码器进行特征提取处理，获得相应的特征向量；确定表征各特征向量之间距离关系的三元组损失；基于重建损失、判别损失以及三元组损失，获得预测损失，预测损失与重建损失、判别损失以及三元组损失均呈正相关；若预测损失符合预设的收敛条件，则将模型参数确定为编码器目标参数的参考值，若预测损失不符合预设的收敛条件，则调整模型参数直至预测损失符合预设的收敛条件。一方面，提供一种表征信息提取方法，包括：采用上述一种编码器训练方法获得的编码器目标参数的参考值，获得目标编码器的目标模型参数；根据目标模型参数初始化目标编码器；采用目标编码器获得数据的表征信息。一方面，提供一种编码器训练装置，包括：叠加单元，用于对原始样本数据进行噪声叠加处理，获得至少两个损失数据；编码单元，用于针对原始样本数据和至少两个损失数据，分别采用模型参数相同的编码器进行编码处理获得相应的编码特征；解码单元，用于采用相应的解码器对获得的编码特征进行解码处理，获得相应的解码特征；第一获得单元，用于基于各编码特征获得判别损失，并基于原始样本数据以及各解码特征获得重建损失；第二获得单元，用于根据原始样本数据，获得相应的三元组训练数据；提取单元，用于分别针对原始样本数据的三元组训练数据中的每一训练数据，分别采用具有模型参数的编码器进行特征提取处理，获得相应的特征向量；第一确定单元，用于确定表征各特征向量之间距离关系的三元组损失；预测单元，用于基于重建损失、判别损失以及三元组损失，获得预测损失，预测损失与重建损失、判别损失以及三元组损失均呈正相关；第二确定单元，用于若预测损失符合预设的收敛条件，则将模型参数确定为编码器目标参数的参考值，若预测损失不符合预设的收敛条件，则调整模型参数直至预测损失符合预设的收敛条件。一方面，提供一种表征信息提取装置，包括：获得单元，用于上述一种编码器训练方法获得的编码器目标参数的参考值，获得目标编码器的目标模型参数；设置单元，用于根据目标模型参数初始化目标编码器；提取单元，用于采用目标编码器获得数据的表征信息。一方面，提供一种控制设备，包括：至少一个存储器，用于存储程序指令；至少一个处理器，用于调用存储器中存储的程序指令，按照获得的程序指令执行上述任一种编码器训练方法或表征信息提取方法的步骤。一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种编码器训练方法或表征信息提取方法的步骤。本申请实施例提供的编码器训练及表征信息提取方法和装置中，分别针对原始样本数据和原始样本数据的至少两个损失数据，获得相应的编码特征和解码特征，并基于各编码特征获得判别损失，基于原始样本数据以及各解码特征获得重建损失；分别获得原始样本数据的三元组训练数据中的每一训练数据的特征向量，并确定表征各特征向量之间距离关系的三元组损失；基于重建损失、判别损失以及三元组损失，获得预测损失；若预测损失符合预设的收敛条件，则采用上述模型参数初始化目标编码器，并采用目标编码器获得数据的表征信息。这样，提高了编码器训练的训练效率和效果，不需要对需要提取表征信息的数据进行特殊处理，可以运用多种数据格式和模态，适用范围广，提高了提取的表征信息提取的有效性。本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施方式中一种编码器训练的原理示意图；图2为本申请实施方式中一种编码器训练方法的实施流程图；图3a为本申请实施方式中一种损失数据获取的示意图；图3b为本申请实施方式中一种噪声叠加示意图；图3c为本申请实施方式中一种噪声叠加效果示意图；图3d为本申请实施方式中一种图像随机扭曲处理的示意图；图3e为本申请实施方式中一种表征学习结果对比示例图；图4为本申请实施方式中一种表征信息提取方法的实施流程图；图5a为本申请实施方式中一种编码器训练装置的结构示意图；图5b为本申请实施方式中一种表征信息提取装置的结构示意图；图6为本申请实施方式中一种控制设备的结构示意图。具体实施方式为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。首先，对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。机器学习：主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行本文档来自技高网...

【技术保护点】
1.一种编码器训练方法，其特征在于，包括：对原始样本数据进行噪声叠加处理，获得至少两个损失数据；针对所述原始样本数据和所述至少两个损失数据，分别采用模型参数相同的编码器进行编码处理获得相应的编码特征；采用相应的解码器对获得的编码特征进行解码处理，获得相应的解码特征；基于各编码特征获得判别损失，并基于所述原始样本数据以及各解码特征获得重建损失；根据所述原始样本数据，获得相应的三元组训练数据；分别针对所述原始样本数据的三元组训练数据中的每一训练数据，分别采用具有所述模型参数的编码器进行特征提取处理，获得相应的特征向量；确定表征各特征向量之间距离关系的三元组损失；基于所述重建损失、所述判别损失以及所述三元组损失，获得预测损失，所述预测损失与所述重建损失、所述判别损失以及所述三元组损失均呈正相关；若所述预测损失符合预设的收敛条件，则将所述模型参数确定为编码器目标参数的参考值，若所述预测损失不符合预设的收敛条件，则调整所述模型参数直至所述预测损失符合预设的收敛条件。

【技术特征摘要】
1.一种编码器训练方法，其特征在于，包括：对原始样本数据进行噪声叠加处理，获得至少两个损失数据；针对所述原始样本数据和所述至少两个损失数据，分别采用模型参数相同的编码器进行编码处理获得相应的编码特征；采用相应的解码器对获得的编码特征进行解码处理，获得相应的解码特征；基于各编码特征获得判别损失，并基于所述原始样本数据以及各解码特征获得重建损失；根据所述原始样本数据，获得相应的三元组训练数据；分别针对所述原始样本数据的三元组训练数据中的每一训练数据，分别采用具有所述模型参数的编码器进行特征提取处理，获得相应的特征向量；确定表征各特征向量之间距离关系的三元组损失；基于所述重建损失、所述判别损失以及所述三元组损失，获得预测损失，所述预测损失与所述重建损失、所述判别损失以及所述三元组损失均呈正相关；若所述预测损失符合预设的收敛条件，则将所述模型参数确定为编码器目标参数的参考值，若所述预测损失不符合预设的收敛条件，则调整所述模型参数直至所述预测损失符合预设的收敛条件。2.如权利要求1所述的方法，其特征在于，所述两个损坏数据是所述原始样本数据进行拉普拉斯变换并叠加噪声后获得的；所述三元组训练数据包括：锚点样本数据、正样本数据以及负样本数据，所述锚点样本数据为所述原始样本数据，所述正样本数据为对所述原始样本数据进行随机扭曲处理获得的，所述负样本数据为与所述原始样本数据不同的数据。3.如权利要求2所述的方法，其特征在于，确定表征各特征向量之间距离关系的三元组损失，包括：确定所述锚点样本数据的特征向量与所述正样本数据的特征向量之间的第一距离；确定所述锚点样本数据的特征向量与所述负样本数据的特征向量之间的第二距离；基于所述第一距离以及所述第二距离之间的差值，确定三元组损失。4.如权利要求1、2或3所述的方法，其特征在于，基于各编码特征获得判别损失，包括：采用预设的判别函数，分别获得所述原始样本数据的编码特征的原始判别值，以及每一损失函数的编码特征的损失判别值；基于所述原始判别值，以及各损失判别值，确定判别损失；其中，所述判别损失表示编码器输出的编码特征与原始样本数据的编码特征在特征分布上的相似程度，所述判别损失与所述原始判别值呈正相关，并与所述损失判别值均呈负相关。5.如权利要求1、2或3所述的方法，其特征在于，基于所述原始样本数据以及各解码特征获得重建损失，包括：分别确定每一解码特征与所述原始样本数据之间的解码差值；基于各解码差值，获得重建损失；其中，所述重建损失用于判断解码器的输出数据与原始样本数据在空间域的相似程度。6.一种表征信息提取方法，其特征在于，包括：采用如权利要求1～5任一项所述的方法获得的编码器目标参数的参考值，获得目标编码器的目标模型参数；根据所述目标模型参数初始化所述目标编码器；采用所述目标编码器获得数据的表征信息。7.一种编码器训练装置，其特征在于，包括：叠加单元，用于对原始样本数据进行噪声叠加处理，获得至少两个损失数据；编码单元，用于针对所述原始样本数据和所述至少两个损失数据，分别采用模型参数相同的编码器进行编码处理获得相应的编...

【专利技术属性】
技术研发人员：焦剑波，暴林超，魏云超，石宏辉，刘永雄，刘威，黄煦涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44