模型训练方法和设备以及数据识别方法技术

本发明专利技术公开一种模型训练方法和设备以及数据识别方法。这里公开一种模型训练方法、数据识别方法和模型训练设备。模型训练方法包括：从多个教师模型选择教师模型；在学生模型处接收输入数据；基于选择的教师模型的输出数据训练学生模型，输出数据对应于输入数据。

【技术实现步骤摘要】
本申请要求于2015年9月18日提交到韩国知识产权局的第10-2015-0132679号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
与这里公开的示例性实施例一致的方法和设备涉及一种模型训练方法和设备以及数据识别方法。
技术介绍
最近，为了将输入模式分类为属于预定组的成员，研究者正在积极地研究将由人执行的有效和精确的模式识别技术应用于计算机的方法。一个这样的研究领域聚焦于通过数学表达式对人类的生物神经细胞的特征进行建模的人工神经网络。为了将输入模式分类为预定组，神经网络采用模拟人类大脑的学习能力的算法。通过该算法，神经网络可生成输入模式与输出模式之间的映射。也可将生成这样映射的能力称为神经网络的“学习能力”。此外，神经网络可具有基于学习的结果生成针对将被用于学习的输入模式的相对准确的输出的泛化能力。此外，正在进行使人工神经网络小型化的同时最小化识别速率的降低的研究。
技术实现思路
示例性实施例可至少解决以上提到的问题和/或缺点以及以上未描述的其他缺点。此外，示例性实施例无需克服上述的缺点，并且示例性实施例可不需要克服上述问题中的任何一个问题。根据示例性实施例的一方面，提供一种模型训练方法，包括：从多个教师模型选择教师模型；在学生模型接收输入数据；基于选择的教师模型的输出数据训练学生模型，输出数据对应于输入数据。选择的步骤可包括：基于所述多个教师模型的精度，从所述多个教师模型选择教师模型。所述模型训练方法还可包括：从所述多个教师模型输出数据，选择的步骤可包括：基于所述多个教师模型的输出数据之间的相关性，从所述多个教师模型选择教师模型，输出数据对应于输入数据。选择的步骤可包括：响应于确定所述选择的教师模型的输出数据与另一选择的教师模型的输出数据之间的相关性小于阈值，从所述多个教师模型选择另一教师模型。训练的步骤还可包括：基于学生模型的输出数据训练学生模型。可迭代执行选择的步骤和训练的步骤，直到学生模型满足预定条件为止。训练的步骤可包括基于学生模型的输出数据与所述选择的教师模型的第一输出数据之间的第一损耗，以及从学生模型的隐藏层得到的分类器层的输出数据与所述选择的教师模型的第二输出数据之间的第二损耗，来训练学生模型，第一输出数据对应于输入数据，所述方法还可包括：使用不同的方法确定第一损耗和第二损耗。确定第一损耗和第二损耗的步骤可包括：基于从所述选择的教师模型输出的第一输出数据和从不同的选择的教师模型输出的第二输出数据，来确定第一损耗和第二损耗。确定第一损耗和第二损耗的步骤可包括：通过向第一输出数据和第二输出数据施加不同的权重，来确定第一损耗和第二损耗。所述模型训练方法还可包括：将用于分类器层的初始权重设置为用于多个教师模型中具有与输入到分类器层的数据的大小最接近的大小的教师模型的初始权重，并将具有与输入到分类器层的数据的大小最接近的大小的教师模型选择为所述选择的教师模型。训练的步骤可包括：基于所述选择的教师模型的输出数据和与输入数据对应的正确答案数据，来训练学生模型。多个教师模型可具有不同的初始权重、不同的神经网络结构、不同的超参数或包括不同的集成。所述模型训练方法还可包括：基于输入到选择的一个教师模型的数据的大小，确定学生模型的结构。根据另一个示例性实施例的一方面，提供一种数据识别方法，包括：接收将被识别的目标数据；使用训练的模型识别目标数据，其中，基于教师模型的输出数据训练所述模型，输出数据对应于由所述模型接收的输入数据，从多个教师模型选择教师模型。所述数据识别方法还可包括：基于所述多个教师模型的精度或所述多个教师模型的输出数据之间的相关性选择教师模型，输出数据对应于输入数据。所述数据识别方法还可包括：基于所述模型的输出数据与选择的模型的第一输出数据之间的第一损耗，以及从所述模型的隐藏层得到的分类器层的输出数据与选择的教师模型的第二输出数据之间的第二损耗，来训练所述模型，第一输出数据对应于由所述模型接收的输入数据，使用不同的方法确定第一损耗和第二损耗。根据另一个示例性实施例的一方面，提供一种非暂时性计算机可读记录介质，当运行时，使计算机执行模型训练方法，模型训练方法包括：从多个教师模型选择教师模型；在学生模型处接收输入数据；并基于选择的教师模型的输出数据训练学生模型，输出数据对应于输入数据。根据另一个示例性实施例的一方面，提供一种模型训练设备，包括：处理器，被配置为训练学生模型；存储器，被配置为存储训练的学生模型，其中，处理器被配置为从多个教师模型选择教师模型，并基于选择的教师模型的输出数据来训练学生模型，输出数据对应于由学生模型接收的输入数据。处理器可被配置为基于所述多个教师模型的精度或所述多个教师模型的输出数据之间的相关性，从所述多个教师模型选择教师模型，输出数据对应于输入数据。处理器可被配置为基于学生模型的输出数据与选择的教师模型的第一输出数据之间的第一损耗，以及从学生模型的隐藏层得到的分类器层的输出数据与选择的教师模型的第二输出数据之间的第二损耗，来训练学生模型，第一输出数据对应于输入数据，而且处理器可使用不同的方法确定第一损耗和第二损耗。附图说明通过下面结合附图对特定示例性实施例进行的详细描述，示例性实施例的上面和其他方面将会变得清楚和更容易理解，其中：图1是示出根据示例性实施例的教师模型和学生模型的示图；图2、图3和图4是示出根据示例性实施例的从多个教师模型选择至少一个教师模型并训练学生模型的处理的示图；图5是示出根据示例性实施例的使用学生模型的分类器层的训练处理的示图；图6是示出根据示例性实施例的模型训练方法的流程图；图7是示出根据示例性实施例的数据识别方法的流程图；图8是示出根据示例性实施例的模型训练设备的框图；图9是示出根据示例性实施例的数据识别设备的框图。具体实施方式现在将对示例性实施例进行详细描述，所述示例性实施例的示例被示出在附图中，其中，相同的参考标号始终表示相同的元件。以下，将参照附图对示例性实施例进行详细地描述。下面具体结构或功能性描述是示例性的并仅描述示例性实施例的特定特征，而且示例性实施例的范围不被限制到在本说明书中提供的描述。可由本领域的普通技术人员对示例性实施例进行各种改变和修改。在这里可不描述公知的功能或配置。图1是示出根据示例性实施例的教师模型和学生模型的示图。参照图1，示出教师模型110和学生模型120。教师模型110和学生模型120是被训练以针对预定输入输出预定输出的模型，并可包括例如神经网络。神经网络指使用通过边彼此连接的大量人工神经元模拟生物系统的计算能力的识别模型。然而，应该理解，教师模型110和学生模型120不限于神经网络，并也可在其他类型的网络和设备中实现。神经网络使用通过将生物神经元的功能进行简化来配置的人工神经元，而且人工神经元可通过具有连接权重的边来彼此连接。连接权重(神经网络的参数)是边的预定值，并且可被称为连接强度。神经网络可通过人工神经元执行人类大脑的认知功能或学习处理。也可将人工神经元称为节点。神经网络可包括多个层。例如，神经网络可包括输入层、隐藏层和输出层。输入层可接收将被用于执行训练的输入并将输入传输到隐藏层，输出层可基于从隐藏层的节点接收的信号产生神经网络的输出。隐藏层可布置在输入层与输出层之间本文档来自技高网...

【技术保护点】
一种模型训练方法，包括：从多个教师模型选择教师模型；在学生模型处接收输入数据；基于选择的教师模型的输出数据训练学生模型，所述输出数据对应于所述输入数据。

【技术特征摘要】
2015.09.18 KR 10-2015-01326791.一种模型训练方法，包括：从多个教师模型选择教师模型；在学生模型处接收输入数据；基于选择的教师模型的输出数据训练学生模型，所述输出数据对应于所述输入数据。2.如权利要求1所述的模型训练方法，其中，选择的步骤包括：基于所述多个教师模型的精度，从所述多个教师模型选择教师模型。3.如权利要求1所述的模型训练方法，还包括：从所述多个教师模型输出数据，其中，选择的步骤包括：基于所述多个教师模型的输出数据之间的相关性，从所述多个教师模型选择教师模型，输出数据对应于输入数据。4.如权利要求3所述的模型训练方法，其中，选择的步骤包括：响应于确定所述选择的教师模型的输出数据与另一选择的教师模型的输出数据之间的相关性小于阈值，从所述多个教师模型选择另一教师模型。5.如权利要求1所述的模型训练方法，其中，训练的步骤还包括：基于学生模型的输出数据训练学生模型。6.如权利要求1所述的模型训练方法，其中，迭代执行选择的步骤和训练的步骤，直到学生模型满足预定条件为止。7.如权利要求1所述的模型训练方法，其中，训练的步骤包括：基于学生模型的输出数据与所述选择的教师模型的第一输出数据之间的第一损耗，以及从学生模型的隐藏层得到的分类器层的输出数据与所述选择的教师模型的第二输出数据之间的第二损耗，来训练学生模型，第一输出数据对应于输入数据，所述方法还包括：使用不同的方法确定第一损耗和第二损耗。8.如权利要求7所述的模型训练方法，其中，确定第一损耗和第二损耗的步骤包括：基于从所述选择的教师模型输出的第一输出数据和从不同的选择的教师模型输出的第二输出数据，确定第一损耗和第二损耗。9.如权利要求7所述的模型训练方法，其中，确定第一损耗和第二损耗的步骤包括：通过向第一输出数据和第二输出数据施加不同的权重，来确定第一损耗和第二损耗。10.如权利要求7所述的模型训练方法，还包括：将用于分类器层的初始权重设置为用于所述多个教师模型中具有与输入到分类器层的数据的大小最接近的大小的教师模型的初始权重，并将具有与输入到分类器层的数据的大小最接近的大小的教师模型选择为所述选择的教师模型。11.如权利要求1所述的模型训练方法，其中，训练的步骤包括：基于所述选择的教师模型的输出数据和与输入数据对应的正确答案数据，来训练学生...

【专利技术属性】
技术研发人员：姜晓娥，金荷映，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR